Летопись МИФИ

Симулятор проблесков сознания


ЕГЭ-2024
Тесты ЕГЭ Онлайн
Задачи ЕГЭ по математике
Решения ЕГЭ по математике

Вступительные экзамены и специальности
Фишки для Корума:
а б в г д е ё ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я
a b c d e f g h i j k l m n o p q r s t u v w x y z

Рейтинг пользователей Корума
Настроение • Модераторы
Темы • Картина дня • Realtime
Прочие фишки:
Нецензурная брань
Народная орфография
Морзянка онлайн • Калькулятор
Анаграммы • Игра в города

Загрузка календаря

Новые записи

20.05Задача про фермера и его кредит
26.01Актуализация сервисов ЕГЭ по математике 2014 года
05.11Поломалось
28.08Смена парадигмы
18.07Как вести себя в приличном обществе, предварительно обмочив штаны
оглавление »

Лучшие записи

1.Математическое порно1563
2.Ответы ко всем задачам ЕГЭ по математике 2010 года793
3.Тесты ЕГЭ Онлайн515
4.Результаты ЕГЭ по математике368
5.Результаты ЕГЭ по русскому языку268

О чем тут?

NX VBAB Webometrics igjhs А1-08 Абитуриенты Бачинский ВКонтакте Ващенифтему Волга Диплом Дрессировка преподов Дума ЕГЭ Жизнь Забабахал Инновации История Кафедра 26 Кларк Корум Лженаука МИФИ МИФИсты Морзянка НИЯУ Нанотехнологии Наука Образование Омоймоск ПЦ Поздравляю Поиск Президент Преподы Приколы Программное обеспечение Рейтинги Русский язык Сессия Смерть Статистика Стихи Сувениринг Тест Учеба Учебные материалы ФЯУ Физтех Фотки Ядерщики матанализ

Комментарии

День памяти
  20 мая 2023 (мифи умер)

Задача про фермера и его кредит
  20 мая 2023 (Алекс)

Математическое порно
  22 марта 2023 (Angleton)

Российский Союз ректоров
  19 февраля 2023 (Hellen Paul )

В помощь юному радисту: Морзянка 1.0
  13 ноября 2022 (Сергей)

Знахари и шаманы в МГТУ имени Баумана
  5 ноября 2021 (монах из кельи)

Зачет по инженерной графике
  24 августа 2020 (Инженерная графика)

Пасынки Вселенной
  18 февраля 2020 (Max Brown)

Финансовая пирамида за 10 рублей
  7 февраля 2020 (Флора Миллс)

База решений задач ЕГЭ по математике
  26 декабря 2019 (Мария)

$kib@t®onЪ
Сейчас на скибатроне
Шедевры

Комментарий №143 к записи

«Перевод первичных баллов ЕГЭ в шкалу тестовых баллов»


Виктор Кромер, 24 июня 2010, 08:35:14

Представляю по теме мою статью из Новосибирского рекламно-информационного издания СОСЕДИ, рассчитанную на массового читателя.

КАК РАССЧИТЫВАЕТСЯ ТЕСТОВЫЙ БАЛЛ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА

Одним из недостатков единого государственного экзамена (ЕГЭ) по праву считается "непонятная" система перевода первичных баллов, начис-ляемых после выполнения контрольно-измерительных материалов (КИМ ЕГЭ) по результатам выполнения отдельных заданий, в проставляемые в свидетельство ЕГЭ по данному предмету тестовые баллы. Организаторами ЕГЭ разъясняется, что раз максимальное количество первичных баллов меняется от предмета к предмету, необходимо привести их к единой шка-ле, например для удобства дальнейших подсчетов к стобалльной. Общеиз-вестно, что отсутствию правильно выполненных заданий соответствует 0 тестовых баллов, а всем выполненным правильно заданиям – 100 тестовых баллов. И даже половина от максимально возможного количества баллов соответствует (примерно) 50 тестовым баллам. Казалось бы, между пер-вичным баллом и тестовым баллом должна существовать прямо пропор-циональная зависимость. А ее нет.
На рисунке приведен график зависимости между первичным баллом и тестовым баллом на примере ЕГЭ по русскому языку 2009 года. Сразу возникает вопрос, кому выгодна такая зависимость. В первую очередь "троечникам". По приведенному графику 25% максимально возможного числа первичных баллов (приобретаемых в основном за счет наиболее лег-ких заданий) переводятся в 37 тестовых баллов, что соответствует мини-мальному баллу, подтверждающему усвоение программы по русскому языку в 2009 году. А кто теряет от подобной шкалы перевода? Прежде все-го "отличники". Согласно тому же графику 90% первичных баллов дают всего 77 тестовых баллов. Вот это последнее обстоятельство и является основной причиной недовольства выпускников и их родителей сущест-вующими правилами перевода. Ошибка в одном или двух заданиях частей A или B (или неудовлетворенность ответом выпускника экспертов, прове-ряющих части C КИМ'ов), ведет к резкому снижению тестового балла. В попытке объяснить подобные расхождения иногда приводится совершенно негодное разъяснение, что вес задания в тестовых баллах повышается по мере роста трудности задания. Из графика мы видим, что это не так. По графику создается впечатление, что наиболее весомы не только предельно трудные задания, но и предельно легкие, с которыми справляется боль-шинство выпускников. Задания же средней трудности дают минимальный вклад в тестовый балл. Но наши выводы оказываются справедливыми лишь в среднем. Не исключено, что отдельные выпускники правильно вы-полняют трудные в целом задания и не справляются с легкими. Принято говорить в подобном случае, что у них нарушена структура знаний. Вы-явить подобных выпускников применяющаяся модель оценки знаний не в состоянии. Обоснована ли как-то подобная система перевода баллов? Да, на математическом уровне достаточно серьезно.
Как известно, шкала перевода первичных баллов в тестовые объяв-ляется лишь после сдачи ЕГЭ основной массой выпускников и обработки всех бланков ответов ЕГЭ. Это вызвано тем, что к моменту сдачи ЕГЭ не-известны не только знания выпускников, но и трудности заданий. И по хо-ду экзамена выпускники определяют трудности заданий (справляясь с ни-ми с переменным успехом), а посредством заданий определяются (или из-меряются, как принято говорить в тестологии – науке о создании и произ-водстве тестов) знания выпускников.
Но нет ли здесь противоречия? В определенной степени есть. Разре-шается оно поэтапным определением уровня знаний выпускников и уровня трудности заданий. На первом этапе, предположим, полагаем знания всех выпускников равными, и грубо оцениваем трудность каждого задания по проценту выполнивших его правильно выпускников. На втором этапе по-является возможность, опять же грубо, оценить знания выпускников, по-скольку мы уже имеем представление о трудностях заданий, а грубая оценка знаний выпускников позволяет уточнить трудности заданий. Тео-ретически подобный процесс согласованного расчета уровня знаний выпу-скников и трудностей заданий бесконечен, но фактически он обрывается компьютерной программой обработки данных по достижении заданной наперед точности.
Достоинством данного метода обработки данных является то, что знания выпускников и трудности заданий измеряются на одной шкале, в чем-то схожей со шкалой температуры, поскольку и температура, и знания могут быть выражены как положительными, так и отрицательными числа-ми. По результатам расчетов уровень знаний и трудность заданий выра-жаются в специальных единицах, называемых логитами (сокращение от английского термина "логарифмическая единица"). Весь размах знаний выпускников укладывается в границы примерно от -4 логита до +4 логита, и поскольку никому не хочется быть оцененным нулем или отрицатель-норй оценкой (даже если за этим стоят вполне определенные положитель-ные знания), отметка на шкале логитов переводится в отметку на шкале тестовых баллов с только положительными значениями от 0 до 100.
Разобранная выше модель тестирования была предложена датским математиком Георгом Рашем в 1960 году и применяется повсеместно в мире в случае необходимости точной оценки результатов тестирования. Один из вариантов этой модели, называемый "модель частичного оценива-ния", узаконен для использования при обработке данных ЕГЭ. Точность шкалы Раша заключается в ее интервальности, или, проще говоря, линей-ности. При оценке знаний первичным баллом не гарантируется равенство интервалов между соседними отметками шкалы. Другими словами, шкала первичных баллов схожа с портновским сантиметром с делениями, нане-сенными произвольно и на неравных расстояниях одно от другого. А вот на шкале Раша отметки отстоят вполне равномерно, что позволяет вычи-тать и складывать тестовые баллы. В случае нелинейности шкалы подоб-ная процедура оказалась бы некорректной. Другим достоинством шкалы Раша является преимущество, предоставляемое при поступлении в вузы выпускникам, показавшим выдающиеся результаты хотя-бы по одному предмету, учитываемому приемной комиссией вуза, вследствие резкого роста тестового балла при близком к максимально возможному количест-ву первичных баллов.
Ввиду согласованной оценки знаний выпускников и трудностей за-даний не представляется возможным объявить до начала экзамена мини-мальный тестовый балл, подтверждающий освоение выпускником учебной программы. По сути, организаторы тестирования до окончательной обра-ботки результатов по предмету руководствуются лишь одной цифрой – процентом выпускников, которые по результатам еще не состоявшегося ЕГЭ не преодолеют минимальный балл, и уже по результатам обработки данных к этой наперед заданной цифре привязывается ближайшая отметка на шкале тестовых баллов. При всей неприглядности подобной картины другого пути отделить "освоивших программу" от неосвоивших ее нет, по-скольку используемая модель не позволяет оценить знания выпускников в их абсолютном выражении, а рассчитана лишь на ранжирование – упоря-дочивание выпускников на основе их знаний.
Модель Раша обладает еще одной интересной особенностью. Начис-ляемый тестовый балл зависит лишь от общего количества первичных бал-лов, вне зависимости от относительной трудности выполненных правильно заданий (примером является прилагаемый график). Это позволяет считать, что одновременно выпускник поощряется более высокими баллами за вы-полнение трудных заданий и штрафуется за невыполнение более легких. Сбалансированность в модели Раша системы поощрений/штрафов и при-водит к зависимости тестового балла лишь от первичного балла и незави-симости от стоящих за этими баллами заданий.
Явным методическим просчетом ЕГЭ является отказ от поощрения выпускника за добросовестный пропуск ответа в случае осознания пробела в своих знаниях. Существующая система поощряет угадывание ответов в частях A, откуда идут известные рекомендации за 5 минут до сдачи бланка ответов выбрать наугад один из вариантов ответа в невыполненных зада-ниях частей A.
И в завершение хотелось бы провести интересную аналогию между шкалой тестовых баллов ЕГЭ и спортивными разрядами. В одном из видов спорта – шахматах, силу шахматиста оценивают по шкале рейтингов аме-риканского профессора Эло. Шкала рейтингов Эло построена на совер-шенно схожих со шкалой Раша принципах, что позволяет оценить разницу рейтингов Эло в 200 единиц (что соответствует разнице в один шахматный разряд) в 14 тестовых баллов ЕГЭ. И если считать, что система шахматных разрядов органично встроена в общую систему спортивной классифика-ции, появляется возможность оценки "навскидку" тестового балла ЕГЭ оп-ределенным спортивным разрядом. В любом случае хочется надеяться, что внедрение в систему образования состязательности, схожей со спортивной, пойдет ей на пользу. А объективная оценка знаний выпускников – одно из условий состязательности в процессе обучения.

Виктор Кромер

← предыдущий
фил, 23 июня 2010, 17:17:58
следующий →
Эрик, 24 июня 2010, 15:08:31

Перейти на страницу с комментарием

Рейтинг блогов



 

откуда • куда • где • eureka!
Бездарно потраченное время:
105800 дней