Математическое порно | 1563 | |
Ответы ко всем задачам ЕГЭ по математике 2010 года | 793 | |
Тесты ЕГЭ Онлайн | 515 | |
Результаты ЕГЭ по математике | 368 | |
Результаты ЕГЭ по русскому языку | 268 |
День памяти
20 мая 2023 (мифи умер)
Задача про фермера и его кредит
20 мая 2023 (Алекс)
Математическое порно
22 марта 2023 (Angleton)
Российский Союз ректоров
19 февраля 2023 (Hellen Paul )
В помощь юному радисту: Морзянка 1.0
13 ноября 2022 (Сергей)
Знахари и шаманы в МГТУ имени Баумана
5 ноября 2021 (монах из кельи)
Зачет по инженерной графике
24 августа 2020 (Инженерная графика)
Пасынки Вселенной
18 февраля 2020 (Max Brown)
Финансовая пирамида за 10 рублей
7 февраля 2020 (Флора Миллс)
База решений задач ЕГЭ по математике
26 декабря 2019 (Мария)
← предыдущий фил, 23 июня 2010, 17:17:58 |
следующий → Эрик, 24 июня 2010, 15:08:31 |
КАК РАССЧИТЫВАЕТСЯ ТЕСТОВЫЙ БАЛЛ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА
Одним из недостатков единого государственного экзамена (ЕГЭ) по праву считается "непонятная" система перевода первичных баллов, начис-ляемых после выполнения контрольно-измерительных материалов (КИМ ЕГЭ) по результатам выполнения отдельных заданий, в проставляемые в свидетельство ЕГЭ по данному предмету тестовые баллы. Организаторами ЕГЭ разъясняется, что раз максимальное количество первичных баллов меняется от предмета к предмету, необходимо привести их к единой шка-ле, например для удобства дальнейших подсчетов к стобалльной. Общеиз-вестно, что отсутствию правильно выполненных заданий соответствует 0 тестовых баллов, а всем выполненным правильно заданиям – 100 тестовых баллов. И даже половина от максимально возможного количества баллов соответствует (примерно) 50 тестовым баллам. Казалось бы, между пер-вичным баллом и тестовым баллом должна существовать прямо пропор-циональная зависимость. А ее нет.
На рисунке приведен график зависимости между первичным баллом и тестовым баллом на примере ЕГЭ по русскому языку 2009 года. Сразу возникает вопрос, кому выгодна такая зависимость. В первую очередь "троечникам". По приведенному графику 25% максимально возможного числа первичных баллов (приобретаемых в основном за счет наиболее лег-ких заданий) переводятся в 37 тестовых баллов, что соответствует мини-мальному баллу, подтверждающему усвоение программы по русскому языку в 2009 году. А кто теряет от подобной шкалы перевода? Прежде все-го "отличники". Согласно тому же графику 90% первичных баллов дают всего 77 тестовых баллов. Вот это последнее обстоятельство и является основной причиной недовольства выпускников и их родителей сущест-вующими правилами перевода. Ошибка в одном или двух заданиях частей A или B (или неудовлетворенность ответом выпускника экспертов, прове-ряющих части C КИМ'ов), ведет к резкому снижению тестового балла. В попытке объяснить подобные расхождения иногда приводится совершенно негодное разъяснение, что вес задания в тестовых баллах повышается по мере роста трудности задания. Из графика мы видим, что это не так. По графику создается впечатление, что наиболее весомы не только предельно трудные задания, но и предельно легкие, с которыми справляется боль-шинство выпускников. Задания же средней трудности дают минимальный вклад в тестовый балл. Но наши выводы оказываются справедливыми лишь в среднем. Не исключено, что отдельные выпускники правильно вы-полняют трудные в целом задания и не справляются с легкими. Принято говорить в подобном случае, что у них нарушена структура знаний. Вы-явить подобных выпускников применяющаяся модель оценки знаний не в состоянии. Обоснована ли как-то подобная система перевода баллов? Да, на математическом уровне достаточно серьезно.
Как известно, шкала перевода первичных баллов в тестовые объяв-ляется лишь после сдачи ЕГЭ основной массой выпускников и обработки всех бланков ответов ЕГЭ. Это вызвано тем, что к моменту сдачи ЕГЭ не-известны не только знания выпускников, но и трудности заданий. И по хо-ду экзамена выпускники определяют трудности заданий (справляясь с ни-ми с переменным успехом), а посредством заданий определяются (или из-меряются, как принято говорить в тестологии – науке о создании и произ-водстве тестов) знания выпускников.
Но нет ли здесь противоречия? В определенной степени есть. Разре-шается оно поэтапным определением уровня знаний выпускников и уровня трудности заданий. На первом этапе, предположим, полагаем знания всех выпускников равными, и грубо оцениваем трудность каждого задания по проценту выполнивших его правильно выпускников. На втором этапе по-является возможность, опять же грубо, оценить знания выпускников, по-скольку мы уже имеем представление о трудностях заданий, а грубая оценка знаний выпускников позволяет уточнить трудности заданий. Тео-ретически подобный процесс согласованного расчета уровня знаний выпу-скников и трудностей заданий бесконечен, но фактически он обрывается компьютерной программой обработки данных по достижении заданной наперед точности.
Достоинством данного метода обработки данных является то, что знания выпускников и трудности заданий измеряются на одной шкале, в чем-то схожей со шкалой температуры, поскольку и температура, и знания могут быть выражены как положительными, так и отрицательными числа-ми. По результатам расчетов уровень знаний и трудность заданий выра-жаются в специальных единицах, называемых логитами (сокращение от английского термина "логарифмическая единица"). Весь размах знаний выпускников укладывается в границы примерно от -4 логита до +4 логита, и поскольку никому не хочется быть оцененным нулем или отрицатель-норй оценкой (даже если за этим стоят вполне определенные положитель-ные знания), отметка на шкале логитов переводится в отметку на шкале тестовых баллов с только положительными значениями от 0 до 100.
Разобранная выше модель тестирования была предложена датским математиком Георгом Рашем в 1960 году и применяется повсеместно в мире в случае необходимости точной оценки результатов тестирования. Один из вариантов этой модели, называемый "модель частичного оценива-ния", узаконен для использования при обработке данных ЕГЭ. Точность шкалы Раша заключается в ее интервальности, или, проще говоря, линей-ности. При оценке знаний первичным баллом не гарантируется равенство интервалов между соседними отметками шкалы. Другими словами, шкала первичных баллов схожа с портновским сантиметром с делениями, нане-сенными произвольно и на неравных расстояниях одно от другого. А вот на шкале Раша отметки отстоят вполне равномерно, что позволяет вычи-тать и складывать тестовые баллы. В случае нелинейности шкалы подоб-ная процедура оказалась бы некорректной. Другим достоинством шкалы Раша является преимущество, предоставляемое при поступлении в вузы выпускникам, показавшим выдающиеся результаты хотя-бы по одному предмету, учитываемому приемной комиссией вуза, вследствие резкого роста тестового балла при близком к максимально возможному количест-ву первичных баллов.
Ввиду согласованной оценки знаний выпускников и трудностей за-даний не представляется возможным объявить до начала экзамена мини-мальный тестовый балл, подтверждающий освоение выпускником учебной программы. По сути, организаторы тестирования до окончательной обра-ботки результатов по предмету руководствуются лишь одной цифрой – процентом выпускников, которые по результатам еще не состоявшегося ЕГЭ не преодолеют минимальный балл, и уже по результатам обработки данных к этой наперед заданной цифре привязывается ближайшая отметка на шкале тестовых баллов. При всей неприглядности подобной картины другого пути отделить "освоивших программу" от неосвоивших ее нет, по-скольку используемая модель не позволяет оценить знания выпускников в их абсолютном выражении, а рассчитана лишь на ранжирование – упоря-дочивание выпускников на основе их знаний.
Модель Раша обладает еще одной интересной особенностью. Начис-ляемый тестовый балл зависит лишь от общего количества первичных бал-лов, вне зависимости от относительной трудности выполненных правильно заданий (примером является прилагаемый график). Это позволяет считать, что одновременно выпускник поощряется более высокими баллами за вы-полнение трудных заданий и штрафуется за невыполнение более легких. Сбалансированность в модели Раша системы поощрений/штрафов и при-водит к зависимости тестового балла лишь от первичного балла и незави-симости от стоящих за этими баллами заданий.
Явным методическим просчетом ЕГЭ является отказ от поощрения выпускника за добросовестный пропуск ответа в случае осознания пробела в своих знаниях. Существующая система поощряет угадывание ответов в частях A, откуда идут известные рекомендации за 5 минут до сдачи бланка ответов выбрать наугад один из вариантов ответа в невыполненных зада-ниях частей A.
И в завершение хотелось бы провести интересную аналогию между шкалой тестовых баллов ЕГЭ и спортивными разрядами. В одном из видов спорта – шахматах, силу шахматиста оценивают по шкале рейтингов аме-риканского профессора Эло. Шкала рейтингов Эло построена на совер-шенно схожих со шкалой Раша принципах, что позволяет оценить разницу рейтингов Эло в 200 единиц (что соответствует разнице в один шахматный разряд) в 14 тестовых баллов ЕГЭ. И если считать, что система шахматных разрядов органично встроена в общую систему спортивной классифика-ции, появляется возможность оценки "навскидку" тестового балла ЕГЭ оп-ределенным спортивным разрядом. В любом случае хочется надеяться, что внедрение в систему образования состязательности, схожей со спортивной, пойдет ей на пользу. А объективная оценка знаний выпускников – одно из условий состязательности в процессе обучения.
Виктор Кромер