В этих таблицах представлена общероссийская статистика результатов ЕГЭ'2008 по русскому языку, математике, физике, химии и т.д., — и все в одном экселевском файлике.
Глянем на распределение первичных баллов в тесте по математике:
Нетрудно заметить, что это распределение существенно отличается от классического Гауссова «колокольчика», и вот почему.
Как известно, первая часть задания ЕГЭ состоит из 16 вопросов, к каждому из которых прилагается четыре варианта ответа. Таким образом, у нас есть два способа выполнить задание: честно решать или просто угадывать. Так вот, судя по всему, примерно 150000 (сто пятьдесят тысяч) человек из без малого миллиона прошедших через ЕГЭ в этом году, ограничились тем, что наугад выбрали варианты ответа к этим 16 вопросам. И больше они вообще ничего не делали.
Красным цветом на рисунке показано классическое распределение такой «угадайки». Вычтя его из общего распределение результатов, получим почти классический гауссиан.
Не буду тут писать формулы теории вероятностей (пытливые могут меня проверить самостоятельно), но вероятность получить тройку (набрать 6—12 первичных баллов) таким образом не так мала — почти 20%, и, таким образом, троячок себе нагадало почти 30000 человек (каждый 33-й писавший ЕГЭ). Так можно было получить даже четверку, правда вероятность этого очень мала — примерно 4 к миллиону.
P.S. Кстати, я тут давеча ошибся: по Москве двоечников — не каждый восьмой, а один из 5-6 человек. В прочем, по всей России этот показатель еще больше удручает: больше 20% неудов.
Если вычесть из синеньких столбиков красненькие, то получится вполне себе четкое распределение Максвелла. Хотя, по идее, должно быть нормальное Гауссовское. Задумался...
Ричард, и правда, больше на него похоже.
Но мне все же кажется, что это не максвелловкое распределение, а наложение нескольких распределений "угадайки".
Ведь необязательно все угадывали все 16 ответов первой части.
Уважаемый Lexxus,
прошу, если возможно, помочь мне разобраться с первичными баллами по русскому языку. Есть ли с Вашей точки зрения в данных по русскому языку подобная гипотетическая аномалия?
С уважением, В.Ю. Тимонина, учитель русского языка и литературы школы 1291, г. Москвы.
Нет, в данных по русскому языку такой аномалии не наблюдается. Во всяком случае, она значительно менее ярко выражена.
Дело в том, что количество людей, которые в математике ни бум-бум и знают об этом, значительно больше, чем тех, кто в аналогичных отношениях с русским языком.
Уважаемый Lexxus,
большое спасибо Вам за Ваш ответ от 28 августа с.г.
Если я правильно поняла объяснения математиков, то в части А КИМов должно быть не менее 30 вопросов, причем в каждом вопросе должно быть не менее четырех возможных ответов. Только в этом случае вероятность угадывания будет очень малой.
Действительность несколько иная. Вопросов в части А может быть и не намного меньше, но вот наиболее значимых вариантов ответов на каждый вопрос всего два (а не четыре). Например, выбрать орфограмму из двух конкурирующих написаний. (Остальные ответы часто бывают менее значимы и сразу могут быть отсечены). Если я Вас правильно поняла, то это ничего не меняет?
А в части В, например, вопросов меньше, чем 30. Вероятность угадывания от этого не меняется?
Почему я так зацепилась за вопрос о присущей тестам особенности (или дефекте) -обязательном наличии вероятности угадывания? Дело в том, что существует мнение о принципиальной невозможности проверять с помощью тестов так называемое дивергентное мышление (проверяемое вопросами типа "Приведите как можно больше слов на букву "ф" и т.п.). Этот тип мышления обязательно присутствует при творческом создании чего-то нового. А вот конвергентное мышление (проверяемое вопросами типа "Выберите верный вариант ответа из представленных ниже вариантов") проверяется с помощью тестов достаточно хорошо. Этот тип мышления также важен в некоторых ситуациях, но с помощью него нельзя натренировать или проверить дивергентное мышление.
Во-вторых, в творчестве важна способность задания вопроса самому себе, а любой тест уже предполагают вопрос. Поэтому эта способность к творческому мышлению тестами также не проверяется.
Существуют и другие особенности тестов, которые нетривиально связаны с проверкой ассоциативных структур мышления.
В-третьих, переход на тестовую форму проверки со временем приведет к изменению и самой формы обучения, методов обучения. (Чтобы лучше сдать тесты надо посвящать больше времени тренировкам с тестами на уроках. В результате меньше времени остается, например, на написание сочинений). Это со временем скажется на целях и на результатах обучения.
Вот поэтому мне и хотелось для себя выяснить все плюсы и минусы тестовой формы контроля.
С уважением,
В.Ю. Тимонина, учитель русского языка и литературы.
Если я правильно поняла объяснения математиков, то в части А КИМов должно быть не менее 30 вопросов, причем в каждом вопросе должно быть не менее четырех возможных ответов. Только в этом случае вероятность угадывания будет очень малой.
Действительность несколько иная. Вопросов в части А может быть и не намного меньше, но вот наиболее значимых вариантов ответов на каждый вопрос всего два (а не четыре).
Валентина Юрьевна, дело в том, что вероятность угадывания тут, фактически, совершенно ни при чем.
Дело тут в вероятности того, что ученик не имеет ни малейшего представления о том, какой из ответов верный. Согласитесь, вещи принципиально разные.
Русский язык волей-неволей в той или иной степени знаком всем без исключения тестируемым. Поэтому в тестах по русскому языку очень мало вопросов, при ответе на которые у заметного числа выпускников нет вообще никаких идей. А если какие-то (пусть неправильные, это совсем не имеет значения) идеи у них есть, то пытаться угадать ответ они не будут.
С математикой - принципиально иная ситуация. Несмотря на все усилия учителей, процент выпускников, у которых в голове здесь абсолютно чистый лист, - вполне заметен. Именно эти люди создают этот "горб" в левой части распределения.
Но мне все же кажется, что это не максвелловкое распределение, а наложение нескольких распределений "угадайки".
Ведь необязательно все угадывали все 16 ответов первой части.
Хотя, над этим стоит порассуждать.
прошу, если возможно, помочь мне разобраться с первичными баллами по русскому языку. Есть ли с Вашей точки зрения в данных по русскому языку подобная гипотетическая аномалия?
С уважением, В.Ю. Тимонина, учитель русского языка и литературы школы 1291, г. Москвы.
Дело в том, что количество людей, которые в математике ни бум-бум и знают об этом, значительно больше, чем тех, кто в аналогичных отношениях с русским языком.
большое спасибо Вам за Ваш ответ от 28 августа с.г.
Если я правильно поняла объяснения математиков, то в части А КИМов должно быть не менее 30 вопросов, причем в каждом вопросе должно быть не менее четырех возможных ответов. Только в этом случае вероятность угадывания будет очень малой.
Действительность несколько иная. Вопросов в части А может быть и не намного меньше, но вот наиболее значимых вариантов ответов на каждый вопрос всего два (а не четыре). Например, выбрать орфограмму из двух конкурирующих написаний. (Остальные ответы часто бывают менее значимы и сразу могут быть отсечены). Если я Вас правильно поняла, то это ничего не меняет?
А в части В, например, вопросов меньше, чем 30. Вероятность угадывания от этого не меняется?
Почему я так зацепилась за вопрос о присущей тестам особенности (или дефекте) -обязательном наличии вероятности угадывания? Дело в том, что существует мнение о принципиальной невозможности проверять с помощью тестов так называемое дивергентное мышление (проверяемое вопросами типа "Приведите как можно больше слов на букву "ф" и т.п.). Этот тип мышления обязательно присутствует при творческом создании чего-то нового. А вот конвергентное мышление (проверяемое вопросами типа "Выберите верный вариант ответа из представленных ниже вариантов") проверяется с помощью тестов достаточно хорошо. Этот тип мышления также важен в некоторых ситуациях, но с помощью него нельзя натренировать или проверить дивергентное мышление.
Во-вторых, в творчестве важна способность задания вопроса самому себе, а любой тест уже предполагают вопрос. Поэтому эта способность к творческому мышлению тестами также не проверяется.
Существуют и другие особенности тестов, которые нетривиально связаны с проверкой ассоциативных структур мышления.
В-третьих, переход на тестовую форму проверки со временем приведет к изменению и самой формы обучения, методов обучения. (Чтобы лучше сдать тесты надо посвящать больше времени тренировкам с тестами на уроках. В результате меньше времени остается, например, на написание сочинений). Это со временем скажется на целях и на результатах обучения.
Вот поэтому мне и хотелось для себя выяснить все плюсы и минусы тестовой формы контроля.
С уважением,
В.Ю. Тимонина, учитель русского языка и литературы.
Действительность несколько иная. Вопросов в части А может быть и не намного меньше, но вот наиболее значимых вариантов ответов на каждый вопрос всего два (а не четыре).
Валентина Юрьевна, дело в том, что вероятность угадывания тут, фактически, совершенно ни при чем.
Дело тут в вероятности того, что ученик не имеет ни малейшего представления о том, какой из ответов верный. Согласитесь, вещи принципиально разные.
Русский язык волей-неволей в той или иной степени знаком всем без исключения тестируемым. Поэтому в тестах по русскому языку очень мало вопросов, при ответе на которые у заметного числа выпускников нет вообще никаких идей. А если какие-то (пусть неправильные, это совсем не имеет значения) идеи у них есть, то пытаться угадать ответ они не будут.
С математикой - принципиально иная ситуация. Несмотря на все усилия учителей, процент выпускников, у которых в голове здесь абсолютно чистый лист, - вполне заметен. Именно эти люди создают этот "горб" в левой части распределения.
большое спасибо Вам за подробное пояснение и консультацию.
С уважением,
В.Ю. Тимонина
Добавить свой