Девятый бит: Блог кафедры АСОИУ ОмГТУ

Результаты ЕГЭ по информатике и ИКТ – 2009

Пара слов о том, как мы проверяли результаты ЕГЭ по информатике и ИКТ. Процедура следующая. Омский «Региональный информационно-аналитический центр» (РИАЦ, www.omedu.ru) сканирует работы школьников с помощью системы ABBYY TestReader Network, которая сразу же проверяет ответы секций A и B. В день экзамена вечером экспертная комиссия получает правильные ответы секции C с подробными инструкциями по оценке (для всех вариантов), и следующие два дня уходят на «ручную» проверку развёрнутых ответов секции C. Для каждого эксперта система формирует пакет: протокол и стопку сканов ответов (одного варианта); возвращается только протокол с баллами. Эксперты работают в выделенном помещении, не могут сообщаться с внешним миром и уносить протоколы. Каждая работа попадает на проверку двум экспертам, которые должны проверить её независимо. Сданный протокол сканируется, и система сверяет оценки двух экспертов: если есть расхождение в один балл, то школьнику засчитывается больший; если расхождение в 2 балла и больше, работа автоматически отправляется на перепроверку кому-то из старших экспертов.

Старшими экспертами выступали три преподавателя нашей кафедры: Богатов Р.Н., Ершов Е.С. и Юдин Е.Б. Остальной контингент экспертов составляли школьные учителя информатики и несколько вузовских преподавателей. Комиссия предварительно собиралась несколько раз для обсуждения методических пособий по проверке. Старшие эксперты сначала проверяют работы так же, как и остальные, параллельно консультируя экспертов в спорных ситуациях. Половина сомнений была связана с ошибками, которые не были предусмотрены инструкциями. В других случаях некоторые учителя информатики просто не могли разобрать решения (например, не все знают C++, а несколько решений вообще были на PHP). При перепроверке старшему эксперту выдаётся специальный протокол, где свободны только клеточки для баллов тех задач, которые следует перепроверить (сканы работ распечатаны заново, фамилии не совпавших экспертов не указаны). Итоговая оценка старшего эксперта уже не перепроверяется.

После завершения работы комиссии система поделилась с нами кое-какой статистикой. Всего информатику сдавали около 1200 школьников Омской области, из которых около 600 попробовали на зуб секцию C. Всего было 22 эксперта, каждый проверил в среднем по 51 работе, и старшим экспертам пришлось ещё частично перепроверить треть всех работ. Статистика по перепроверкам показала, что чаще всего расхождения оценок были, когда один эксперт – школьный учитель, а другой – преподаватель вуза, последний оценивает более объективно, и его оценка совпадает с перепроверкой старшего эксперта. Ещё я несколько раз подмечал, что некоторые учителя-женщины ставили максимальный балл за негодный ответ, то ли не желая вникать в решение, то ли в качестве протеста против якобы чрезмерной мужской строгости эксперта-напарника :о) А может, узнали почерк (или опознавательные знаки) кого-то из своих подопечных.

И ещё пара слов о самих заданиях секции C. Задачи экзамена действительно были наподобие тех, что давно опубликованы в демонстрационном варианте. В C1 были другие картинки, но принцип решения тот же. Задачу C2 даже несколько упростили: для неё тоже написали код на C, Pascal, Basic и естественном языке, в котором объявляются переменные, вводится массив и стоит троеточие, вместо которого требуется вписать только самую суть решения. C3 вообще не изменилась: просто были несколько вариантов этой же самой игры (другие смещения ходов). И все варианты C4 были похожи на этот: олимпиада или экзамен, участники, классы, школы или баллы; нужно догадаться, что искомые величины можно найти по ходу ввода данных, уметь организовать счётчики, найти второй минимум или что-нибудь в этом роде.

В том же демонстрационном варианте есть точно такие же инструкции по оцениванию, какими пользовались эксперты. Укажу на проблемные моменты. C2 простая, но если больше одной ошибки – 0 баллов. Часто забывали инициализировать переменные, но если при этом что-то ещё (хотя и в целом код верен), уже ноль :о( C3 были двух типов: всегда выигрывает либо первый игрок, либо второй. В первом случае в критериях на 1 балл сказано, что должен быть верно указан выигрывающий игрок и его первый ход (поэтому многие, кто даже правильно нарисовал дерево игры, но сделал неверный вывод, получили ноль). В другом случае на 1 балл достаточно было привести неполное дерево игры (и многие, кто сделали меньше других, срубили этот 1 балл). C4 – большая отдельная тема. Баллы начисляются только за работающую (хотя бы в частном случае) программу. Если в алгоритме принципиальные ошибки (а программа-то написана, да ещё как, и школьник-то, судя по всему, неплохой программист) – 0 баллов :о(

Ещё удивляет то, что за все задания секции C, выявляющие практикующих программистов, можно получить максимум 12 баллов (в этом году мало кто набрал больше половины). При этом C3 не требует знания программирования, и было много работ только с попыткой решить C3. Выходит, даже безо всякого программирования, тренируясь на типичных задачках секций A и B, можно набрать до 90 баллов!

За себя скажу, что мне экзамен в целом понравился, материалы хорошо проработаны, система оценивания достаточно объективна, и сотрудники РИАЦ производят положительное впечатление. И жалко, что для поступления к нам этот ЕГЭ не требуется. Про завышение результатов (с помощью учителя на самом экзамене или знакомых в РИАЦ) ничего не могу сказать (теоретически это возможно). Но чтобы кому-то занизили баллы, честно набранные в рамках инструктивных критериев, я сомневаюсь. Для нас, экспертов, очень важен именно этот момент.

You must be logged in to post a comment.