Система оценки знаний учащихся и оценка эффективности (на примере студентов физического направления)

1. разделить материал на структурно-логические самостоятельные модули (или логические блоки). Модулем может быть:

     - отдельная тема или раздел;

     - самостоятельный цикл лабораторных  работ;

     - индивидуальные домашние задания;

     - индивидуальная самостоятельная работа по выбору ученика;

     - разделы, выделенные для самостоятельного  изучения.

2. определить нормативные баллы на все задания и задачи учебного предмета (или правила начисления баллов);
3. установить минимальное количество баллов по каждому виду учебной деятельности, которое должен набрать ученик в ходе обучения;
4. составить свод правил и положений, на основе которых будет производиться оценивание – рейтинговый регламент;
5. на основе программных средств организовать учет успеваемости обучающихся и расчет их рейтингов;
6. в конце четверти выставить общую оценку за работу, представляющую собой сумму рейтинговых оценок за отдельные модули

[10, с. 38].

     Прежде  чем представить общую схему  организации рейтинговой системы, стоит сказать, что рейтинговая шкала значительно более чувствительна, чем балльная (например, пятибалльная), она представляет собой частный случай ранговой шкалы (см. рис.1). Это позволяет использовать ее для организационных и управленческих решений. Например, в одной из негосударственных школ было принято решение о дифференциации оплаты за обучение детей в зависимости от их успехов, выражаемых рейтингами. В результате одни родители наиболее способных детей были освобождены от оплаты совсем, а родителям детей, создающих наибольшие проблемы и требующих особого усиленного внимания, пришлось доплачивать. В другой негосударственной школе решили ежегодно отчислять 10 учащихся из 300 обучающихся, занимающих нижние строки рейтингового списка, а на их места принимать 10 новичков "с улицы", предоставляя последним счастливый шанс [9, с. 47]. 

     Рис.2.1 Виды оценочных шкал 

     Рейтинговая система по ряду признаков имеет  большое сходство с количественной шкалой, но, что важно, таковой не является. Рейтинг – это действительное число. Но получается оно либо путем опроса субъективных мнений экспертов, как рейтинги политических деятелей, либо путем набора очков (пунктов, баллов).

     Рейтинговая система обладает ни с чем не сравнимой  гибкостью. Можно, например, иметь ее отдельно по каждому предмету, а  можно общую. В список оцениваемых достижений могут быть включены и неучебные – важные на данный период для статуса или развития школы.

     Рассмотрим  более детально, как строится рейтинговая  система, но сначала необходимо ознакомиться с техникой построения рейтинговых шкал. Пусть требуется ранжировать m объектов E₁, E₂, …, E_m и для этого привлечены n экспертов. Это значит, что каждый эксперт должен выдать упорядоченную последовательность данных объектов по степени выраженности оцениваемого свойства, присвоить каждому из объектов ранг от 1 до m. Обозначим r_1к ранг, который присваивает первому объекту k-тый эксперт, r_2к – ранг, который этот же эксперт присваивает второму объекту, и так далее. Например, запись r₂₃ =1 означает, что второму объекту третий эксперт присвоил ранг 1. в результате опроса экспертов получается матрица из m строк и n столбцов (см. таблицу).

     Таблица 2.2

     Матрица распределения различными экспертами по рангу одних и тех же объектов

     Но  суждения носят оценочный характер и отражают ценностные установки  самого эксперта. Здесь велик соблазн  для эксперта принять (самому) и представить (другим) свои внутренние критерии в  качестве объективных   [12, с. 78]. На оценки и суждения экспертов обычно оказывают влияние факторы, которые нельзя отнести к числу научных аргументов: авторитет и заслуги коллег, ранее высказавших суждение; эмоциональная окраска утверждений оппонента и т.п. [13, с. 56]. Поэтому, прежде чем работать с матрицей дальше, следует провести проверку на согласованность экспертных оценок внутри рабочей группы. Для этого найдем суммы R_i по каждой строке: 

     R_i= r_i1+…+ r_iк+…+ r_iп                                          (1.1) 

     Выберем среди этих сумм наибольшую R_max и наименьшую R_min. Вычислим размах: ΔR=R_max – R_min. Согласованность экспертных оценок считается достаточно высокой, если ΔR= m > . В противном случае требуется более точная и трудоемкая дополнительная проверка по дисперсии. С вероятностью 90% между экспертными оценками имеется достаточная согласованность, если 

     D>(0,22m+0,50)

     где = – среднее арифметическое, а D= – дисперсия.

     Формула применима для количества оцениваемых  объектов от трех до двадцати.

     Если  согласованность экспертов достигнута, то дальнейшая процедура проста: объекту  с наименьшей суммой рангов присваивается  ранг 1, следующему – ранг 2 и т.д. Объект с наименьшей суммой рангов получает итоговый ранг m.

     Рассмотрим  это в конкретных числах. Предположим, что в конкурсе на оригинальное решение  логических задач претендуют на победу 4 ученика: А, Б, В, Г. Жюри из пяти учителей-математиков  должно присудить им места и награды. Для этого каждый член жюри указывает место, которое он считает нужным присудить каждому из победителей. В итоге получены следующие оценки:

     Вернемся  к рейтинговой системе. Независимо от того, какой вариант выбран –  общая шкала или по предметная, необходимо составить список всех оцениваемых учебных действий, то есть от того, за счет чего ученик сможет набирать очки. Задача составления такого списка не так проста, как может показаться на первый взгляд. Ее можно совместить с процедурой ранжирования, когда каждый эксперт приводит оцениваемые действия уже упорядоченным списком, но при таком варианте будет слишком много элементов списка, не имеющих полного комплекта оценок. В результате невозможно применить процедуры проверки на согласованность. Поэтому сначала надо получить максимально полный список, опросив учителей и добавив новые предложения к уже имеющимся. Затем следует ранжировать полученный список, применяя полученную выше процедуру. Для этого создается экспертная группа из наиболее профессионально компетентных, опытных учителей. В случае, если не удается добиться согласованности оценок, можно изменить ее состав либо исключить из списка оцениваемых действий те, по которым разброс экспертных оценок слишком велик.

     Предположим, что мы получили какой-либо ранжированный список учебной деятельности. Чтобы превратить этот список в рейтинговую шкалу, необходимо договориться, сколько баллов будет присуждаться за каждый вид работы. Можно, в частности, оставить в качестве цены каждой работы ее номер в списке. С другой стороны, многие учителя предпочли бы заложить в шкалу еще и качество выполненной работы. Тогда цена каждого вида деятельности может нарастать с некоторым шагом. Оба случая иллюстрируют равномерную шкалу. Но можно использовать в некоторых случаях и неравномерную шкалу. Соответственно очередной шаг построения рейтинговой системы состоит в оценке всех элементов списка, расстановке весовых коэффициентов.

     Теперь  рассмотрим пример построения балльно-рейтинговой  системы для оценочной шкалы. Для составления исходного списка видов деятельности экспертная группа из 16 человек была довольно произвольно разделена на 4 равные подгруппы, каждая из которых составила свой вариант списка. Из этих вариантов был составлен сводный список, но после обсуждения и корректировки он приобрел такой вид:

1. Сочинение, эссе.
2. Реферат, изложение, обзор.
3. Добавление, реплика.
4. Постановка вопроса, задачи.
5. Ответ на вопрос.
6. Рецензия на выступление.
7. Выступление с решением задачи.
8. Изготовление наглядного материала.
9. Выполнение домашнего задания.
10. Выступление по обязательной литературе.
11. Выступление по дополнительной литературе.
12. Письменное решение задачи в классе.
13. Участие в конкурсе по предмету.
14. Победа в конкурсе по предмету.
15. Ассистирование учителю.

     Затем каждый из 16 экспертов ранжировал этот список в соответствии со своими представлениями о ценностях (см. приложение 1). Применив алгоритм, находим средний ранг каждого вида деятельности. В первом столбце матрицы – номера видов деятельности согласно списка, приведенного выше. Проверка по критерию на размах (ΔR=214-57=157; 157> ) позволяет признать эти экспертные оценки согласованными, несмотря на очевидный разброс мнений экспертов по весу тех или иных параметров. В результате получается ранжированный список видов деятельности:

1. Победа в конкурсе по предмету.
2. Сочинение, эссе.
3. Выступление по дополнительной литературе.
4. Реферат, изложение, обзор.
5. Письменное решение задачи в классе.
6. Выступление с решением задачи.
7. Выступление по обязательной литературе.
8. Рецензия на выступление.
9. Ассистирование учителю.
10. Постановка вопроса.
11. Ответ на вопрос.
12. Выполнение домашнего задания.
13. Изготовление наглядного материала.
14. Участие в конкурсе по предмету.
15. Добавление, дополнение, реплика.

     Полученный  список уже можно считать оценочной  шкалой. Однако очевидно, что эта равномерная шкала недостаточно стимулирует ученика на деятельность высокого порядка. Поэтому каждому виду деятельности можно присвоить рейтинговое число, совокупность которых и делает шкалу неравномерной, но более рациональной. Соответствие видов деятельности (параметров) и их рейтинговых чисел (баллов) приведено в следующей таблице:

     Таблица 2.3

     Соответствие  параметров и  баллов

Параметр	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Балл	25	21	20	15	12	11	10	9	8	7	6	5	4	2	1

     При использовании этой шкалы на практике данный набор рейтинговых чисел может быть значительно изменен. Может он меняться и на определенное время для поощрения необходимых на это время видов деятельности. Для таких изменений не требуется повторения всей процедуры построения шкалы.