Проблемы применения метода социального эксперимента (на примере ЕГЭ)

Оценка  выраженности разных психических функций  в стандартных единицах удобна во многих отношениях. Она позволяет  не только сравнивать выраженность одного и того же свойства у разных людей  или разных групп, но и сопоставлять между собой выраженность качественно разных свойств. Например, мы получаем возможность наполнить более точным значением такое выражение: "Этот человек очень способный, но довольно замкнутый". В строго операциональных терминах это означает, что он имеет высокие значения по шкале интеллекта и низкие по шкале общительности. Имея тест, который измеряет несколько свойств, можно строить так называемый психологический профиль человека. Это будет график, на котором значения по разным шкалам отложены в одном масштабе и соединены между собой. Получается ломаная линия, характерная форма которой позволяет опытному специалисту сразу видеть индивидуальные особенности данного человека. Индивидуальные профили легко сравнивать друг с другом, мысленно накладывая один на другой. Можно построить и усредненные групповые профили, которые тоже легко сопоставимы между собой.

В отличие  от интеллектуальных тестов, представляющих собой серии задач, личностные тесты  обычно имеют форму вопросников. Здесь оценивается не объективное поведение человека в ситуации тестирования (количество правильных ответов), а содержание его ответов. Фактически в этом случае мы пользуемся данными самонаблюдения. Однако используемый формат позволяет дать этим субъективным по своей природе данным объективную оценку путем соотнесения индивидуальных ответов со статистически выведенными нормами. Конечно, отмеченный характер личностных тестов не исключает возможности некоторых субъективных искажений информации. Но, во-первых, существуют различные приемы для минимизации этого фактора. Например, в больших личностных тестах, измеряющих несколько разных свойств, вопросы, относящиеся к разным шкалам, чередуются случайным образом. Испытуемому тогда труднее понять, на что направлен каждый конкретный вопрос. Кроме того, вопросы формулируются таким образом, что учитываться может как положительный, так и отрицательный ответ. Это еще больше усложняет всю картину. Во-вторых, имеется принципиальная возможность выявить сознательное или неосознанное стремление испытуемого представить себя в розовом свете. Более того, можно измерить степень выраженности такой тенденции и даже ввести соответствующую коррекцию. Подобного рода коррекционные шкалы включены, например. в известный Миннесотский личностный вопросник (MMPI).

 Теория  и практика создания тестов к настоящему времени хорошо развиты, так что можно даже говорить об особой прикладной дисциплине – тестологии. Создатели тестов опираются на методы математической статистики. В частности, каждый тест проверяется на надежность и валидность. Надежный измерительный инструмент не должен быть подвержен случайным колебаниям: при повторном применении он должен давать сходные результаты. Надежность тестов оценивается путем вычисления коэффициента корреляции для повторных измерений на одной и той же выборке. Он должен быть достаточно высок. Валидность в применении к тесту означает, что он измеряет именно то свойство, на которое он направлен. Например, интеллектуальный тест должен оценивать умственные способности, а не знания. Наоборот, дидактический тест направлен на оценку уровня знаний. Основным методом проверки валидности теста является сопоставление получаемых с его помощью результатов с каким-то внешним критерием, например с оценкой экспертов. Если нам нужно проверить валидность дидактического теста, то следует проверить совпадение его показателей с результатами обычного экзамена по предмету. Для проверки валидности интеллектуального теста можно взять две группы учащихся с разной успеваемостью. Хорошие ученики должны показать в тесте значительно более высокие результаты.

До сих  пор мы рассматривали психометрические тесты. Если вспомнить ту классификацию  методов социальных наук, которую  мы ввели выше, то эти методы оказываются  на номотетическом полюсе. Они четко  структурированы. Используемые нормы представляют собой ни что иное, как описание характера распределения данной переменной в целом по популяции. Оценивая данного конкретного индивида, мы как бы сравниваем его со всеми остальными людьми, а тест дает нам некий объективный эталон. Результаты теста выражаются в числовом виде. Использование тестов позволяет максимально объективировать оценку психологических особенностей людей, и в этом их ценность, хотя, как у каждого метода, у тестов есть и свои недостатки. В частности, даже самые надежные тесты могут давать отдельные сбои. Особенно это относится к случаям индивидуальной диагностики. Ведь тест ориентирован на стандартную ситуацию проведения, и всякое отклонение от нее будет порождать ошибки. Допустим, мы предлагаем интеллектуальный тест человеку, который в данный момент плохо себя чувствует. Результаты заведомо окажутся ниже, чем он показал бы в нормальном состоянии. Посторонний фактор (состояние здоровья) вмешивается, искажая результаты. Сам тест этого уловить не в состоянии. Поэтому использование тестов предполагает соответствующую квалификацию исследователя. Неквалифицированное применение тестов и бездумное обращение с результатами тестирования чревато ложными выводами. Об этом стоит лишний раз напомнить, поскольку внешняя объективность инструмента и простота получения данных с его помощью легко усыпляют бдительность неопытного исследователя.

Вывод: в заключение дадим краткую сводку сильных и слабых сторон рассматриваемого метода. К достоинствам тестов относятся:

объективный характер получаемых данных (дидактические и интеллектуальные тесты);

возможность выявления глубинных свойств  личности, недоступных прямому наблюдению (проективные тесты);

унифицированная процедура получения информации, обеспечивающая сопоставимость данных разных исследований;

стандартизированная процедура интерпретации, упрощающая этот процесс и повышающая надежность результатов;

возможность количественной оценки психических  свойств человека;

возможность группового применения, что значительно  экономит время, затрачиваемое на сбор информации.

Однако, применяя тесты, нужно помнить, что:

объективность и надежность тестов не являются абсолютными;

надежность  психометрических тестов зависит от строгого соблюдения условий проведения опыта;

статистические  нормы не гарантируют полной достоверности результатов в случае индивидуальной диагностики;

грамотная интерпретация результатов проективных  тестов предполагает специальную подготовку исследователя;

чисто количественная оценка результатов  означает потерю части информации;

ценность тестов и надежность получаемой с их помощью информации значительно повышается, когда они применяются в комплексе с другими методами исследования. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

4.Проблемы ЕГЭ — действительные и мнимые.

Следует отметить, что анализ процесса проведения эксперимента, динамика его развития, характер изменения отношения к нему и специфика реакции нашего общества на появление нового позволяет сказать, что в целом ощущение «неизбежности введения ЕГЭ» уже сложилось и вряд ли что-то радикально изменится в дальнейшем. Тем не менее, на некоторые вопросы, связанные с проведением эксперимента, еще не получены удовлетворительные ответы, более того, есть вопросы, которые требуют детального обсуждения, и в их числе:

— к  чему приведет ограничение ЕГЭ только задачей итоговой аттестации выпускников школ, без использования результатов для приема в вузы;

— возможен ли еще полный отказ от введения ЕГЭ, или «точка возврата» уже пройдена.

Почти очевидной является нецелесообразность двойного испытания выпускников школ в течение двух месяцев (притом, что во время вступительных испытаний не допускается использование заданий, выходящих за пределы школьной программы), более того —сам факт недоверия высшей и средней профессиональной школы к результатам выпускных школьных экзаменов ставит под сомнение целесообразность такого итогового контроля, а также явно или неявно обосновывает претензии к объективности российского аттестата о среднем образовании на международном уровне. Однако отказ от проведения итогового контроля по завершении школы по многим причинам нецелесообразен, да и противоречит действующему законодательству. С другой стороны, полное исключение вступительных испытаний в вузы, техникумы и колледжи (прием на основании только школьных оценок) также имеет множество отрицательных сторон. Сама по себе идея введения объективного контроля результатов учебы на выходе из школы возникла давно. В законодательстве эта идея зафиксирована уже с 1992 г. —в ст. 15 Закона «Об образовании. В одной из предлагавшихся в 1997 г. программ модернизации образования отмечалось, что «система вступительных экзаменов в высшие учебные заведения должна быть заменена системой национального тестирования», однако до 2000 г. в стране предпринимались только отдельные попытки введения элементов объективного контроля результатов учебы в школе. В качестве таковых могут рассматриваться экзамены в так называемых «базовых школах», которые проводились

(и проводятся) с участием преподавателей вузов,  а также единые республиканские  экзамены, проведенные в республике Марий Эл в 1995–1997 гг. Они проводились школами и вузами совместно, при этом их результаты сразу являлись и выпускными для школы, и вступительными для вузов. Но совмещение экзаменов в локальном варианте слишком явно нарушает равенство доступа к участию в конкурсе и дает ощутимые преимущества «местным» абитуриентам. 

А) Общие замечания

В системе  в целом проведение одного цикла  объединенных (единых) экзаменов вместо двух непосредственно следовавших друг за другом — школьного и вузовского — стало возможным только в рамках ЕГЭ. Отношение к таким объединенным экзаменам было и остается неоднозначным, при этом и со стороны школ, и со стороны вузов выдвигались как аргументы за, так и аргументы против. При этом одни и те же характеристики ЕГЭ использовались и для аргументации за, и для аргументации против его введения - в зависимости от отношения к самой идее ЕГЭ.

К сожалению, в основном обсуждение ведется на бытовом уровне: оппоненты с обеих сторон ищут частные аргументы в подтверждение своей позиции и часто апеллируют к здравому смыслу, не заботясь о серьезном обосновании своей позиции. Еще один интересный аспект связан с неявным переносом высокой компетенции отдельных участников обсуждений в различных сферах (в первую очередь, в науке) на сферу образования. Предполагается, что крупный ученый, общественный деятель или администратор обязательно является и крупным специалистом в теории управления, теории измерения и, конечно, в педагогике. Зачастую аргументация (и сторонников, и противников ЕГЭ) основывается на использовании определенной схожести ЕГЭ с зарубежными аналогами, переносе свойств аналога на ЕГЭ и соответствующих выводах. 

Б) ЕГЭ и школа

Для школы  введение ЕГЭ приводит, в первую очередь, к устранению учителя от оценки собственного труда, что стало  основанием для аргументов о недоверии к работе учителя, о невозможности учесть во время экзаменов «историю вопроса». Кроме того, если в традиционной схеме хорошему ученику, допустившему небольшой сбой на экзамене, можно было прибавить балл, то в условиях ЕГЭ такой возможности уже нет. И наоборот:

возможность «припомнить» школьнику на экзамене разгильдяйство, недостаточную старательность или специфические отношения с учителем с помощью снижения оценки также оказалась исключенной. Очевидно, полезная возможность сравнения результатов работы разных школ также не является однозначно положительным фактором. Так, для многих школ, имеющих сложившееся позитивное реноме, результаты ЕГЭ стали неожиданностью: оказалось, что неформальное представление о высоком качестве их работы ничем не подтверждается. Особенно остро этот вопрос возник в связи с экзаменом по математике в школах с гуманитарным уклоном.

Оказалось, что объем читаемой в них математики не обеспечивает получения максимальных баллов на экзамене. И если ранее оценка «отлично» в гуманитарном лицее значила «отлично по сравнению с другими учащимися», то в условиях объективного контроля многие из потенциальных медалистов из числа выпускников школ с гуманитарным уклоном оказались в сложном положении. Имеются и обратные случаи — в лидеры по результатам ЕГЭ выходят школы, ранее ничем не выделявшиеся. «Две грани» ЕГЭ проявляют себя на каждом уровне системы школьного образования. С одной стороны, каждый учитель может теперь посмотреть на результаты своих учеников и результаты работы своих коллег и сделать определенные выводы. С другой стороны, результаты его работы могут оценивать не только коллеги, но и руководство школы, и родители. Для директора школы ЕГЭ — это и инструмент оценки труда учителя, и — одновременно — инструмент оценки результатов работы школы со стороны муниципальных органов управления образованием и общественности, то есть, косвенно, инструмент оценки труда директора. То же самое происходит и на следующих уровнях —

вплоть  до утверждений на уровне субъекта Федерации: «Наши средние результаты по (физике, химии, биологии…) выше, чем  в соседних областях»,— притом, что иногда различие результатов вполне укладывается в границы статистической погрешности измерения. При этом никакие объяснения относительно преждевременности использования результатов ЕГЭ, полученных в условиях эксперимента, для принятия управленческих решений не принимаются во внимание. Не учитывается ни недостаточная однородность КИМов, ни неоднозначность мотивации школьников в выборе предметов для сдачи экзаменов в форме ЕГЭ.

   Таким образом, можно сделать вывод, что, с одной стороны, с появлением ЕГЭ возникают основания для объективного сравнения результатов работы учащихся, учителей и школ, с другой стороны, только результатов ЕГЭ для принятия обоснованных решений недостаточно, необходимо учитывать и множество других факторов. 

В) ЕГЭ и вузы

   Использование результатов ЕГЭ для приема в вузы также вызывает множество споров. Основные аргументы оппонентов сводятся к недостаточной сложности КИМов и связанной с этим невозможности отбора в вузы «своих» абитуриентов. Часто приходится слышать о необходимости оценки «профессиональной ориентированности» в ходе вступительных экзаменов. Оставляя в стороне вопрос о качестве заданий, которые готовятся вузами для вступительных экзаменов,