Исследование систем управления с помощью тестирования

Теоретически, разновидностей тестовой надёжности может быть очень  много, однако практическое применение находят лишь несколько типов  надёжности. Поскольку все типы надёжности касаются степени согласованности  или соответствия между двумя  независимо полученными множествами  показателей, их все можно выразить в виде коэффициента корреляции, который  способствует измерению надёжности теста.

Существуют приёмы проверки надёжности тестов. Они включают повторное тестирование, параллельное тестирование, приём раздельного  коррелирования (внутренняя корреляция высказываний), использование дисперсионного анализа, факторный анализ [11, с. 82].

Выделяют следующие  типы надёжности:

·                     ретестовая надёжность (самый очевидный и понятный метод определения надёжности результатов теста – его повторное проведение;

·                     надёжность взаимозаменяемых форм (один из способов избежать трудностей, с которыми приходится сталкиваться при определении ретестовой надёжности, - использование взаимозаменяемых форм теста);

·                     надёжность эквивалентных половин теста (меру надёжности можно определить и на основании однократного применения единственной формы теста, пользуясь для этого различными процедурами расщепления теста на две равноценные половины) и др. [1, с. 114].

Под объективностью понимается степень, в которой результаты тестирования не зависят от  проверяющего. Объективность налицо, если разные исследователи одного проверяемого пришли к идентичным результатам [4, с.114].

Норма теста  определяется в результате тестирования большой выборки испытуемых определенного  возраста и пола с последующим усреднением полученных oценок и дифференциацией по ряду релевантных показателей. Согласно Р.С Немову, норма теста - это средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик.

Понятие «норма теста» связано с понятием «репрезентативность». Репрезентативность (франц. representatif –  показательный) – свойство выборочной совокупности представлять характеристики генеральной совокупности. Репрезентативность означает: с некоторой наперёд  заданной или определённой статистической погрешностью можно считать, что  представляемое в выборочной совокупности распределение изучаемых признаков  соответствует их реальному распределению [2, с. 55].

Для установления нормы теста и стандартизации тестовой методики требуется предварительно определить обоснованность выборки и провести статистические расчеты по определению их репрезентативности. Операции по анализу и расчету тестовых норм (а следовательно, и проверке их на репрезентативность) проводятся с использованием математических методов (в основном на компьютере). В случае негативных результатов (отсутствия устойчивых тестовых норм) прибегают к обследованию более широкой выборки или отказываются от плана использования данного теста.

Всякие нормы  со временем, как правило, изменяются в соответствии с изменяющимися условиями социально-культурной жизнедеятельности людей. Р.С Немов отмечает, что «нормы интеллектуального развития, установленные в первой четверти нашего века, не подходят для его последней четверти, так как за это время уровень развития мышления людей значительно вырос». В соответствии с установленным среди психологов правилом один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.

Валидность, надежность, соответствие тестовым нормам (репрезентативность) являются основными требованиями психометрии. Их объективный характер, возможность перепроверки результатов тестирования являются гарантией достоверной психологической информации.

Социальная адаптация  тестовых методик – данное требование выдвинуто сравнительно недавно. И  связано это с необходимостью адаптации тестовых методик, заимствованных из других стран, к новым региональным и социальным условиям. Р.С Немов по этому поводу пишет: "Если, например, созданный в Европе тест интеллекта впервые применяется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначальном, неадаптированном варианте, мы, скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления у жителей данной страны».

Работа по переоценке тестовых методик по своему объему фактически соответствует конструированию оригинальной методики. « С этой точки зрения заимствование зарубежных общедиагностических тестов способностей, черт характера, интересов и т.п. вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики» [2, с. 56].

Таким образом, применение тестирования в исследовании систем управления является достаточно важным моментом.

Тестирование  – исследование высказываний, позволяющих  получить объективное отражение  свойств и количественных параметров деятельности людей. Тест – система  высказываний или оценок по комплексу  вопросов, в которых закодирована какая-либо проблема. 

В управлении при  помощи тестирования можно исследовать  проблемы использования ресурсов (в  частности, важнейшего из них – времени), уровень квалификации персонала, распределение  функций управления, сочетание формального  и неформального управления, стиль  управления и пр. Тестирование составляет важную часть полной программы управления трудовыми ресурсами. Наиболее полно  сущность тестов раскрывается в их классификации. Большую роль в исследовании при помощи тестирования играет конструкция  теста. Тест включает набор высказываний и оценок по определённой проблеме или ситуации. При составлении  теста необходимо учитывать его  основные характеристики: валидность, надежность, соответствие тестовым нормам.

К побочным критериям  качества тестов относятся: 

- нормируемость;  

- сравнимость; 

- целесообразность(полезность);  

- экономичность. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2. МЕТОДОЛОГИЯ И  ОРГАНИЗАЦИЯ ТЕСТОВЫХ  ИССЛЕДОВАНИЙ СИСТЕМ  УПРАВЛЕНИЯ

2.1. Принципы организации  и проведения тестирования

При исследовании систем управления важную роль играет организация и проведение тестирования.

Система управления – это совокупность двух взаимодействующих  подсистем (управляющей и управляемой  – объект управления), образующих новую  систему – систему управления. Эффективность управления системой рассматривается как степень  достижения цели функционирования [9, c.4].

Система управления предприятием должна отвечать современным  рыночным условиям:

·                    обладать высокой гибкостью производства, позволяющей быстро менять ассортимент изделий (услуг). Это обусловлено тем, что жизненный цикл продукции (услуг) стал короче, а разнообразие изделий и объём выпуска разовых партий – больше;

·                    быть адекватной сложной технологии производства, требующей совершенно новых форм контроля, организации и разделения труда;

·                    учитывать серьёзную конкуренцию на рынке товаров (услуг), в корне изменившую отношение к качеству продукции, потребовавшую организовать послепродажное обслуживание и дополнительные фирменные услуги;

·                    учитывать требования к уровню качества обслуживания потребителей и времени выполнения договоров, которые стали слишком высокими для традиционных производственных систем и механизмов принятия управленческих решений;

·                    учитывать изменение структуры издержек производства;

·                    принимать во внимание необходимость учёта неопределённости внешней среды.

Для решения  представленных проблем существует объективная необходимость в  исследованиях, анализе существующего  положения  [9, c.4].

При проведении тестирования следует использовать следующие методологические принципы:

1. Проблема –  это противоречие, которое предстаёт  нам иногда в качестве абсурда  (неожиданно, непривычно, необъяснимо,  нелогично, абстрактно). Методология  работы с проблемой обеспечивает  качественное планирование исследования, и его организацию.

2. Принцип оценки: любые события, явления, противоречия  мы оцениваем по критериям  важности, объективности, актуальности, связи с другими явлениями,  сложности.

3. Принцип распознавания.  Всегда возникает необходимость  отождествления, сравнения, определения  класса явления, принадлежности  к определённой типологической  группе. Это позволяет глубже  понять новое явление, определить  его свойства и характер, сделать  оценку более существенной.

Методологические  принципы исследования помогают найти  эффективный вариант его проведения, целенаправленного осуществления. Принципы – это правила деятельности, которые её, с одной стороны, ограничивают, а с другой стороны – поддерживают, потому что они отражают концентрированный  опыт успешного исследования [5, с. 18].

Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования (приложение Б). К основным принципам тестирования, которые находят своё применение в исследовании систем управления, относятся принципы действенности  и достоверности.

Действенность теста – точность, с которой  тест, интервью и т.п. оценивает то, для чего он был разработан, или  выполняет предопределённую ему  функцию. Действенность отвечает на вопрос: «Оценивает ли этот тест то, для  оценки чего он был предназначен?». Действенность теста всегда определяется по тому, что он оценивает. При найме  на работу термин «действенность» означает, что тест относится к выполнению данной работы, другими словами, что  результаты теста должны дать представление  о способности человека выполнять  определённую работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется  двумя основными параметрами, показывающими  его действенность: эффективностью критериев и действенностью содержания [3, c. 100].

Эффективность критериев – эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполнения (критерий). Эффективность критериев  указывает на то, что тест («прогноз») находится в соответствии с требованиями, предъявляемыми к данному виду деятельности («критерий»). Демонстрация действенности  критериев предполагает доказательство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, набравшие  большее количество очков при  тестировании, наилучшим образом  соответствуют данной деятельности. С точки зрения психики, прогноз  – это оценка, которую вы стараетесь связать с критерием – выполнение реальной работы.

Действенность содержания – тест, содержание которого эффективно, содержит ряд задач и  навыков, действительно необходимых  для выполнения рассматриваемой  работы.

Действенность содержания – набор задач и  навыков, включённых в тест, необходимых  для выполнения рассматриваемой  работы.

Основная задача – определить содержание работы в  виде поведенческих стереотипов, затем  случайным образом осуществить  набор этих задач и образцов поведения  и включить их в тесты. Примером служит тест на скорость печатания при найме  машинистки. Если этот тест – достоверный  образец работы машинистки, то он, возможно, содержательно действенен.

Доказательство  содержательной действенности теста  на практике сложнее, чем в теории. Доказать, что задания, предлагаемые испытуемым при тестировании, на самом  деле являются образцом задач, выполняемых  в процессе реальной работы, и что  условия тестирования адекватны  реальным рабочим условиям, не всегда легко [5, c. 197].

Помимо действенности  имеется другая важная характеристика теста – достоверность.

Достоверность – постоянство баллов, набранных  одним и тем же человеком при  повторном тестировании с теми же эквивалентными тестами.

Достоверность теста оценивает его устойчивость, т.е. постоянство результатов, полученных одним и тем же испытуемым при  повторном прохождении подобного  или похожего теста.

Существует несколько  способов оценки стабильности или достоверности  теста. Например, человеку делается один и тот же тест в два различных  момента времени и результаты сравниваются. Это называется оценкой  повторного тестирования, это означает, что во второй раз предоставляется  эквивалентный тест. Это называется эквивалентной оценкой. Другой способ определения достоверности теста  – определение его внутренней устойчивости [16, c. 197].