Интеллектуальный анализ данных в прикладной программе STATISTIKA

Дискриминантный анализ представляет собой статистический аппарат для изучения различий между  двумя и более группами объектов по отношению к нескольким переменным одновременно. В первые был применен в сфере банковского дела, а именно в кредитном анализе.

Таким образом, дискриминантный анализ применяется для поиска переменных, позволяющих относить наблюдаемые объекты в одну или несколько наблюдаемых групп, а также для классификации наблюдений в различные группы.

4. Факторный анализ

 

Факторный анализ - многомерный статистический метод, применяемый для изучения взаимосвязей между значениями переменных.

Факторный анализ позволяет решить две важные проблемы исследователя: описать объект измерения всесторонне и в  то же время компактно. С помощью  факторного анализа возможно выявление  скрытых переменных факторов, отвечающих за наличие линейных статистических связей корреляций между наблюдаемыми переменными.

Можно выделить 2 цели факторного анализа:

• определение взаимосвязей между переменными, (классификация переменных);
• сокращение числа переменных.

Сущностью факторного анализа является процедура  вращения факторов, то есть перераспределения  дисперсии по определённому методу.

Факторный анализ может быть:

• разведочным — он осуществляется при исследовании скрытой факторной структуры без предположения о числе факторов и их нагрузках;
• конфирматорным, предназначенным для проверки гипотез о числе факторов и их нагрузках.

Главной проблемой факторного анализа является выделение и интерпретация главных  факторов. При отборе компонент исследователь  обычно сталкивается с существенными  трудностями, так как не существует однозначного критерия выделения факторов, и потому здесь неизбежен субъективизм интерпретаций результатов. Существует несколько часто употребляемых  критериев определения числа  факторов. Некоторые из них являются альтернативными по отношению к  другим, а часть этих критериев  можно использовать вместе, чтобы  один дополнял другой:

Критерий  Кайзера или критерий собственных  чисел. Этот критерий предложен Кайзером, и является, вероятно, наиболее широко используемым. Отбираются только факторы  с собственными значениями равными  или большими 1. Это означает, что  если фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной переменной, то он опускается.

Критерий  каменистой осыпи или критерий отсеивания. Он является графическим методом, впервые  предложенным психологом Кэттелом. Собственные  значения возможно изобразить в виде простого графика. Кэттел предложил  найти такое место на графике, где убывание собственных значений слева направо максимально замедляется.

Критерий  значимости. Он особенно эффективен, когда  модель генеральной совокупности известна и отсутствуют второстепенные факторы. Но критерий непригоден для поиска изменений в модели и реализуем  только в факторном анализе по методу наименьших квадратов или  максимального правдоподобия.

Критерий  доли воспроизводимой дисперсии. Факторы  ранжируются по доле детерминируемой  дисперсии, когда процент дисперсии  оказывается несущественным, выделение  следует остановить.

Критерий  интерпретируемости и инвариантности. Данный критерий сочетает статистическую точность с субъективными интересами. Согласно ему, главные факторы можно выделять до тех пор, пока будет возможна их ясная интерпретация.

Методы  факторного анализа:

• метод главных компонент
• корреляционный анализ
• метод максимального правдоподобия.

Таким образом, с помощью факторного анализа возможно выявление скрытых переменных факторов, отвечающих за наличие линейных статистических связей корреляций между наблюдаемыми переменными.

5. Регрессионный анализ

 

Термин "регрессия" был введён Фрэнсисом  Гальтоном в конце 19-го века. Гальтон  обнаружил, что дети родителей с  высоким или низким ростом обычно не наследуют выдающийся рост и назвал этот феномен "регрессия к посредственности". Сначала этот термин использовался  исключительно в биологическом  смысле. После работ Карла Пирсона  этот термин стали использовать и  в статистике.

Регрессия — зависимость математического  ожидания (например, среднего значения) случайной величины от одной или  нескольких других случайных величин (свободных переменных), то есть . Регрессионным  анализом называется поиск такой  функции , которая описывает эту  зависимость. Регрессия может быть представлена в виде суммы неслучайной  и случайной составляющих.

Регрессио́нный (линейный) анализ — статистический метод исследования влияния одной  или нескольких независимых переменных  на зависимую переменную . Независимые  переменные иначе называют регрессорами или предикторами, а зависимые  переменные — критериальными.

Цели  регрессионного анализа

• Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
• Предсказание значения зависимой переменной с помощью независимой(-ых)
• Определение вклада отдельных независимых переменных в вариацию зависимой.

Регрессионный анализ нельзя использовать для определения  наличия связи между переменными, поскольку наличие такой связи  и есть предпосылка для применения анализа.

Смысл регрессионного анализа – построение функциональных зависимостей между двумя группами переменных величин Х1, Х2, … Хр и Y. При этом речь идет о влиянии  переменных Х (это будут аргументы  функций) на значения переменной Y (значение функции). Переменные Х мы будем называть факторами, а Y – откликом.

Регрессионный анализ — метод моделирования  измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей  переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной  переменной. Параметры модели настраиваются  таким образом, что модель наилучшим  образом приближает данные. Критерием  качества приближения (целевой функцией) обычно является среднеквадратичная ошибка: сумма квадратов разности значений модели и зависимой переменной для  всех значений независимой переменной в качестве аргумента.

Регрессионный анализ — раздел математической статистики и машинного обучения. Предполагается, что зависимая переменная есть сумма  значений некоторой модели и случайной  величины. Относительно характера распределения  этой величины делаются предположения, называемые гипотезой порождения данных. Для подтверждения или опровержения этой гипотезы выполняются статистические тесты, называемые анализом остатков. При этом предполагается, что независимая переменная не содержит ошибок.

Таким образом, регрессионный анализ используется для прогноза, анализа временных  рядов, тестирования гипотез и выявления  скрытых взаимосвязей в данных. 

Выводы раздела 1

 

 

1. Кластерный анализ выполняет сбор данных, содержащих информацию о выборке объектов, и затем разбивает объекты на однородные группы(кластеры).
2. Классификация  предназначена для определения того, к какой группе может быть отнесен каждый объект.
3. Дискриминантный анализ применяется для поиска переменных, позволяющих относить наблюдаемые объекты в одну или несколько наблюдаемых групп, а также для классификации наблюдений в различные группы.
4. С помощью факторного анализа возможно выявление скрытых переменных факторов, отвечающих за наличие линейных статистических связей корреляций между наблюдаемыми переменными.
5. Регрессионный анализ используется для прогноза, анализа временных рядов, тестирования гипотез и выявления скрытых взаимосвязей в данных.

 

РАЗДЕЛ 2

ВЫПОЛНЕНИЕ МЕТОДОВ  СТАТИСТИЧЕСКОГО АНАЛИЗА

 

1.  Создание файлов данных

 

В данном подразделе требуется создать файл, содержащий таблицу статистических данных о сбросе загрязненных сточных вод в поверхностные водные объекты по субъектам Российской Федерации за 1995-2005 год.

Для этого  необходимо внести нужную таблицу в  приложение Statistica и сохранить файл данных.(см. таблица.2.1).

 

Таблица 2.1

 

 

Продолжения таблицы.2.1. (см. ниже таблица. 2.1.1).

 

Таблица.2.1.1

2. Обработка многомерных данных в Microsoft Excel

 

Первоначально требуется найти минимальное (Хmin)  и максимальное (Xmax) значения по каждому фактору с помощью встроенных функций Excel: МИН() и МАКС().

После этого необходимо разбить данные факторы на  три интервала по формулам:

1 интервал (Хmin,Х1), где Х1=Хmin+;

2 интервал (Х,1Х2), где Х2=Х1+;

3 интервал (Х2,Хmax). 

Разбив данные на 3 интервала по вше перечисленным формулам получили следующий результат (см.таблица.2.2).

 

Таблица 2.2

 

Продолжение таблицы.2.2 (см.ниже таблица.2.2.1)  

Таблица.2.2.1

 

Перед началом  классификации необходимо произвести стандартизацию данных по формуле: хsi=

Реализуем стандартизацию данных.(см.таблица 2.3).

Таким образом, программа Microsoft Excel является удобным  табличным редактором, позволяющим  производить вычисления с разными  видами данных, в том числе и  статистическими данными.

 

Таблица 2.3

 

 

 

3. Кластерный анализ

Кластерный  анализ позволяет разбить наши данные по классам, называемые кластерами, так, так чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров отличались. Также позволяет рассчитать среднее значение для каждого кластера.(см.рис.2.4).

 

 

Рис.2.4 Средние значения для каждого кластера.

 

Для того что бы графически изобразить получены результаты необходимо построить линейный график средних значений характеристик  районов для каждого кластера.(см.рис.2.5)

 

 

Рис.2.5 График средних для каждого кластера. 

Таким образом, кластерный анализ разбивает данные на группы схожих объектов, что позволяет  упростить их дальнейшую обработку  и принятие решений.

4. Обработка классифицируемых данных. Теория классификации.

На данном этапе необходимо провести разбиение стандартизованных данных на различное число кластеров (от 1 до 10).(см.рис.2.6).

 

 

 

Рис.2.6 разбиение  на 10 кластеров.

 

Таким образом, был проведен кластерный анализ, в  ходе которого данные разбиты на 10 групп, в которых данные мало отличаются друг от друга.

2.5. Дискриминантный  анализ.

Для проведения дискриминантного анализа в стандартизированную  таблицу добавим еще один столбец (CLASTER), который будет содержать номера кластеров для каждого района соответственно. Далее необходимо выполнить дискриминантный анализ, рассчитать расстояние Махаланобиса между группами, выполнить канонический анализ.(см.рис.2.7).

 

 

Рис.2.7 Дискриминантный  анализ, расстояние Махаланобиса, канонический анализ.

После того как выполнили канонический анализ требуется построить диаграмму  рассеяния.

 

 

Рис.2.8. Диаграмма рассеяния канонических значений.

 

Необходимо  провести классификацию данных(см.рис.2.9).

 

 

Рис.2.9. Функции классификации, построенные стандартным методом.

 

Таким образом, проведя дискриминантный анализ, видно что значения статистики лямбда Уилкса лежат в интервале [0;1], что свидетельствует о хорошей дискриминации.

5. Факторный анализ

 

При выполнение факторного анализа возникла следующая  ошибка не выставляются установками по умолчанию. Дело в том, что в процессе факторизации процедура выполняет поиск так называемой обратной матрицы по отношению к корреляционной. Здесь существует аналогия с привычными действительными числами: умножив число на обратное к нему число, необходимо получить единицу (например, 4 и 0.25). Однако для некоторых чисел обратных к ним не существует , ноль невозможно умножить на что-то, что даст в итоге единицу. Однако для некоторых матриц не существует обратных, а значит, провести для таких случаев факторный анализ становится невозможным.