4. Этапы решения задач на основе нейронных сетей

    Выделяют  этапы:

• сбор данных для обучения
• подготовка и нормализация данных
• выбор топологии сети
• экспериментальный подбор характеристик сети
• экспериментальный подбор параметров обучения
• собственно обучение
• проверка адекватности обучения
• корректировка параметров, окончательное обучение
• вербализация сети с целью дальнейшего использования

    Следует рассмотреть подробнее некоторые из этих этапов.

    4.1. Сбор данных для обучения

    Выбор данных для обучения сети и их обработка  является самым сложным этапом решения  задачи. Набор данных для обучения должен удовлетворять нескольким критериям:

    Репрезентативность – данные должны иллюстрировать истинное положение вещей в предметной области;

    Непротиворечивость – противоречивые данные в обучающей выборке приведут к плохому качеству обучения сети;

    Исходные  данные преобразуются к виду, в  котором их можно подать на входы сети. Каждая запись в файле данных называется обучающей парой или обучающим вектором. Обучающий вектор содержит по одному значению на каждый вход сети и, в зависимости от типа обучения (с учителем или без), по одному значению для каждого выхода сети. Обучение сети на «сыром» наборе, как правило, не даёт качественных результатов. Существует ряд способов улучшить «восприятие» сети.

    Нормировка  выполняется, когда на различные  входы подаются данные разной размерности. Например, на первый вход сети подается величины со значениями от нуля до единицы, а на второй – от ста до тысячи. При отсутствии нормировки значения на втором входе будут всегда оказывать существенно большее влияние на выход сети, чем значения на первом входе. При нормировке размерности всех входных и выходных данных сводятся воедино;

    Квантование выполняется над непрерывными величинами, для которых выделяется конечный набор дискретных значений. Например, квантование используют для задания  частот звуковых сигналов при распознавании  речи;

    Фильтрация выполняется для «зашумленных» данных.

    Кроме того, большую роль играет само представление  как входных, так и выходных данных. Предположим, сеть обучается распознаванию  букв на изображениях и имеет один числовой выход – номер буквы в алфавите. В этом случае сеть получит ложное представление о том, что буквы с номерами 1 и 2 более похожи, чем буквы с номерами 1 и 3, что, в общем, неверно. Для того, чтобы избежать такой ситуации, используют топологию сети с большим числом выходов, когда каждый выход имеет свой смысл. Чем больше выходов в сети, тем большее расстояние между классами и тем сложнее их спутать.

    4.2. Выбор топологии сети

    Выбирать  тип сети следует исходя из постановки задачи и имеющихся данных для  обучения. Для обучения с учителем требуется наличие для каждого элемента выборки «экспертной» оценки. Иногда получение такой оценки для большого массива данных просто невозможно. В этих случаях естественным выбором является сеть, обучающаяся без учителя, например, самоорганизующаяся карта Кохонена или нейронная сеть Хопфилда. При решении других задач, таких как прогнозирование временных рядов, экспертная оценка уже содержится в исходных данных и может быть выделена при их обработке. В этом случае можно использовать многослойный перцептрон или сеть Ворда.

    4.3. Экспериментальный подбор характеристик сети

    После выбора общей структуры нужно  экспериментально подобрать параметры  сети. Для сетей, подобных перцептрону, это будет число слоев, число  блоков в скрытых слоях (для сетей  Ворда), наличие или отсутствие обходных соединений, передаточные функции нейронов. При выборе количества слоев и нейронов в них следует исходить из того, что способности сети к обобщению тем выше, чем больше суммарное число связей между нейронами. С другой стороны, число связей ограничено сверху количеством записей в обучающих данных.

    4.4. Экспериментальный подбор параметров обучения

    После выбора конкретной топологии, необходимо выбрать параметры обучения нейронной  сети. Этот этап особенно важен для  сетей, обучающихся с учителем. От правильного выбора параметров зависит не только то, насколько быстро ответы сети будут сходиться к правильным ответам. Например, выбор низкой скорости обучения увеличит время схождения, однако иногда позволяет избежать паралича сети. Увеличение момента обучения может привести как к увеличению, так и к уменьшению времени сходимости, в зависимости от формы поверхности ошибки. Исходя из такого противоречивого влияния параметров, можно сделать вывод, что их значения нужно выбирать экспериментально, руководствуясь при этом критерием завершения обучения (например, минимизация ошибки или ограничение по времени обучения).

    4.5. Собственно обучение сети

    В процессе обучения сеть в определенном порядке просматривает обучающую выборку. Порядок просмотра может быть последовательным, случайным и т. д. Некоторые сети, обучающиеся без учителя, например, сети Хопфилда просматривают выборку только один раз. Другие, например, сети Кохонена, а также сети, обучающиеся с учителем, просматривают выборку множество раз, при этом один полный проход по выборке называется эпохой обучения [5]. При обучении с учителем набор исходных данных делят на две части – собственно обучающую выборку и тестовые данные; принцип разделения может быть произвольным. Обучающие данные подаются сети для обучения, а проверочные используются для расчета ошибки сети (проверочные данные никогда для обучения сети не применяются). Таким образом, если на проверочных данных ошибка уменьшается, то сеть действительно выполняет обобщение. Если ошибка на обучающих данных продолжает уменьшаться, а ошибка на тестовых данных увеличивается, значит, сеть перестала выполнять обобщение и просто «запоминает» обучающие данные. Это явление называется переобучением сети или оверфиттингом. В таких случаях обучение обычно прекращают. В процессе обучения могут проявиться другие проблемы, такие как паралич или попадание сети в локальный минимум поверхности ошибок. Невозможно заранее предсказать проявление той или иной проблемы, равно как и дать однозначные рекомендации к их разрешению

    4.6. Проверка адекватности обучения

    Даже  в случае успешного, на первый взгляд, обучения сеть не всегда обучается  именно тому, чего от неё хотел создатель. Известен случай, когда сеть обучалась  распознаванию изображений танков по фотографиям, однако позднее выяснилось, что все танки были сфотографированы на одном и том же фоне. В результате сеть «научилась» распознавать этот тип ландшафта, вместо того, чтобы «научиться» распознавать танки. Таким образом, сеть «понимает» не то, что от неё требовалось, а то, что проще всего обобщить.

    5. Применение нейронных сетей

    В каждой предметной области при ближайшем  рассмотрении можно найти постановки задач для нейронных сетей. Вот  список отдельных областей, где решение такого рода задач имеет практическое значение уже сейчас.

    Экономика и бизнес: прогнозирование временных  рядов (курсов валют, объемов продаж,..), автоматический трейдинг, оценка рисков невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление переоцененных и недооцененных компаний, автоматическое рейтингование, оптимизация товарных и денежных потоков, автоматическое считывание и распознавание чеков и документов, безопасность транзакций по пластиковым картам.

    Медицина: постановка диагноза, обработка медицинских изображений, мониторинг состояния пациента, анализ эффективности лечения, очистка показаний приборов от шумов.

    Авионика: обучаемые автопилоты, распознавание  сигналов радаров, адаптивное пилотирование  сильно поврежденного самолета, беспилотные летательные аппараты.

    Связь: сжатие видеоинформации, быстрое кодирование-декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов.

    Интернет: ассоциативный поиск информации, электронные секретари и агенты пользователя в интернете, фильтрация информации, блокировка спама, автоматическая рубрикация новостевых лент, адресные реклама и маркетинг для электронной торговли [6].

    Автоматизация производства: оптимизация режимов  производственного процесса, контроль качества продукции, мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций, робототехника.

    Политологические  и социологические технологии: предсказание результатов выборов, анализ опросов, предсказание динамики рейтингов, выявление значимых факторов, кластеризация электората, исследование и визуализация социальной динамики населения.

    Безопасность  и охранные системы: распознавание  лиц; идентификация личности по отпечаткам пальцев, голосу, подписи, лицу; распознавание  автомобильных номеров, анализ аэрокосмических снимков, мониторинг информационных потоков в компьютерной сети и обнаружение вторжений, обнаружение подделок.

    Ввод  и обработка информации: распознавание  рукописных текстов, почтовых, платежных, финансовых и бухгалтерских документов.

    Геологоразведка: анализ сейсмических данных, ассоциативные  методики поиска полезных ископаемых, оценка ресурсов месторождений [1].

    Обилие  приведенных выше применений нейронных  сетей - не рекламный трюк. Просто нейросети - это новый, гибкий и мощный инструмент решения разнообразных задач обработки и анализа данных.

    6. Примеры задач решаемых с помощью нейронных сетей

    6.1. Задачи медицинской диагностики

    В роли объектов выступают пациенты. Признаки характеризуют результаты обследований, симптомы заболевания и применявшиеся методы лечения. Примеры бинарных признаков: пол, наличие головной боли, слабости. Порядковый признак – тяжесть состояния (удовлетворительное, средней тяжести, тяжёлое, крайне тяжёлое). Количественные признаки – возраст, пульс, артериальное давление, содержание гемоглобина в крови, доза препарата. Признаковое описание пациента является, по сути дела, формализованной историей болезни. Накопив достаточное количество прецедентов в электронном виде, можно решать различные задачи:

• классифицировать вид заболевания (дифференциальная диагностика);
• определять наиболее целесообразный способ лечения;
• предсказывать длительность и исход заболевания;
• оценивать риск осложнений;
• находить синдромы – наиболее характерные для данного заболевания совокупности симптомов.

    Ценность  такого рода систем в том, что они  способны мгновенно анализировать  и обобщать огромное количество прецедентов – возможность, недоступная специалисту-врачу.

    6.2. Предсказание месторождений полезных ископаемых

    Признаками  являются данные геологической разведки. Наличие или отсутствие тех или иных пород на территории района кодируется бинарными признаками. Физико-химические свойства этих пород могут описываться как количественными, так и качественными признаками. Обучающая выборка составляется из прецедентов двух классов: районов известных месторождений и похожих районов, в которых интересующее ископаемое обнаружено не было. При поиске редких полезных ископаемых количество объектов может оказаться намного меньше, чем количество признаков. В этой ситуации плохо работают классические статистические методы. Задача решается путём поиска закономерностей в имеющемся массиве данных. В процессе решения выделяются короткие наборы признаков, обладающие наибольшей информативностью – способностью наилучшим образом разделять классы. По аналогии с медицинской задачей, можно сказать, что отыскиваются «синдромы» месторождений. Это важный побочный результат исследования, представляющий значительный интерес для геофизиков и геологов.

    6.3. Оценивание кредитоспособности заёмщиков

    Эта задача решается банками при выдаче кредитов. Потребность в автоматизации  процедуры выдачи кредитов впервые  возникла в период бума кредитных  карт 60-70-х годов в США и других развитых странах. Объектами в данном случае являются физические или юридические лица, претендующие на получение кредита. В случае физических лиц признаковое описание состоит из анкеты, которую заполняет сам заёмщик, и, возможно, дополнительной информации, которую банк собирает о нём из собственных источников. Примеры бинарных признаков: пол, наличие телефона. Номинальные признаки – место проживания, профессия, работодатель. Порядковые признаки – образование, занимаемая должность. Количественные признаки – сумма кредита, возраст, стаж работы, доход семьи, размер задолженностей в других банках. Обучающая выборка составляется из заёмщиков с известной кредитной историей. В простейшем случае принятие решений сводится к классификации заёмщиков на два класса: «хороших» и «плохих». Кредиты выдаются только заёмщикам первого класса. В более сложном случае оценивается суммарное число баллов (score(англ.)) заёмщика, набранных по совокупности информативных признаков. Чем выше оценка, тем более надёжным считается заёмщик. Отсюда и название – кредитный скоринг. На стадии обучения производится синтез и отбор информативных признаков и определяется, сколько баллов назначать за каждый признак, чтобы риск принимаемых решений был минимален. Следующая задача – решить, на каких условиях выдавать кредит: определить процентную ставку, срок погашения, и прочие параметры кредитного договора. Эта задача также может быть решения методами обучения по прецедентам.