Нейронные сети

2Dx + AЪ > с, x > 0, (3)

(4)

где А' — матрица, транспонированная по отношению к А; с — и-мерный вектор-столбец; b — т-мерный вектор-столбец.

В линейном случае (при D = 0) определение двойственной задачи (3) — (4) совпадает с принятым в линейном программировании.

Как и  в случае линейного программирования в квадратичном программировании имеет  место теорема двойственности:

если  одна из задач двойственной пары разрешима, то и другая задача также раз- решима; причем экстремальные значения обеих задач равны.

Условие Куна — Такера для выпуклой задачи (1) — (2) имеет вид: Ax=b;

2Рх -+ А'A, + v = — c'; (5) x/v, = 0, / = 1, ..., и.

Таким образом, для того чтобы вектор х был решением задачи (1) — (2), необходимо и достаточно существование вектора v~ > 0 и вектора л~ таких, чтобы система векторов х, v, ,b удовлетворяла условию (5). Любой (2п + т)-мерный вектор {х, v, b}, который является решением системы (5) при условии х > 0, v > 0, будет крайней точкой многогранного множества, т.е. базисным решением системы:

Ax= b;

2Рх  — Аb+ v = с. (6)

С учетом этого условия решение задачи квадратичного программирования сводится к нахождению базисных решений многогранных множеств, что может быть успешно осуществлено симлекс-методом линейного программирования за конечное число шагов.

Кроме общих методов выпуклого программирования специально для задачи выпуклого  квадратичного программирования разработано  большое количество численных методов (см.), и в том числе конечных [4]. Наиболее употребительными конечными методами являются: симплексный метод Билла, метод сопряженных градиентов, симплексный метод Вулфа. Эффективность того или иного метода существенно зависит от специфики решаемой задачи.

В.Н. Юрьев.

Литература: 1. Зангвилл У.И. Нелинейное программирование: Единый подход / Пер . с англ. — М.: Наука, 1973. 2. Зойтендейк Г. Методы возможных направлений. Пер. с англ. — М.: Изд-во Иностр, лит., 1963. 3. Зуховнцкий С.И., Авдеева Л.И. Линейное и выпуклое программирование. — М.: Наука, 1964. 4. Конце Г.П., Крелле В. Нелинейное программирование/Пер. с нем. — М.: Мир, 1965. 5. Математика и кибернетика в экономике: Словарь-справочник. — М.: Экономика, 1975. — С. 180 — 182. 6. Ногин ВД., Протодьяконов И.О., Евлампиев И.И. Основы теории оптимизации: Учебное пособие. — М.: Высш. школа, 1986. 7. Хедли Дж. Нелинейное и динамическое программирование. — М.: Мир, 1967. 8. Эрроу К. Дж., Гурвиц Х. Удзава Х. Исследования по линейному и нелинейному программированию. Пер. с англ. — М.: Изд-во Иностр. лит., 1962.

кибернетика — термин, принятый для названия новой  «науки об управлении в живых организмах и машинах» Норбертом  Винером, и получивший широкое распространение  в середине ХХ в.

Термин  кибернетика соответствует различным переводам с греческого xupspvarqg (кормчий, кибернет) — в римское gubernator, французское gouverneur, русское «губернатор» и т. д., и другим вариантам этого корневого слова — (управляю кораблем), (управление кораблем), (искусство кормчего, искусство управления кораблем) и т.п. [16].

Термин  «губернатор» первоначально  тоже означало кормчего и только затем  — правителя. В  современном греческом  (кибернитес) значит «правитель»  и «капитан»; (кибернисис) — «правительство»  и (кибернитикос) - правительственный»[16].

Исторически термин «кибернетика»  возник не в ХХ в.' Его использовал  для названия науки  об управлении М.А. Ампер. До него — древнегреческий  философ Платон, а  независимо, в тот  же период, что и  Ампер, — польский философ Ф. Трентовский [16].

Платон  использовал термин «кибернетика» применительно  к управлению обществом  и пытался превратить политическую кибернетику  из искусства в  науку. Он учил, что  искусство кормчего само не порождает  добро и что  правитель должен быть в первую очередь философом.

Мари-Анри Ампер, занимаясь  важной проблемой  науковедения — вопросом классификации наук, в работе «Опыт  о философии наук, или Аналитическое  изложение естественной классификации всех человеческих знаний» (1843 г.) высказал мысль  о том, что в будущем, вероятно, возникнет новая наука об общих закономерностях процессов управления, и предложил именовать ее кибернетикой.

Развернутое определение кибернетики  Ампер дает во второй части «Опыта о  философии наук, или  Аналитическое изложение  естественной классификации всех человеческих знаний»;

«Кибернетика. Отношение между  народами, изучаемых  в обеих предшествующих науках, речь идет об этнодиции и дипломатии (этнодиция  — регулирование  отношений между  народами), объемлют лишь меньшую часть  вещей, о которых должно заботиться хорошее правительство; поддержание публичного порядка, исполнение законов, справедливое разложение налогов, выбор людей, коих оно должно употреблять, и все, что может способствовать улучшению общественного состояния, требует его неусыпною внимания. Беспрестанно ему приходится выбирать среди различных мер ту, которая более всего пригодна к достижению цели; и лишь благодаря углубленному и сравнительному изучению различных элементов, доставляемых ему для этого выбора знанием всего того, что касается управляемого им народа, характера, нравов, воззрений, истории, религии, средств существования и процветания, организации и законов, может оно составить себе общие правила поведения, руководящие им в каждом отдельном случае. Следовательно, только перебрав все науки, занимающиеся этими разнообразными элементами, мы приходим к той, о которой здесь идет речь и которую я называю кибернетикой, от слова, обозначавшего сперва, в узком смысле, искусство управления кораблем, а затем постепенно получившего, у самих греков, гораздо более широкое значение искусство управления вообще».

Роль  кибернетики у  Ампера — текущая  политика, практическое управление государством. Кибернетику Ампер  отнес к наукам третьего порядка, которая  с теорией власти объединялась в науку второго порядка политику в собственном смысле.

Проект  кибернетики —  лишь часть глобального  проекта Ампера развития общественных наук; можно считать, что  Ампер фактически применял системный подход.

В том же 1843 г. термин «кибернетика» (cybenetyka) для обозначения практической политики употребил, независимо от Ампера, польский философ Фердинанд — Бронислав Трентовский.

Трентовский был автором романтически окрашенной идеалистической  философской системы, задуман- ной как  синтез всех предшествующих систем и названной им «национальной философией». Он принадлежал к тому течению польской мысли, которое верило в особую религиозно-историческую миссию своей отчизны и получило название польского мессианизма. В 1843 г. он опубликовав в Познани книгу «Отношение философии к кибернетике, или искусству править народом».

Точка зрения Трентовского значительно отличается от точки зрения Ампера. Польский философ- романтик отводит политической науке важную роль созидательницы идеалов, примирительницы  противоречивых взглядов, но практическую политику («кибернетику») считает областью свободного действия, выходящего за пределы всякой теории и определяемого волей правителя — «кибернета». Кибернетика по Трентовскому соответствует науке, которую Ампер назвал теорией власти.

Материал  об истории термина  «кибернетика» собран О. Андреевой, С. Васильевым и Ю. Фетисовым, членами  юношеской секции «Кибернетика — Информатика  — Системный анализ»  при Доме Ученых им. М. Горького СПб. отделения  РАН [20].

Видимо, американский математик Норберт Винер, когда вводил термин «кибернетика», не знал о кибернетике Ампера и Платона и полагал, что создает неологизм. Он за основу взял английское guvernor (регулятор) у Максвелла.

В то же время Винер по праву назван отцом  кибернетики. Его книга «Кибернетика», впервые опубликованная в 1948 г. [4], потрясла многих неожиданностью выводов.

«Кибернетический  взрыв», совершенный Винером, был  подготовлен в процессе накопления знаний.

История вычислительной техники знаменательна  тем, что первые счетные машины сразу же открыли перед человеком возможность механизации умственной работы. Этому пример книга Джорджа Буля «Математическое исследование логики». Эта книга положила начало разработке алгебры логики, которой широко пользуется теперь кибернетика.

Когда в теории вероятностей возник новый раздел — теория информации, универсальность новой теории стала очевидной. Обнаружилось, например, соответствие между количеством информации и мерой перехода различных форм энергии в тепловую — энтропией. Впервые на это указал в 1929 г. известный физик Сциллард, Впоследствии теория информации стала одной из важных основ в кибернетике.

Сближение технических средств, используемых и в физиологии, и в автоматике, сопровождается взаимным обменом принципами построения структурных схем, идеями моделирования, методами анализа и синтеза систем.

Одним из первых ученых, уловившим это  сближение в разноликости самых  разных систем — «комплексов», был  русский врач и философ Александр  Александрович Богданов (Малиновский). В двухтомнике «Все- общая организационная наука: Тектология» (М.: 1905-1924) Богданов А.А. высказал идею: «Комплексы» независимо от их природы, будь то биологические или социальные, в определенной степени существуют и действуют по близким законам. Такие законы можно принять за общие. Предвосхитив на 30 лет появление общей теории систем и кибернетики, Богданов обосновал и принцип обратной связи.

Наше  время — время  господства электричества, связи и управления. Именно через связь и управление объединяются все теории, которые лежат в основе кибернетики и являются ее фундаментальными понятиями.

Со  временем перед наукой встал вопрос об изучении сложных образований  без расчленения  их на от- дельные  части, об изучении упорядоченной простоты и беспорядочной сложности, исследовании организованной сложности, что явилось одной из проблем, которыми занимается кибернетика.

В 30-40 гг. ХХ в. в разных странах возникают  группы ученых, ведущих  поиск совместных подходов физики, математики, техники, физиологии к проблемам связи  и управления.

Например, академик И.И. Артоболевский, биофизик академик П.П. Лазарев, физиолог Лапиг (из Франции) и специалист по вычислительной математике Л. Куффиньяль (Франция) собирали ученых для  обсуждения общих  проблем.

В Англии в 1936 г. математик  Тьюринг опубликовал работу, описывающую абстрактную вычислительную машину.

В США инициатором  объединения ученых многих специальностей для совместного  обсуждения далеких, казалось бы, друг от друга проблем  в 1936 г. стал крупный  математик Н. Винер.

Важным  рубежом в становлении науки об управлении и связи был 1934 г., когда в Принстоне Винер собрал на семинар группу нейрофизиологов, инженеров-связистов, конструкторов вычислительной техники, которые ранее не знали друг друга и были удивлены, что заговорили на одном языке, хотя словарь языка содержал термины из их столь разных наук.

На  этом семинаре был  принят ряд обобщающих терминов и понятий: термин «память» объединил  различные методы хранения информации, термин «обратная  связь» перешел из электротехники и  автоматики в науку о животных организмах, принято измерение количества информации битом. Впоследствии Винер писал: «Я считаю, что встреча в Принстоне дала жизнь новой науке кибернетике».

Таким образом, Винер дважды стал создателем кибернетики. Сначала заложив  ее теоретические основы, а затем завоевав ей официальное и всеобщее признание.

Группа  Винера для развития своих идей брала  все, что можно было взять, скрупулезно  ссылаясь на работы разных ученых в  самых неожиданных областях науки.

Винер указывает, что некоторые из его изысканий связаны с философией Г.Лейбница, своего учителя Б. Рассела, с одной из ранних работ математика А.Н. Колмогорова упоминает в своих работах имена советских ученых Крылова, Боголюбова и др. Особое место занимает И.П. Павлов, который по мнению Винера смело совершил переход от «статичного образа мыслей к более динамичной точке зрения современности» и помог ему объяснить сходство в работе вычислительных машин и нервной системы живого организма.

В нашей  стране вначале кибернетика не признавалась наукой. В 50-е гг. ХХ в. ее запрещали, называли лженаукой, потом мягче — «художественным приемом».

Большую роль в становлении кибернетики  как науки в Советском Союзе  сыграли Совет по проблеме «Кибернетика»  при Академии наук СССР, созданный  в 1959 г. академиком А.И. Бергом, и Секция кибернетики имени академика А.И. Берга, основанная при Ленинградском Доме ученых им. М. Горького в 1956 г., которую вначале возглавил Л.В. Канторович, с начала 1958 г. по 2000 г. — Л.П. Крайзмер, автор ряда работ по кибернетике ([10, 12] и др.) и одного из ее основных направлений — теории памяти (мнемологии) [11], а с 2000 г.— М.Б. Игнатьев, развиваюший концепцию структурированной неопределенности и голономных систем [8], артонику(см.) и др. новые направления теории искусственного интеллекта (см.).

Более подробно с историей секции кибернетики  и развитием кибернетических  исследований в Ленинграде — Санкт-Петербурге можно познакомиться в [5].