Автор работы: Пользователь скрыл имя, 31 Октября 2011 в 18:06, курсовая работа
Оценка качественной стороны определенной системы управления, соответственно, не является исключением. Искусственные системы создаются, как правило, для реализации одной или ряда операций. Достижение поставленной цели – является основной задачей для данной интеллектуальной системы. Однако, идеальное мышление вида «задача выполнение превосходный результат» всего лишь одна из многих невыполнимых моделей. В общем случае, цель, заложенная как основная для системы, частично достигается посредством различных алгоритмов и процессов, протекающих в ней
Введение 4
Основные понятия 6
Показатели и критерии оценки систем. Виды критериев качества. 11
Шкала уровней качества систем. 13
Заключение 16
Используемая литература 17
ПРИЛОЖЕНИЕ 18
ПРИМЕРЫ ОЦЕНКИ КАЧЕСТВА СИСТЕМ 18
Пример №1 18
Пример №2 21
Система Wolfram Alpha принципиально не позволяет пользователям искать ответы на любые интересующие их вопросы. Для этого предназначены вопросно-ответные поисковые системы. В отличие от системы Wolfram Alpha вопросно-ответные поисковые системы автоматически выявляют фактографическую информацию в обрабатываемых текстах и проводят ее индексацию без участия человека. За счет этого достигается существенное повышение полноты поиска. Для обобщения, проведения логического вывода и синтеза ответов вопросно-ответные поисковые системы также используют правила обработки фактографической информации. Однако, в отличие от системы Wolfram Alpha, правила логической обработки при этом представляют из себя не отдельные алгоритмы, направленные на решение заранее определенных сравнительно простых задач, а логические правила, которые могут автоматически применяться в динамически формируемой последовательности, определяющей порядок обработки первичной фактографической информации и формирования ответа на вопрос пользователя. Для проверки данных положений проведем сравнительное тестирование систем Wolfram Alpha и AskNet.ru.
Тестирование систем было проведено по первым 71 тестовым случаям из 500. Это было обусловлено получением результатов тестирования, явно отражающих характеристики систем и позволяющих сформулировать достоверные выводы.
Результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru
Обобщенные результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru представлены в таблице.
| |||||||||||||||||
При анализе выдачи вопросно-ответной поисковой системы AskNet.ru проводился учет наличия и номера позиции правильного ответа. Среднее значение позиции правильного ответа на странице, если ответ был найден, составляет 1,63. Это означает, что в среднем правильный ответ находился в выдаче вопросно-ответной поисковой системы AskNet.ru на первом или на втором месте.
Система Wolfram Alpha в 57 случаях не могла определить смысл запроса пользователя и выдавала сообщение «Wolfram Alpha isn't sure what to do with your input». В трех тестовых случаях система Wolfram Alpha вывела диалог уточнения смыслового содержания введенного пользователем запроса.
Результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru подтвердили правильность выше изложенных теоретических оценок.
Система Wolfram Alpha не является «универсальным вычислителем ответов», как это было заявлено в ходе ее рекламной компании в Интернете. Практическая полезность системы Wolfram Alpha для получения смысловой информации на произвольные вопросы крайне низка. На это указывает низкая вероятность получения правильного ответа в ее выдаче. Действительно, для получения правильного ответа в системе Wolfram Alpha должно выполниться много условий: система должна корректно разобрать вопрос пользователя и корректно составить шаблон семантического поиска, в системе должна быть соответствующая фактографическая информация и алгоритмы ее обработки. Фактографическая информация и алгоритмы ее обработки в системе Wolfram Alpha вводятся вручную, поэтому данная система может быть использована для поиска и обработки информации ограниченного объема. Подключение расчетных задач для обработки результатов предварительно отбираемой системой структурированной информации при формировании ответа пользователю характерно для систем класса Business Intelligence. Однако, как известно, системы данного класса имеют четко выраженную узкую прикладную направленность.
Таким образом, при существующей концепции функционирования, система Wolfram Alpha ориентирована на сравнительно узкие прикладные области применения, определяемые вручную вводимыми фактографическими данными и алгоритмами их обработки.