Реализация метода ассоциативных правил в Deductor

Содержание

 

Введение 3

Раздел 1. Аналитическая платформа Deductor 5

1.1 Практическое применение 5

1.2 Deductor на предприятии 7

Раздел 2. Методы поиска ассоциативных правил 9

2.1 Введение в ассоциативные правила 10

2.2 Поддержка 11

2.3 Границы поддержки и достоверности ассоциативного правила 13

2.4 Методы поиска ассоциативных правил 13

Раздел 3. Реализация метода ассоциативных правил в Deductor 18

Выводы 24

Литература 25

 

 

 

Введение

 

Анализ рыночной корзины — процесс  поиска наиболее типичных шаблонов покупок  в супермаркетах. Он производится путем  анализа баз данных транзакций с  целью определения комбинаций товаров, связанных между собой. Иными  словами, выполняется обнаружение  товаров, наличие которых в транзакции влияет на вероятность появления  других товаров или их комбинаций.

Результаты, полученные с помощью  анализа рыночной корзины, позволяют  оптимизировать ассортимент товаров  и запасы, размещение их в торговых залах, увеличивать объемы продаж за счет предложения клиентам сопутствующих  товаров. Например, если в результате анализа будет установлено, что  совместная покупка макарон и  кетчупа является типичным шаблоном, то разместив эти товары на одной  и той же витрине можно «спровоцировать» покупателя на их совместное приобретение.

Для решения задачи анализа рыночной корзины используются ассоциативные  правила вида «если… то...». Например, «если клиент купил пиво, то он купит  и чипсы». Каждая покупка именуется  «транзакцией», на основании большего набора таких транзакций и строят исследования поведения клиента.

Ассоциативные правила являются очень  простой и удобной формой записи знаний. Еще раз хочу уточнить, что  информация о транзакциях является исходными данными, а вот полученные ассоциативные правила являются теми знаниями, которые помогли в 80-х большим супермаркетам сэкономить большие деньги.

Как правило, очевидные правила  имеют поддержку и достоверность  высокую (60% и больше), но не являются знаниями де-факто. Основное внимание необходимо уделять правилам, имеющим  поддержку 5-10%, именно они могут стать  источником идеи промоакции или услуги.

 

 

Основным алгоритмом, который применяется  для получения ассоциативных  правил, является алгоритм apriori. Его автором является Ракеш Агравал

Apriori использует одно из свойств поддержки, гласящее: поддержка любого набора элементов не может превышать минимальной поддержки любого из его подмножеств. Например, поддержка 3-элементного набора {Хлеб, Масло, Молоко} будет всегда меньше или равна поддержке 2-элементных наборов {Хлеб, Масло}, {Хлеб, Молоко}, {Масло, Молоко}. Дело в том, что любая транзакция, содержащая {Хлеб, Масло, Молоко}, также должна содержать {Хлеб, Масло}, {Хлеб, Молоко}, {Масло, Молоко}, причем обратное не верно.

Благодаря этому свойству перебор  не является «жадным» и позволяет  обрабатывать большие массивы информации за секунды.

Классический алгоритм apriori уже был несколько раз модифицирован, работы по улучшению скорости ведутся и сейчас.

 

Раздел 1. Аналитическая платформа Deductor

 

Deductor - аналитическая платформа позволяющая в сжатые сроки создать эффективную систему поддержки принятия бизнес-решений.

Благодаря мощным механизмам импорта, с помощью Deductor возможно создание единой аналитической надстройки над всеми существующими в компании системами сбора и хранения данных (торговые системы, бухгалтерские системы, отдельные базы и т. д.). Уникальность данного решения состоит в том, что Deductor, при необходимости, автоматически объединит данные из разрозненных источников.

Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.

Deductor предоставляет инструментальные средства, необходимые для решения самых разных аналитических задач.

1.1 Практическое применение

 

Потенциально практическое применение аналитической платформы Deductor весьма широко. Остановимся на тех сферах бизнеса, в которых программа может быть успешно использована в Украине. Например, для торгующих компаний всегда актуальной является задача оптимизации складских запасов, т. е. по возможности достоверного определения того, сколько товаров следует закупить на тот или иной период времени так, чтобы на складе не было лишнего товара и в то же время чтобы товар не «выпадал» из реализации из-за его отсутствия на складе.

В качестве примера можно привести использование Deductor при проведении хорошо известной в торговле операции – ценового эксперимента.

Рис. 4. Типичная зависимость валовой прибыли от отпускной цены товара

Известно, что зависимость валовой  прибыли торгующей организации  от отпускной цены всегда имеет вид, показанный на рис. 4. Как следует  из рисунка, при увеличении отпускной  цены прибыль вначале растет до некоторого значения, а затем начинает уменьшаться. Очевидно, что определение цены, при которой прибыль будет  максимальной, является важнейшей задачей  бизнеса. Как это сделать с  помощью Deductor (числовые значения условны)?

1. Составить список клиентов, приносящих, например, 80% общей прибыли.

2. Определить список товаров,  приносящих 80% прибыли в заказах  этих клиентов. Данные задачи  решаются с помощью операции  «Фильтрация» в визуализаторе  OLAP.

3. Разбить клиентов на группы  со схожими свойствами. Выполняется  с помощью операции «Карты  Кохонена». В каждую группу войдут клиенты, «похожие» друг на друга по определенным признакам. Это необходимо, чтобы проводить ценовой эксперимент на нескольких клиентах, а результат применить к остальным в рамках всей группы.

4. Выделить в одной (или в  каждой) несколько (обычно от трех  до шести) клиентов для ценового  эксперимента. Построить кривую  эластичности спроса на определенный  период (например, месяц).

В течение эксперимента выбранным  клиентам товар продается по разным ценам. Соответственно, будет изменяться количество заказываемого ими товара и прибыль, полученная от этих операций. Поскольку в одной группе собраны  клиенты с близкими характеристиками, то при увеличении или уменьшении цены и вести себя они должны предположительно одинаково.

В частности, из данного примера  видно, что для увеличения прибыли (для конкретной группы клиентов) необходимо уменьшить отпускную цену (Отп.Цена) до 2,48 грн. При этом, согласно расчету, прибыль должна увеличиться на 3,5%. Видно также, что дальнейшее снижение цены до 2,46 грн приведет к росту количества проданного товара более чем на 20%, но прибыль при этом немного уменьшится.

Среди других вариантов применения можно отметить определение эффективности  рекламной кампании – оптимального времени ее начала, продолжительности, рекомендуемого бюджета, места проведения и вида деятельности. Для банков интересно будет попытаться использовать Deductor в кредитно-скоринговых системах – существует готовое решение и опыт его использования.

1.2 Deductor на предприятии

 

Существенную пользу из данного  пакета могут извлечь компании, давно  работающие с продуктами фирмы «1С» и имеющие большие массивы  накопленной информации, поскольку  платформа Deductor сертифицирована по программе «совместимо с 1С» для продуктов версий 7.7 и 8.0, и загрузка данных для анализа из них не представляет трудности.

В поставку Deductor входит хранилище данных (DataWarehouse, DW), спроектированное специально под задачи анализа и призванное консолидировать информацию, получаемую из различных источников.

Например, в ходе анализа рекламной  кампании нельзя хранить информацию о том, на какой газетной полосе выходила реклама, в какое время и сколько  раз, на каком радио запущен ролик, на каком бигборде и в каком месяце была размещена реклама непосредственно в бухгалтерской программе – она для этого не предназначена.

Все эти сведения обычно собираются менеджером, отвечающим за рекламу, в  формате Excel, Word или каком-то еще.

Хранилище данных не только позволяет  собрать все в одном месте, но и, например, непосредственно связать  информацию по рекламе с историей спроса или продаж.

Существуют примеры использования  Deductor для планирования производства, управления финансовыми потоками и маркетинговой политикой и других задач, требующих аналитики.

 

Раздел 2. Методы поиска ассоциативных правил

 

Ассоциация - одна из задач DataMining. Целью поиска ассоциативных правил (associationrule) является нахождение закономерностей между связанными событиями в базах данных.

В этом разделе мы подробно рассмотрим следующие вопросы:

• Что такое ассоциативные правила?
• Какие существуют алгоритмы поиска ассоциативных правил?
• Что такое часто встречающиеся наборы товаров?
• Применение задачи поиска ассоциативных правил?

Очень часто покупатели приобретают не один товар, а несколько. В большинстве случаев между этими товарами существует взаимосвязь. Так, например, покупатель, приобретающий макаронные изделия, скорее всего, захочет приобрести также кетчуп. Эта информация может быть использована для размещения товара на прилавках.

Часто встречающиеся приложения с применением ассоциативных правил:

• розничная торговля: определение товаров, которые стоит продвигать совместно; выбор местоположения товара в магазине; анализ потребительской корзины; прогнозирование спроса;
• перекрестные продажи: если есть информация о том, что клиенты приобрели продукты A, Б и В, то какие из них вероятнее всего купят продукт Г?
• маркетинг: поиск рыночных сегментов, тенденций покупательского поведения;
• сегментация клиентов: выявление общих характеристик клиентов компании, выявление групп покупателей;
• оформление каталогов, анализ сбытовых кампаний фирмы, определение последовательностей покупок клиентов (какая покупка последует за покупкой товара А);
• анализ Web-логов.

Приведем простой пример ассоциативного правила: покупатель, приобретающий банку краски, приобретет кисточку для краски с вероятностью 50%.

2.1 Введение в ассоциативные правила

 

Впервые задача поиск аассоциативных правил (association rulemining) была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis).

Рыночная корзина - это набор  товаров, приобретенных покупателем в рамках одной отдельно взятой транзакции.

Транзакции являются достаточно характерными операциями, ими, например, могут описываться результаты посещений различных магазинов.

Транзакция – это множество событий, которые произошли одновременно.

Регистрируя все бизнес-операции в течение всего времени своей деятельности, торговые компании накапливают огромные собрания транзакций. Каждая такая транзакция представляет собой набор товаров, купленных покупателем за один визит.

Полученные в результате анализа шаблоны включают перечень товаров и число транзакций, которые содержат данные наборы.

Транзакционная или операционная база данных (Transaction database) представляет собой двумерную таблицу, которая состоит из номера транзакции (TID) и перечня покупок, приобретенных во время этой транзакции.

TID – уникальный идентификатор, определяющий каждую сделку или транзакцию.

Пример транзакционной базы данных, состоящей из покупательских транзакций, приведен в таблице 1.

В таблице первая колонка (TID) определяет номер транзакции, во второй колонке таблицы приведены товары, приобретенные во время определенной транзакции.

 

Таблица 1. Транзакционная база данных

TID	Приобретенные покупки
100	Хлеб, молоко, печенье
200	Молоко, сметана
300	Молоко, хлеб, сметана, печенье
400	Колбаса, сметана
500	Хлеб, молоко, печенье, сметана

 

На основе имеющейся базы данных нам нужно найти закономерности между событиями, то есть покупками.

Часто встречающиеся шаблоны или образцы

Допустим, имеется транзакционная база данных D. Присвоим значениям товаров переменные (таблица 2).

 

Хлеб = a

Молоко = b

Печенье = c

Сметана = d

Колбаса = e

Конфеты = f

 

Таблица 2. Часто встречающиесянаборытоваров

TID	Приобретенные покупки		TID	Приобретенные покупки
100	Хлеб, молоко, печенье		100	a, b, c
200	Молоко, сметана		200	b, d
300	Молоко, хлеб, сметана, печенье		300	b, a, d, c
400	Колбаса, сметана		400	e, d
500	Хлеб, молоко, печенье, сметана		500	a, b, c, d
600	Конфеты		600	f