Кластерный анализ

 

Кластерн

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержание

 

 

 

Введение

Огромное множество  инвестиционных инструментов, предоставляемых  современным финансовым рынком, заставляет корпоративных инвесторов с каждым днем анализировать все большее  количество финансовой информации. Подчас успех инвестирования зависит от объема анализируемых финансовых данных, времени, затраченного на анализ, и вида, в котором представлены результаты. Больше, быстрее, удобнее - вот основные требования, предъявляемые постоянно меняющимся финансовым рынком к методам анализа финансовых данных.

При составлении больших  диверсифицированных портфелей  необходимо анализировать сотни  финансовых инструментов по десяткам показателей за несколько прошлых  лет. Это миллионы чисел, между которыми нужно выявить взаимосвязь и которые надо расположить в определенном порядке.

Ситуация на финансовом рынке меняется настолько быстро, что для поддержания оптимального соотношения доходность-риск анализ финансовых активов приходится проводить  по несколько раз в день. При этом счет может идти если не на секунды, то на минуты.

Результаты финансового  анализа, представленные в виде больших  массивов чисел, не сильно упрощают процесс  принятия решений. Можно ли сгруппировать  результаты в таком виде, чтобы  процесс принятия решений стал более эффективным? Можно ли визуализировать данные и результаты анализа так, чтобы аналитик разом мог охватить их взглядом?

Процедура кластеризации  решает вопрос о сходстве финансовых активов, характеризуемых значениями многих параметров, на основе формальных математических критериев. Это позволяет заменить длительный и трудоемкий процесс изучения и сравнения активов более быстрым вычислительным алгоритмом. Кроме того, будучи средством анализа многомерных данных, кластеризация позволяет выделить активы с близкими значениями всех параметров.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Понятие кластерного анализа

При анализе и прогнозировании  социально-экономических явлений  исследователь довольно часто сталкивается с многомерностью их описания. Это  происходит при решении задачи сегментирования рынка, построении типологии стран по достаточно большому числу показателей, прогнозирования конъюнктуры рынка отдельных товаров, изучении и прогнозировании экономической депрессии и многих других проблем.

Первое применение кластерный анализ нашел в социологии. Название кластерный анализ происходит от английского слова cluster – гроздь, скопление. Впервые в 1939 был определен предмет кластерного анализа и сделано его описание исследователем Трионом. Главное назначение кластерного анализа – разбиение множества исследуемых объектов и признаков на однородные в соответствующем понимании группы или кластеры. Это означает, что решается задача классификации данных и выявления соответствующей структуры в ней. Методы кластерного анализа можно применять в самых различных случаях, даже в тех случаях, когда речь идет о простой группировке, в которой все сводится к образованию групп по количественному сходству.

Большое достоинство  кластерного анализа в том, что  он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов, и позволяет рассматривать множество исходных данных практически произвольной природы. Это имеет большое значение, например, для прогнозирования конъюнктуры, когда показатели имеют разнообразный вид, затрудняющий применение традиционных эконометрических подходов.

Кластерный анализ позволяет рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы социально-экономической информации, делать их  компактными и наглядными.

Важное значение кластерный анализ имеет применительно к  совокупностям временных рядов, характеризующих экономическое развитие (например, общехозяйственной и товарной конъюнктуры). Здесь можно выделять периоды, когда значения соответствующих показателей были достаточно близкими, а также определять группы временных рядов, динамика которых наиболее схожа.

Кластерный анализ можно  использовать циклически. В этом случае исследование производится до тех пор, пока не будут достигнуты необходимые  результаты. При этом каждый цикл здесь  может давать информацию, которая  способна сильно изменить направленность и подходы дальнейшего применения кластерного анализа. Этот процесс можно представить системой с обратной связью.

В задачах  социально-экономического прогнозирования весьма перспективно сочетание кластерного анализа  с другими количественными методами (например, с регрессионным анализом).

Как и любой другой метод, кластерный анализ имеет определенные недостатки  и ограничения: В частности, состав  и количество кластеров  зависит от  выбираемых критериев  разбиения. При сведении исходного  массива данных к более компактному виду могут возникать определенные искажения, а также могут теряться индивидуальные черты отдельных объектов за счет  замены их характеристиками обобщенных значений параметров кластера. При проведении классификации объектов игнорируется очень часто возможность отсутствия в рассматриваемой  совокупности каких-либо значений кластеров.

В кластерном анализе  считается, что:

а) выбранные характеристики допускают в принципе желательное  разбиение на кластеры;

б) единицы измерения (масштаб) выбраны правильно.

Выбор масштаба играет большую  роль. Как правило, данные нормализуют  вычитанием среднего и делением на стандартное отклонение, так что дисперсия оказывается равной единице.

 

 

 

 

 

 

 

 

 

 

2. Кластерный анализ в портфельном инвестировании

Общеизвестно, что изменение курсовой стоимости и дивидендов различных ценных бумаг не только в России, но и во всем мире зависит от ряда внутренних и международных факторов экономического и неэкономического характера. Эти факторы могут быть взаимосвязаны в различной степени, а тенденции изменения их динамики способны отличаться друг от друга в достаточно сильной степени. Следовательно, изменение стоимости инвестиционного портфеля в результате сложения различных тенденций с большой вероятностью оказывается достаточно сложной и практически непредсказуемой, если использовать обычный регрессионный анализ. Основные факторы воздействия влияют на различные ценные бумаги не только с разной эффективностью, но зачастую и в прямо противоположных направлениях. К примеру, повышение цен на нефть может благоприятно сказаться на ценных бумагах нефтяных корпораций, негативно отразившись на автомобилестроительном секторе.

В свете вышесказанного, перед инвесторами  возникают следующие проблемы:

1)  определение с максимальной степенью точности существенных факторов и их влияние на курс ценных бумаг;

2)  составление научно-обоснованного прогноза динамики поведения этих ценных бумаг, основываясь на изучении данных факторов;

3) составление на основе полученных сведений о фондовом рынке оптимального инвестиционного портфеля, позволяющего максимизировать прибыль от вложений при заданной степени риска.

 

Как теоретики, так и практики, занимающиеся оптимизацией портфеля ценных бумаг, регулярно сталкиваются с трудностями, когда перед ними возникает практически неизбежная задача разбиения множества существующих ценных бумаг на различные группы с относительно однородной структурой. Краеугольным камнем проблемы является вопрос подбора и согласования выбранных факторов так, чтобы их представление в многомерной системе координат достаточно точно производило разбиение на кластеры, характеризующиеся максимально схожими тенденциями. При этом нужно учитывать, что даже если бы и удалось подобрать точные коэффициенты для существующих количественных факторов, всегда найдутся не менее важные качественные показатели, выразить которые в количественной форме практически невозможно. В связи с этим принято группирование ценных бумаг на основе существующих индустриальных и прочих классификаций, а также отталкиваясь от априорной доходности (см. рисунок 1).

 

Рисунок 1 - Группировка  ценных бумаг со сходными тенденциями

Разбиение множества  ценных бумаг на отдельные кластеры в зависимости от динамики доходности осуществляется следующим образом: данные по доходности ценных бумаг на протяжении базы прогноза компонуются в общую матрицу вида:

(1) 

где R_km – доходность по k-й ценной бумаге за m-й период,

k ∈ [1;N] ; m ∈ [0;T].

Далее, разбиение на кластеры происходит через вычисление евклидова  расстояния между ценными бумагами p и q по формуле

r p.q = 

            (2) 

где m – номер периода,

R_m – среднеквадратическое отклонение доходности за период m.

Критическая величина разбиения  предполагается равной квадратному  корню из количества периодов T, то есть средней величине евклидового расстояния:

r крит.  = 

p.q  =     (3) 

Преимущество данной методики заключается, во-первых, в том, что она позволяет с крайне высокой степенью точности группировать ценные бумаги со сходными тенденциями в изменении доходности на протяжении всего периода, определяющего базу прогноза, что дает основания рассчитывать на сохранение подобной тенденции и в дальнейшем.

Вторым ее преимуществом  является возможность полной автоматизации, что значительно облегчает работу, позволяя использовать современные  вычислительные средства, а также  обрабатывать однородную информацию, получаемую из электронных баз данных. Поэтому она может быть без особых затруднений внедрена не только в компьютерных системах отдельных фирм, занимающихся инвестированием, но также и на соответствующих ресурсах сети Интернет.

Пожалуй, наиболее острой проблемой, возникающей перед специалистами по факторному анализу, является подбор четких и ясных критериев, позволяющих отсеять малозначимые факторы, повышающие размерность модели без увеличения ее точности, и при этом правильно определить вес для остальных факторов. Доказательством важности этого вопроса, а также отсутствия однозначно оптимальных решений, является изобилие всевозможных критериев отбора значимых компонент. Достаточно назвать такие известные методы, как расчет варимакс-критерия, n-критерий, отбор при помощи t-критерия Стьюдента и т.п.

Очевидно, что вводить  в модель очередной фактор целесообразно  только в том случае, если он в  достаточной степени понижает уровень  энтропии, а следовательно, увеличивает  значение R-квадрат. Каким образом численно выразить прирост данной величины в зависимости от количества вводимых факторов? Рассмотрим эту проблему в свете коэффициентов последовательной детерминации.

Пусть имеются N факторов X₁...X_N, предположительно влияющих на доходность инвестиционного портфеля. При вводе в уравнение регрессии фактора X_i показатель R-квадрат принимает некоторое определенное значение. Выберем фактор, при котором оно будет наибольшим:

           (4)

где P₁² - коэффициент последовательной детерминации для данного фактора,

r_yx1 - парный коэффициент корреляции между доходностью и этим фактором.

Теперь вводится в полученное уравнение регрессии второй фактор таким образом, чтобы значение R-квадрат снова оказалось максимально возможным, и затем рассчитываем второй коэффициент последовательной детерминации:

    (5) 

Аналогичным образом  рассчитываем следующие коэффициенты:

   ,

 
           

   и т.д.

           Базовый отбор факторов продолжается до тех пор, пока величина получаемых коэффициентов последовательной детерминации не станет меньше некоторого критического значения. Учитывая, что в механизм расчета скорректированной величины R-квадрат входит поправка на возрастание энтропии при вводе новых факторов, ее прирост на каждой итерации алгоритма должен быть положительным и, следовательно, критическое значение p должно быть больше нуля.

Данный метод позволяет  отобрать из всех имеющихся факторов именно те, которые оказывают наибольшее влияние на доходность рассматриваемых  ценных бумаг. Это позволяет существенно  понизить размерность модели, создаваемой на основе методики, ускорить вычисления и при этом отбросить данные, не имеющие большого влияния на интересующие нас показатели. Как правило, от выявленных главных компонент зависит не менее 85% общей дисперсии, что лишний раз показывает эффективность выбранного метода анализа.

Теперь, когда определены методы отбора факторов и технология разбиения  множества ценных бумаг на отдельные  кластеры, можно приступать непосредственно  к построению методики оптимизации  инвестиционного портфеля. Учитывая, что в настоящее время внедрение любой экономической методики немыслимо без автоматизации, существует алгоритм, по которому надлежит производить операции для получения искомого результата: оптимизированного набора ценных бумаг, позволяющих получить максимальную прибыль при заданном уровне риска.

На первом этапе определяются исходные массивы данных, которые подлежат математической обработке.

В начале имеются следующими исходными данными: S₁, S₂, ..., S_N – рассматриваемое множество ценных бумаг;