Филиалы, данные, анализ

Ни один банк сейчас не может эффективно работать без всестороннего анализа своей деятельности. Являясь составным элементом управления, такой анализ позволяет банку корректировать свою стратегию, обеспечивая увеличение прибыли и повышение надежности. В этой связи уместно поговорить об общих подходах к анализу информации, некоторых технологических проблемах, возникающих в ходе их реализации, и о перспективах развития систем и программных продуктов, предназначенных для проведения такого анализа.

Требования к аналитическим системам. Система финансового анализа - это инструмент, с помощью которого опытный аналитик может производить любую обработку данных, необходимую для составления заключений и рекомендаций по работе банка. Задача такой системы чрезвычайно проста и заключается в том, чтобы подготовить управляющему персоналу специальные данные для дальнейшего рассмотрения и исследования, причем в том виде, в котором их желают видеть те, кто принимает стратегически важные решения, влияющие на развитие банка.

Для выполнения этой задачи аналитической системе должны быть присущи следующие свойства:

гибкость в реализации различных методик анализа, достигаемая путем настройки системы с учетом особенностей используемой методики;
открытость для внешних приложений, под которой понимается возможность изъятия из системы любых данных в любой момент и для различных целей;
наличие дружественного и простого интерфейса, позволяющего пользователю (обычно аналитику, не являющемуся программистом) общаться с системой на понятном ему языке экономических терминов;
способность хранить большие объемы информации, необходимые для долгосрочного анализа, и следовательно, надежность, управляемость и простота в администрировании;
максимально возможное быстродействие, которое зависит не только от платформы, на которой реализуется данный программный продукт, но и от логичной и экономной организации внутренней структуры данных, а также от характера взаимодействия различных компонентов системы.

Перечисленные требования относятся к инструментальным средствам анализа данных, которые, собственно, и представляют собой аналитическую систему. Однако для решения поставленной задачи помимо инструментальных средств необходимо также иметь методику проведения анализа, учитывающую специфику работы анализируемых подразделений, и исходные данные, на которых основывается анализ.

Структура аналитической системы

Рассмотрим основные принципы, на которых базируется система анализа, работающая в составе банковской интегрированной системы "БИСквит". Основным элементом рассматриваемой далее системы анализа является новая версия модуля "Финансовый анализ и отчетность", который в совокупности с другими элементами ИБС выполняет роль системы анализа. Система анализа оперирует данными, хранящимися в базе данных ИБС, которая состоит из транзакционной и аналитической составляющих. Рассматриваемый модуль ориентирован на непосредственную работу с аналитическими данными, но может обращаться и к транзакционной части системы. Существует возможность его работы с архивными базами данных, совокупность которых представляет собой хранилище данных (Data Warehouse). Помимо непосредственного доступа к информации, хранящейся в рабочей базе данных, модуль может импортировать данные из филиалов, других подразделений и организаций. Это обусловливает возможность работы модуля независимо, т.е. без подключенной к нему транзакционной базы данных, а также обрабатывать информацию различной природы и из различных источников. В качестве анализируемых данных используются как внутренние финансовые данные банка и филиалов, так и внешние данные различного характера (результаты рейтингов и оценок, статистические показатели и т.д.).

Структурная схема системы анализа

На рисунке приведена схема взаимодействия различных компонентов системы анализа. При такой структуре и при наличии соответствующей методики, учитывающей специфику данного предприятия, система может проводить анализ деятельности любой корпоративной организации, не обязательно банка. Если информационных средств, имеющихся в распоряжении системы, оказывается недостаточно для проведения требуемого анализа, к ней (в силу ее открытости) можно подключить внешние источники. Данные просто переносятся в MS Excel и затем могут быть обработаны любым программным пакетом для статистической обработки данных или финансового анализа.

Понятие системы финансового анализа объединяет в себе физическую структуру, хранящую данные, логическую структуру организации доступа к ним, средства задания методик анализа и форм отчетов, а также ряд сервисных функций, таких как импорт-экспорт данных, интерфейс обмена с Excel, возможность доступа к архивным базам данных и др. Она реализует единый подход к хранению и обработке данных различной структуры и отличается простотой доступа к ним, высокой скоростью обработки информации и широким спектром типовых и специальных операций манипулирования данными. Для проведения всестороннего и детального анализа данные, которыми оперирует система, представляются в виде логической многомерной структуры, реализуемой в реляционной базе данных.

Основные принципы многомерной организации данных

Реляционный подход к проектированию баз данных не предназначен для использования в задачах, требующих синтеза, анализа и консолидации данных. Для этих целей больше подходит многомерный способ представления данных. Область, в которой он наиболее эффективен, - хранение и обработка высоко агрегированной и стабильной во времени информации. Работа с многомерными структурами данных получил название OLAP (on-line analytical processing). Это понятие определяется следующими 12 требованиями к средствам реализации данного принципа, которые были сформулированы Э. Коддом:

Многомерное представление данных на концептуальном уровне (средства должны поддерживать многомерный взгляд на данные).
Прозрачность (пользователю не нужно знать, какие конкретно средства используются для хранения и обработки данных, как данные организованы и откуда они берутся).
Доступность (средства должны сами выбирать и связываться с наилучшим для формирования ответа на данный запрос источником данных).
Согласованная производительность (производительность практически не должна зависеть от количества измерений в запросе).
Поддержка архитектуры клиент-сервер (средства должны работать в архитектуре клиент-сервер).
Равноправность всех измерений (ни одно из измерений не должно быть базовым, все они являются равноправными, т. е. симметричными).
Динамическая обработка разреженных матриц (неопределенные значения должны храниться и обрабатываться наиболее эффективным способом).
Поддержка многопользовательского режима работы (средства должны обеспечивать возможность работы с данными более чем одному пользователю).
Поддержка операций на основе различных измерений (все многомерные операции должны единообразно и согласованно применяться к любому числу любых измерений).
Простота манипулирования данными (средства должны иметь максимально удобный, естественный и комфортный пользовательский интерфейс).
Развитые средства представления данных (они должны поддерживать различные способы визуализации данных).
Неограниченное число измерений и уровней агрегации данных (не должно быть ограничений на число поддерживаемых измерений).

Описываемая система удовлетворяет большинству этих требований, хотя имеются отклонения от канонической схемы, обусловленные спецификой предметной области и стремлением сделать программный продукт для решения задачи сбора анализа финансовых данных.

Прежде чем мы перейдем к описанию логической структуры системы анализа, приведем основные определения многомерного представления данных. На логическом уровне структура данных представляет собой сложный гиперкуб, который характеризуется следующими понятиями:

измерение (dimension) - это множество однотипных данных, образующих одну из граней гиперкуба. В многомерной модели данных измерения играют роль индексов, которые используются для идентификации конкретных значений (показателей), находящихся в ячейках гиперкуба;
показатель (measure) - это поле, значения которого однозначно определяются фиксированным набором измерений.

Существуют две модели организации данных: поликубическая и гиперкубическая. Поликубическая модель предполагает, что в многомерной базе данных может быть определено несколько гиперкубов с различной размерностью и различными измерениями в качестве их граней. В случае гиперкубической модели предполагается, что все показатели должны определяться одним и тем же набором измерений. В рассматриваемой модели объединены лучшие черты поликубической и гиперкубической моделей. Такую реализацию мы называем подходом вложенных гиперкубов, при котором жестко определен один внешний гиперкуб с иерархическими измерениями "Подразделение" и "Время" (фиксированными в силу предметной области). Причем в каждой его ячейке может существовать неограниченное количество гиперкубов с любыми иными измерениями, определяемыми самим пользователем в словаре данных. Так как поступающая для анализа информация имеет не только разную форму, но и различный экономический смысл, каждый внутренний гиперкуб характеризуется собственными измерениями, определяющими структуру хранимых данных, и имеет собственный набор показателей. Совокупность конкретных значений всех измерений однозначно определяет значения показателей данного гиперкуба.

Данный подход выводит нас за рамки классической модели OLAP-системы, в которой вследствие равноправия абсолютно всех измерений и показателей возникает проблема большого количества неопределенных значений. Нарушение этого условия дает значительные преимущества при хранении данных. Рассмотренная логическая схема позволяет избавиться от пустых (не содержащих данных) элементов, привязав какое-либо количество показателей к каждому внутреннему гиперкубу.

Такая схема является лишь частным случаем многомерной организации структуры данных, и не противоречит самому подходу к многомерным способам представления информации.

Физическая организация многомерной структуры данных

Несмотря на всю сложность рассмотренной логической структуры, ее физическая организация весьма проста и реализуется в рамках реляционной базы данных и ее запросов. Вся система анализа основана на двух таблицах базы данных, одна из которых хранит информацию об измерениях, а вторая -- только значения показателей и ссылку на соответствующие значения измерений. Подобная структура хранения данных имеет следующие достоинства:

все данные, независимо от их экономического смысла, источников получения и свойств лежат в единой структуре данных, вследствие чего все операции по доступу к данным, их обработке, детализации, агрегации, просмотру и валидации предельно унифицированы, что положительно влияет на скорость их проведения;
репликация данных, а также доступ к ним предельно облегчаются посредством SQL-запросов и запросов, специально формируемых средствами системы анализа;
организация анализа данных методами, основанными на подходе slice&dice (просмотр данных в различных разрезах, комбинациях и пoрядке следования), значительно упрощается.

Логическая структура организации данных

Основу логической организации системы, предназначенной для анализа разнородной информации, составляют три типа иерархических объектов:

временные периоды. Иерархические отношения этого типа объектов носят вложенный характер. Для реализации нашей системы это ряд: год квартал месяц пятидневка день. Данные, лежащие на более высоком уровне, должны соответствовать детализированным данным по более низким уровням иерархии;
подразделения, или объекты анализа. Их иерархическая структура определяется сложной организацией предприятий корпоративного типа. В системе финансового анализа основным анализируемым объектом, несомненно, является банк с филиальной сетью: банк в целом группа филиалов филиал, а второстепенными могут быть другие банки, биржи или предприятия. Возможна и более глубокая детализация объектов анализа;
иерархический справочник типов данных, который имеет сложную древовидную структуру, в системе анализа играет наиболее важную роль для организации логической связанности данных.

Поясним смысл этого последнего типа объектов. Самый нижний узел любой ветви в иерархии данных представляет собой класс данных и объединяет в себе ряд сходных по экономическому смыслу и способам обработки финансовых показателей. Причем каждому классу соответствует свой определенный набор показателей и измерений, определяющих их значения. Результаты любой операции по манипулированию данными могут иметь вид отдельного значения (например, нормативный показатель) или таблицы как единого целого. Характер представления данных определяется свойствами конкретного класса, которому они принадлежат. Формально структуру такого справочника нельзя считать древовидной, в этом виде она представляется лишь в пользовательском интерфейсе. На самом деле, одни показатели могут заключать в себе другие показатели и зависеть от их рассчитываемых значений. Нетрудно заметить, что изменение значения одного показателя в данной точке внешнего гиперкуба делает неверными все значения других показателей в той же точке, рассчитанные с его использованием. Подобные коллизии должны четко отслеживаться системой анализа и заноситься в легко просматриваемые журналы нарушений без запроса пользователя-аналитика, который из-за большого количества классов данных не способен вручную отследить все связи.

Справочник иерархической структуры типов данных содержит детальное описание и характеристики измерений и показателей для каждого класса данных. Они определяют характер операций, проводимых над этими данными.

Основные операции манипулирования данными

Рассмотрим основные операции манипулирования данными, доступные системе анализа:

Просмотр данных по типу slice&dice. Эта операция позволяет осуществить доступ к данным в любом разрезе и порядке следования. Пользователь редко прибегает ко всем возможным комбинациям значений измерений. Более того, никто практически не работает одновременно сразу со всем гиперкубом данных. Для проведения анализа можно получать всевозможные срезы данных. Под срезом понимается подмножество гиперкуба, получившееся в результате фиксации значения одного или нескольких измерений.
Детализация. Она применяется для доступа к данным, лежащим на более низком уровне иерархии, и приводится в действие двумя различными механизмами. Если операция детализации относится к классу данных, как к объекту воздействия, то осуществляется просмотр информации, находящейся в системе анализа по иерархии любого измерения, допустимого для данного класса данных. Если операция детализации относится не к классу, а к измерению или показателю, то существует возможность вывода справочной или уточняющей информации по данному объекту, которая берется либо из самой системы анализа, либо из доступной и релевантной транзакционной базы данных.
Агрегация данных. Эта операция может производиться над любым классом данных и по любому измерению. Причем для консолидации анализируемых данных используется одна и та же процедура, но для любого показателя указываются операторы агрегации по каждому измерению, которые должны выполняться при своде данных. Наиболее часто используемыми операторами агрегации являются: сумма (Sum), минимум (Min), максимум (Max), среднее арифметическое (Avrg), последнее и первое значение (Last и First) для агрегации по датам.

Совокупность приведенных свойств системы анализа делает ее гибким и мощным инструментом, позволяющим решать широкий круг сложных аналитических задач, характерных для предприятия корпоративного уровня.

Источник - О.Заратуйченко - Филиалы, данные, анализ. - Банковские технологии №1, 1998.