• ГлавнаяНовостиНовостиНовости, 202009Новости, 202009 → Аналитическая платформа Visiology

      Аналитическая платформа Visiology

      Системы бизнес-аналитики — неотъемлемая часть корпоративной инфраструктуры, однако далеко не все проекты оказываются успешными, и часто проблемы возникают из-за несоответствия архитектуры выбранного инструмента задачам бизнеса.

      КиТ :: Будь в СЕТИ! KiT - Keep-inTouch :: RSS-лента

P.c{font-size:75%;text-align:right;}img{border:0;padding:1px;}table{display:table;border-spacing:10px;}td{display:table-cell;padding:10px;vertical-align:top;}/*Обратная связь и подписка - кнопки*/ .buttons{background:#e0ffff;color:#dc143c;font-weight:700;border:1.5px solid black;border-radius:4px;transition:0.4s;}.buttons:hover {background-color:#4CAF50;color:white;box-shadow:0 12px 16px 0 rgba(0,0,0,0.24), 0 17px 50px 0 rgba(0,0,0,0.19);cursor:pointer;}

Системы бизнес-аналитики — неотъемлемая часть корпоративной инфраструктуры, однако эффективность их эксплуатации зависит от соответствия задачам бизнеса. Архитектура аналитической платформы Visiology изначально создавалась для решения задач управления бизнесом корпораций.

Зачем нужна бизнес-аналитика? Чтобы руководитель в реальном времени видел все показатели бизнеса и вовремя смог отследить нештатные ситуации. Имея перед глазами подробные аналитические отчеты, менеджер может уверенно сказать, что влияет на ключевые показатели эффективности и как их можно улучшить. Системы бизнес-аналитики предоставляют такую возможность: они обеспечивают мгновенный доступ к информации и актуальным отчетам, и это помогает принимать правильные управленческие решения. Инвестиции в средства анализа данных не только вдвое сокращают время поиска нужных сведений и доступ к ним, но и существенно уменьшают продолжительность анализа данных (IDC «Time to Value and ROI From BI», 2018). Один из таких инструментов бизнес-анализа — информационно-аналитическая платформа Visiology для сбора и консолидации данных из разрозненных источников, преобразования и визуализации результатов анализа для пользователя.

Архитектура

По функциональному назначению Visiology схожа с другими платформами бизнес-аналитики: она обеспечивает подключение к множеству разнородных источников данных, предоставляет инструменты анализа и обеспечивает визуализацию результатов на любом устройстве — от смартфона до видеостены.

Каждый из функциональных модулей платформы (рис. 1) отвечает за решение конкретной задачи: загрузка данных из существующих информационных систем, автоматизированный ввод данных, анализ и обогащение данных, визуализация. На входе аналитической системы — In-Memory OLAP база данных ViQube, которая обеспечивает работу размещенного на сервере аналитического веб-портала, отвечающего за визуализацию отчетности, управление правами доступа (функция Single Sign-On исключения повторного ввода пароля) и интеграцию со сторонними системами авторизации, например Active Directory. Кроме того, подготовленные на портале витрины данных можно встраивать в другие веб-приложения — например, в корпоративный портал предприятия, публичный сайт компании или личный кабинет клиента.

Рис. 1. Экосистема платформы Visiology

Мобильное приложение Visiology Mobile позволяет бизнес-пользователю быстро получить необходимую информацию. Оно представляет собой копию аналитического веб-портала, однако здесь нет возможности создавать отчеты или менять исходные данные. В мобильном приложении имеется виртуальный аналитик ViTalk (рис. 2), способный работать в том числе в пространстве Telegram, что исключает необходимость установки дополнительных приложений, — в мессенджере появляется новый контакт, и здесь в свободной форме можно написать любой запрос к данным. Виртуальный аналитик, по сути, превращает голосовое обращение в сложный OLAP-запрос и обрабатывает его, выдавая ответ в виде текста, таблицы, диаграммы, круговой диаграммы, графика или столбчатой диаграммы. В случае отсутствия уточняющего запроса, ViTalk автоматически подбирает формат визуализации исходя из объема и состава выводимых данных. Часто многие руководители не очень хорошо разбираются с витринами данных и им требуется помощь аналитика — виртуальный аналитик распознаёт русский язык, что упрощает взаимодействие с системой бизнес-аналитики.

Рис. 2. Пример работы виртуального аналитика ViTalk

Конструктор отчетов — основной инструмент аналитика, позволяющий формировать и анализировать отчеты. В конструкторе предусмотрен инструментарий разработчика, который за счет наличия большого количества открытых API и SDK, библиотек плагинов, создаваемых сторонними разработчиками, и встроенных стилей позволяет выполнять достаточно сложные операции, такие как настройка интерактивности и определение показателей, вычисляемых «на лету». Стандартные возможности визуализации, включающие базовый набор диаграмм и интерактивных действий, могут быть расширены с помощью JavaScript. Бизнес-логика дополняется средствами C# и Python, математика — средствами Python с помощью модуля моделирования, позволяющего исследователям данных (data scientist) публиковать модели для пользователей и создавать для них графические интерфейсы. В перспективе конструктор будет интегрирован с Jupyter Notebook — основным инструментом исследователей данных.

Модуль ввода данных позволяет создавать веб-формы, использование которых поможет избежать ошибок и снизить трудоемкость процесса консолидации данных в Excel . С помощью таких веб-форм можно автоматизировать процессы сбора и согласования данных — например, сбор планов от подразделений и дочерних предприятий корпорации, консолидацию управленческой отчетности, сбор существующих отчетов, предоставляемых вручную. При этом бизнес-аналитик может настраивать такую автоматизацию с минимальным привлечением ИТ-департамента. Данные из веб-формы можно перемещать в аналитическую базу данных ViQube для дальнейшего анализа и визуализации.

В данном случае, в отличие от работы с известными платформами бизнес-аналитики (Power BI, QlikView и пр.), ввод данных полностью интегрирован в аналитическую платформу Visiology: пользователь создает модель данных и указывает бизнес-процессы, к которым предоставляется доступ. Нет необходимости в сложной разработке процессов выгрузки данных или ETL (Extract, Transform, Load).

Инструмент ViLoader, пока не входящий в состав платформы, позволяет загружать большие объемы файлов Excel (десятки тысяч), предварительно визуально их разметив в полуавтоматическом режиме (такие файлы часто содержат «грязные» данные), что экономит время и силы сотрудников компании.

СУБД ViQube

Аналитическая СУБД ViQube предназначена для выполнения многомерных аналитических запросов в отношении данных, размещенных в оперативной памяти, что позволяет существенно повысить производительность по сравнению с использованием традиционных реляционных OLAP СУБД. Кроме того, СУБД оптимизирована именно для работы с аналитическими запросами — для выполнения значительного объема вычислений агрегации над большим количеством значений. Например, аналитик обычно смотрит не на конкретную транзакцию, а на сумму миллионов транзакций за определенный период. Для такой нагрузки лучше подходит колоночное, а не строчное хранение, что в сочетании с режимом работы в памяти позволяет ViQube эффективнее использовать кэш процессора, применять оптимизацию для векторных инструкций и в целом быстрее выполнять аналитические запросы. Загрузка данных в ViQube осуществляется посредством механизма ETL с помощью SQL-запросов из любой реляционной СУБД, предоставляющей JDBC-драйвер. Для реализации более сложных сценариев интеграции доступен интерфейс разработчика REST API.

Существуют два варианта непосредственной трансформации данных для разных задач. Первый используется, когда требуется визуальный ETL — это использование интеграции с российской ETL-системой Loginom, среди коннекторов которой имеется визуальный конструктор данных. Второй вариант — ViXtract, ETL-инструмент с открытым кодом на основе Python, который представляет собой сборку на базе среды разработки Jupyter, библиотеки для трансформации данных PETL (package for extracting, transforming, loading) и планировщика Cronicle.

 

Работа с большими данными

Идеальная система бизнес-аналитики должна позволять руководителю контролировать все аспекты бизнеса, однако на практике часто получается так, что данных для принятия решений либо слишком мало, либо слишком много. В последнем случае требуется помощь аналитика или специалиста по исследованию данных. Иногда оказывается, что данные вообще находятся в некоторой «слепой» зоне: они есть, но не визуализируются по разным причинам — в том числе из-за нехватки компетенций и неготовности инструментов. Неструктурированные или «грязные» данные вообще не поддаются аналитике. Иногда же информацию вовсе не собирают, хотя существует запрос на ее анализ со стороны руководства. Все это негативно влияет на качество управленческих решений.

Инструменты бизнес-аналитики должны позволить сформировать полную картину по всем метрикам бизнеса, что реализуется стандартными инструментами любой системы бизнес-аналитики при использовании традиционных ERP-систем и баз данных. Однако при работе с большими данными сложно собрать всю информацию в «едином окне» — требуются специальные инструменты. При работе с большими данными и обслуживании множества одновременно работающих пользователей, In-Memory-движок ViQube работает в режиме push-down автоматической генерации SQL-запросов к распределенным СУБД c массовым параллелизмом (MPP): Arenadata, HP Vertica, Yandex ClickHouse. Такая интеграция основана на гибридном подходе: «горячие» данные размещаются в оперативной памяти, быстро обновляются и доступны для обработки аналитиком без задержек, а «холодные» ретроспективные данные содержатся в реляционном хранилище. Если запрос затрагивает «холодные» данные, то ViQube, вместо того чтобы сделать запрос самостоятельно, генерирует SQL-запрос и выполняет его на распределенной СУБД. Если же запрос касается только «горячих» данных, то ViQube его выполняет самостоятельно. Такой подход позволяет строить эффективную масштабную аналитическую систему, обслуживающую тысячи пользователей.

***

Аналитическая платформа Visiology используется в таких компаниях, как «Алроса», «Росатом», «Роскосмос», Русская медная компания, и рекомендована Аналитическим центром при правительстве РФ к использованию в субъектах РФ. Выбранная архитектура Visiology позволяет обеспечить высокую производительность при работе с любыми объемами данных и при произвольном количестве пользователей, получающих через встроенный модуль веб-форм доступ к разнообразным источникам данных в различных форматах. Виртуальный аналитик ViTalk, предоставляющий голосовой интерфейс, позволяет руководителям бизнеса работать с информацией непосредственно, без привлечения ИТ-специалистов, и решать практически любые задачи анализа данных.

Литература

1. Иван Вахмянин. Excel vs бизнес-аналитика // Открытые системы.СУБД. — 2020. — № 1. — С. 28–29. URL: (дата обращения: 10.09.2020).

Иван Вахмянин ( )  —  генеральный директор, Visiology (Москва).


Бизнес-аналитика, Интегрированная платформа,Business Intelligence, Integrated Platform



Свежий выпуск Важные темы ИТ-календарь
14 сентября 2020 15 сентября 2020 17 сентября 2020 17 сентября 2020 18 сентября 2020 Популярные теги 19 апреля 2019 19 апреля 2019

«Открытые системы» - ведущее российское издательство, выпускающее широкий спектр изданий для профессионалов и активных пользователей в сфере ИТ, цифровых устройств, телекоммуникаций, медицины и полиграфии, журналы для детей.

© «Открытые системы», 1992-2020.
Все права защищены.

Flash окончательно изгонят из Windows. Пути назад больше нет

Microsoft выпустит обязательное крупное обновление 21H1 для Windows 10, которое принудительно удалит с компьютеров Flash Player. Отказаться от установки патчей нельзя – в системе отключена возможность блокировки автоматического обновления....

IDC: в 2020 году рост российского ИТ-рынка составил 14%

19:08 03.05.2021 |-nbsp;-nbsp; 474 ...

Стартап экс-замминистра связи создаст электротакси вместе с Uber

Uber и компания Arrival, созданная экс-замминистра связи Денисом Свердловым, разработают электротакси для пассажирских перевозок. Автомобиль будет создан с учетом потребностей водителей, проводящих большую часть жизни за рулем, но и про комфорт пасса...

«Яндекс» договорился о покупке банка

20:53 29.04.2021 |-nbsp;-nbsp; 2189 ...

Легендарная Yahoo продается за бесценок

Телеком-гигант Verizon продает пионеров американского интернета Yahoo и AOL за $5 млрд. Их он купил в 2017 г. и 2015 г. соответственно в сумме более чем за $9 млрд, и в итоге он продает их на $4,1 млрд дешевле. Прибыли эти компании ему не принесли – ...

[Популярные социальные сети][*Добавить сайт]


Группы: ВК|Fb|Tw|OK

Рубрики | Каталог | Новости | Контакты |
/*Выпадайка (простая) - для рубрик справа/внизу*/.advert ul, .content ul{list-style:none;}.rubcontent [type=email], .rubcontent [type=submit]{display:block;margin:1px auto;}.rubcontent{display:block;line-height:25px;border-radius:5px 10px 0 0;border:1px solid #542437;}.cd-accordion-menu li, .list_menu_compact li, .cd-accordion-menu_ya-share2 li{padding:0;margin-left:20px;}.hidden, .cd-accordion-menu ul, .hidden:checked + label .equiv{display:none;}.hidden:checked + label + ul, .hidden:checked + label .trigramma{display:inline;}/*Карта сайта - свернуть/развернуть: ВСЕ - пока не все работает#checkbox_menu_all:checked + label + .cd-accordion-menu li ul{display:inline;}#checkbox_menu_all:checked + label + .cd-accordion-menu{display:none;}#checkbox_menu_all:checked + label + .cd-accordion-menu + .cd-accordion-menu_ya-share2{display:none;}*/@media (min-width:801px){/*Моб.меню - скрыть*/ #mob_menu{display:none;}/*Новости - анонс*/ #phablet td{display:block;}}
ГлавнаяНовостиНовостиНовости, 202009Новости, 202009 → Аналитическая платформа Visiology