Фокус с кроликом: как очистить данные

ETL Rabbit позволяет обрабатывать данные автоматически, привязывая их к словарю эталонных значений. В результате все варианты написания позиции будут восприниматься системой как одна. «Словарь создается вручную либо выгрузкой из Microsoft NAV, 1C или любой другой корпоративной системы», – объясняет Иван Капцов. Если единого справочника у компании нет, первое сопоставление данных осуществляет оператор. Система запоминает «связку», с каждым разом словарь наполняется, работа оператора все больше перекладывается на программу, а ручных операций становится меньше и меньше. «В конце концов, производительность и качество данных увеличиваются в разы», – говорит Иван. Для лучшего понимания того, как работает система, он использует образ конструктора, который интегрируется в ИТ-систему заказчика, «разбирает» все полученные файлы, а потом собирает их вновь в соответствии с заданными правилами.

Как кролик из шляпы

ETL Rabbit работает с форматом данных, используемых в Excel, а также с форматами CSV (таблицы в текстовых файлах) и DBF (применяется в СУБД и электронных таблицах). «Для многих из наших заказчиков проблемы создавала необходимость загрузки большого количества файлов Excel, полученных из разных источников», – рассказывает эксперт.

Понять, актуально ли подобное решение для конкретной организации, по мнению Капцова, просто – достаточно подсчитать трудозатраты на обработку данных. «Мы сталкивались с ситуацией, когда чуть ли не целый отдел предприятия занимался консолидацией отчетов Excel, необходимых для анализа вторичных продаж. Опыт внедрения ETL Rabbit, показал, что такой отдел можно заменить одним или двумя сотрудниками. Если на обработку, загрузку и форматирование данных раньше уходило около двух часов, то теперь весь процесс занимает 10–15 секунд», – говорит он. Выяснить, сколько часов тратится на подобные рутинные операции, и сопоставить их с окладами сотрудников несложно. Статистика клиентов Navicon, внедривших ETL Rabbit, показывает сокращение затрат на 30–50%.

Впрочем, в России поговорка «Пока гром не грянет, мужик не перекрестится» не теряет актуальности. «Зачастую компания работает по инерции, пока не требуется внедрить новые ИТ-системы или не меняются форматы данных. Кто-то обращается в процессе реорганизации бизнеса. Был случай, когда из компании ушел программист, и разработанное им решение умерло», – рассказывает Иван Капцов.

По его оценкам, на данный момент ETL Rabbit не имеет аналогов и позволяет решить актуальную для многих компаний проблему за небольшие деньги. Его основная целевая аудитория – предприятия малого и среднего бизнеса. Преобразование данных может быть «промежуточным этапом» для целого ряда других задач, являющихся частью глобальных проектов, реализующихся в крупном бизнесе. Например, основная задача решения Sales Out, также разработанного Navicon, – анализ вторичных продаж. Здесь тоже необходима первичная очистка данных, создание словарей номенклатуры и контрагентов. Но небольшая компания не окупит затраты на такое решение. «Один из наших заказчиков воспользовался ETL Rabbit в том числе для анализа данных о закупках и продажах», – рассказывает Иван Капцов.

Скорость внедрения – главное преимущество

Внедрение ETL Rabbit занимает максимум месяц, а во многих случаях происходит быстрее. «Если необходимо только преобразовывать, но не сопоставлять данные, задача сводиться к выгрузке данных из существующих справочников и может быть выполнена за один-два дня», – рассказывает эксперт.

Приятная особенность решения – отсутствие необходимости увеличивать серверный парк. ETL Rabbit использует облачные технологии и работает в Microsoft Azure. «Устанавливать ничего не нужно. Пользователь видит web-сайт, к которому доступ открывается с помощью пароля. Предоставляется документация, подробные инструкции, в том числе видео. Обучение сотрудников происходит быстро. Если структура отчетов у компании несложная, оно занимает несколько часов», – поясняет Иван Капцов. Частное облако позволяет выдержать большие нагрузки по объемам данных. По словам эксперта, решение полностью справляется с объемами, которыми оперируют заказчики.

Частый вопрос, который задают потенциальные заказчики, – о персональных данных. Не все хотят выкладывать в облако коммерческую информацию о контрагентах. Navicon предлагает поставить дополнительное приложение по обезличиванию данных. Тогда все персональные данные, собранные в локальном ЦОДе, выходят в облако в зашифрованном виде.

Производительность решения

Пример конкретной компании, внедрившей ETL Rabbit, – интернет-магазин, использующий систему 1С. Каждые три дня компания получает примерно 30 прайс-листов от поставщиков, а постоянное изменение курса валют приводит и к более частым изменениям цен. Каждый прайс-лист включает примерно 6–7 тыс. позиций, и эти данные компания должна загрузить в свою систему в определенном унифицированном формате, при том, что контрагенты составляют прайс-листы в своих форматах. «Необходимость переделки прайс-листов очень раздражала менеджмент интернет-магазина, а заниматься этим приходилось менеджерам по продажам. Вместо того, чтобы продавать», – рассказывает Иван Капцов. После установки решения время, затраченное на преобразование каждого файла (ранее около 40 минут), занимает не больше 10 секунд.

Оплата за использование ETL Rabbit зависит от количества обработанных записей. «Как на мобильном телефоне: положили деньги на счет, поговорили. Сколько поговорили – столько и заплатили, по договору оферты», – объясняет Иван Капцов. Как и в случае с мобильной связью, существуют разные тарифы – в среднем обработка 1000 записей стоит – $1, количество пользователей на цену не влияет. «В среднем компании малого, среднего бизнеса обрабатывает в год 600–900 тыс. записей», – считает эксперт.

Никаких технических или организационных ограничений на использование решения нет, так же как и необходимости в лицензионных соглашениях. «ETL Rabbit недавно появился на российском рынке, но активный интерес к нему показывает, что бизнес ждал подобного инструмента», – резюмирует Иван Капцов. Он акцентирует внимание на наличии бесплатного тестового периода, во время которого потенциальный заказчик сможет оценить возможности продукта и понять, нужен ли он ему.

Екатерина Сирина

Санкции и курс на импортозамещение

Принятие закона о хранении данных в РФ

Старт создания национальной системы платежных карт

Выпуск процессоров российской разработки на российском заводе

Старт создания ГИС ЖКХ

Начало всероссийской ШПД-стройки

Принятие законов для развития ИТ-отрасли

Создание госкорпорации по развитию ГЛОНАСС

Формирование группы казанских итэшников

Упрощение электронных госуслуг