P.c{font-size:75%;text-align:right;}img{border:0;padding:1px;}table{display:table;border-spacing:10px;}td{display:table-cell;padding:10px;vertical-align:top;}/*Обратная связь и подписка - кнопки*/ .buttons{background:#e0ffff;color:#dc143c;font-weight:700;border:1.5px solid black;border-radius:4px;transition:0.4s;}.buttons:hover {background-color:#4CAF50;color:white;box-shadow:0 12px 16px 0 rgba(0,0,0,0.24), 0 17px 50px 0 rgba(0,0,0,0.19);cursor:pointer;}

Данные как пассив, как правило, не структурированы, неизвестного качества, получены в результате непрозрачных или сложных трансформаций, не связаны и не согласованы между собой, а за их хранение, использование и преображение отвечает узкий круг специалистов. При этом остальным сотрудникам компании данные недоступны или непонятны.

Данные как актив, напротив, структурированы, хорошо описаны, измерены, понятны, а главное — удобны для использования каждому участнику цифрового процесса. Они получены в результате прозрачных, открытых трансформаций, благодаря чему можно проследить весь путь от источника данных до получателя. Примером может служить использование системы класса Data Govermance, позволяющей бизнесу понять, какими активами данных он владеет, как эти данные связаны друг с другом, кто и как ими пользуется. Помимо этого, данные генерируют доход по прозрачной финансовой модели.

Одна из главных целей преобразования данных в актив — сделать так, чтобы данные были демократизированы, то есть доступны всем сотрудникам компании в соответствии с политиками безопасности.

Современные требования к работе с данными

Обеспечение комплексной безопасности данных. Имеется в виду не только информационная безопасность в виде защиты от кибератак и действий инсайдеров, а еще и обязательное соблюдение требований регулирующих органов, исполнение соответствующих законодательных актов и отраслевых стандартов. Облачно- или мультиоблачно-ориентированные решения. Это — возможность для данных быть более доступными, так как облачные решения позволяют распределять данные и ресурсы, управлять и работать с ними сразу из нескольких географических точек. Такой подход также повышает безопасность данных и гибкость всех систем компании. Ориентированность на open-source и/или продукты импортозамещения. Данное требование актуально, так как все больше компаний стали рассматривать в качестве альтернативы российские ИТ-решения, которые начинают пользоваться все большим доверием не только на нашем рынке, но и на мировой арене. Обеспечение процессов DataOps, AIOps, их встраивание в существующие DevSecOps процессы. Главная задача DevOps — предоставить бизнесу работающее ПО. Задача DataOps — предоставить бизнесу актуальные работающие данные. Задача цифровой трансформации — встроить DataOps в существующие DevOps-процессы или реализовать новые. Ключевые этапы трансформации конвейера данных

Типовой конвейер данных почти любого data-процесса состоит из следующих этапов: генерация идеи; ее проверка в песочнице в ограниченном объеме или на всем объеме данных сразу; моделирование, во время которого данные встраиваются в существующие модели; разработка новой модели данных и проверка достижения цели; обкатка на автоматических тестах; развертывание; встраивание в существующий конвейер данных и подготовка мониторинга для дальнейшей работы с данными.

Источник: ICL, 2021

Как эти этапы преобразуются, когда мы говорим о цифровой трансформации?

Если в старой парадигме источниками знаний у нас были документация, «головы» и компетенции сотрудников, то сейчас без таких продуктов, как Data Glossary (в том числе бизнес-глоссарий), который описывает и структурирует те данные, с которыми мы работаем, уже не обойтись.

Если раньше в моде были разрозненные инструменты моделирования бизнес-процессов, ПО и данных, то сейчас более перспективной представляется преобразование всех данных в централизованные и связанные модели. Также сформировался устойчивый тренд на активное использование внешних источников данных и их встраивание в существующие в организации модели, которые в дальнейшем используются в кейсах по монетизации данных.

Следующий тренд — переход от императивной разработки хранилищ данных к декларативной. В первом сценарии необходимо было задать последовательность действий для достижения результата, а хранилища вели себя так, как предписывали их создатели. Второй сценарий подразумевает использование принципиально другого подхода, благодаря которому любой конвейер данных можно описать в виде моделей, их связей, правил преобразования, а далее уже сам встроенный инструментарий будет генерировать код, осуществляющий конечные трансформации данных. Проще говоря, становится доступной возможность описать, что представляет собой проблема и каким должен быть ожидаемый результат, но без описания способа достижения этого результата. Ранее такой класс систем назывался DWA (Data Warehouse Automation), сейчас же, с развитием облачных технологий, появились инструменты, реализующие данную концепцию в виде Model-Driven среды с возможностью смены бэкенда хранилища данных при необходимости.

Помимо этого, предполагается переход от ручных мониторинга, тестирования, выгрузки и моделирования в MS Excel к использованию всех современных наработок Software Engineering — версионированию, ревью кода и так далее. Все, что является частью конвейера данных, выкладывается в единое хранилище — так называемый репозиторий (GIT). Также на данном этапе происходит реализация Near-production-песочниц, в которых можно быстро сгенерировать идею, сразу проверить ее на большом объеме данных, а если идея сработала, то «продуктивизировать» полученное решение. В идеальном сценарии протестировать идею может любой пользователь компании без вмешательства ИТ-специалистов.

Источник: ICL, 2021

Последний элемент трансформация конвейера данных — использование концепции «Data Pipeline as code». Она подразумевает исключение множества ручных шагов из процесса и обеспечение плавного, автоматизированного потока данных от одной фазы конвейера к другой, сопровождающегося достаточно зрелыми процессами и инструментами CI\CD. На этапе разработки также важно заложить возможность автоматического запуска тестов, проверки качества данных и их описания, автоматизированную установку и сборку всей сети данных в целостный конвейер.

Как определить зрелость системы управления данными в компании

Есть два способа определения зрелости компании — быстрый и точный. Они помогут понять, какие изменения необходимо вносить в процессы внутри компании.

Источник: ICL, 2021

Быстрый способ предполагает самооценку на основе общедоступных методик — их достаточно много, все они — зарубежные. Можно использовать, например, американскую методику CMMI (Capability Maturity Model Integration). В методиках уже собраны чек-листы, пройдя по каждому пункту которых, можно понять на какой стадии зрелости находится ваша компания. Такие методики также дают понять, какие процессы в компании эффективны, а какие нет.

Второй способ — точный. Это комплексный аудит с привлечением отраслевых экспертов либо компании-аудитора или компании-консультанта.

Как встроить стратегию управления данными в планы по цифровизации. Чек-лист мероприятий:

Провести оценку текущей зрелости вашей компании; сформировать стратегии бизнес-подразделений и ИТ-стратегию, стратегию цифровой трансформации; провести GAP-анализ, определить приоритетные для организации направления, исходя при этом из того, какие пробелы в конвейере данных были выявлены; сформировать поэтапные планы улучшения выявленных недостатков, получить ресурсную оценку по реализации планов; зафиксировать и защитить стратегию по управлению данными, или включить ее как блок в стратегию цифровой трансформации.

Конечным результатом этих преобразований станет формирование стратегии, учитывающей планы развития организации, а также плана действий и его ресурсных ограничений. В компании появится понимание, сколько сил и денег будет потрачено, к каким результатам это приведет. При этом реализация стратегии будет поддержана ключевыми стейкхолдерами со стороны руководства и бизнес-подразделений компании.

Соблюдая все эти шаги, можно встать на путь цифровой трансформации, перейдя, наконец, от бесконечного планирования к конечному результату.

Flash окончательно изгонят из Windows. Пути назад больше нет

Microsoft выпустит обязательное крупное обновление 21H1 для Windows 10, которое принудительно удалит с компьютеров Flash Player. Отказаться от установки патчей нельзя – в системе отключена возможность блокировки автоматического обновления....

IDC: в 2020 году рост российского ИТ-рынка составил 14%

19:08 03.05.2021 |-nbsp;-nbsp; 474 ...

Стартап экс-замминистра связи создаст электротакси вместе с Uber

Uber и компания Arrival, созданная экс-замминистра связи Денисом Свердловым, разработают электротакси для пассажирских перевозок. Автомобиль будет создан с учетом потребностей водителей, проводящих большую часть жизни за рулем, но и про комфорт пасса...

«Яндекс» договорился о покупке банка

20:53 29.04.2021 |-nbsp;-nbsp; 2189 ...

Легендарная Yahoo продается за бесценок

Телеком-гигант Verizon продает пионеров американского интернета Yahoo и AOL за $5 млрд. Их он купил в 2017 г. и 2015 г. соответственно в сумме более чем за $9 млрд, и в итоге он продает их на $4,1 млрд дешевле. Прибыли эти компании ему не принесли – ...

[Популярные социальные сети][*Добавить сайт]


Группы: ВК|Fb|Tw|OK

Рубрики | Каталог | Новости | Контакты |
/*Выпадайка (простая) - для рубрик справа/внизу*/.advert ul, .content ul{list-style:none;}.rubcontent [type=email], .rubcontent [type=submit]{display:block;margin:1px auto;}.rubcontent{display:block;line-height:25px;border-radius:5px 10px 0 0;border:1px solid #542437;}.cd-accordion-menu li, .list_menu_compact li, .cd-accordion-menu_ya-share2 li{padding:0;margin-left:20px;}.hidden, .cd-accordion-menu ul, .hidden:checked + label .equiv{display:none;}.hidden:checked + label + ul, .hidden:checked + label .trigramma{display:inline;}/*Карта сайта - свернуть/развернуть: ВСЕ - пока не все работает#checkbox_menu_all:checked + label + .cd-accordion-menu li ul{display:inline;}#checkbox_menu_all:checked + label + .cd-accordion-menu{display:none;}#checkbox_menu_all:checked + label + .cd-accordion-menu + .cd-accordion-menu_ya-share2{display:none;}*/@media (min-width:801px){/*Моб.меню - скрыть*/ #mob_menu{display:none;}/*Новости - анонс*/ #phablet td{display:block;}}
ГлавнаяНовостиНовостиНовости, 202103Новости, 202103 → Как подготовить стратегию по управлению данными