Хорошо известно, что для извлечения ценности из внешних и внутренних данных необходимо уделять внимание как управлению данными, так и их качеству. Gartner определяет управление данными как «определение прав на принятие решений и рамок подотчетности для обеспечения надлежащего поведения в отношении оценки, создания, использования и контроля данных и аналитики». Качество данных во многом определяется тем, насколько точной и актуальной является информация; Без точных данных и знаний о том, кто использует информацию в вашей организации, очень сложно истощить эти знания.

Хотя хорошо известно, что управление данными и их качество имеют первостепенное значение для организаций, а учитывая огромный прогресс в технологиях и возможностях данных, организации по-прежнему борются за обеспечение качества данных и управления ими.

Проверьте также:

Недавнее исследование EY показало, что 41% организаций считают качество своих данных самой большой проблемой. Gartner предполагает, что низкое качество данных обходится организациям в среднем в 12,9 млн долларов в год.

Кроме того, отчет EY показал, что 14% организаций имеют проблемы с доступом к технологической инфраструктуре и связанным с ней данным. Без надлежащей доступности, технологий и инфраструктуры данных компаниям чрезвычайно сложно внедрить эффективную структуру управления данными.

Проблемы, связанные с централизацией данных

Многие барьеры, мешающие компаниям достичь целей в области качества данных и управления данными, связаны с традиционным подходом, ориентированным на данные. По мере роста организации приток операционных ресурсов создает хранилища данных. Компании пытаются решить эту проблему, собирая данные из этих источников в одном месте. Хотя в последние годы не было никаких аргументов в пользу этого рассуждения, во времена увеличения объема и сложности данных это привело ко многим серьезным проблемам.

Например, интеграция новых источников данных в централизованную среду требует много времени и усилий. Стоимость централизации данных значительна, учитывая инвестиции в хранилище, компьютеры и интерфейсы, а также задачу стандартизации форматов данных во всех источниках данных. Между тем, хранилища данных растут, потому что существует естественное разделение между теми, кто создает и потребляет данные, и инженерами данных, имеющими опыт работы с инструментами для работы с большими данными. Это связано с тем, что инженерам не хватает знаний в области бизнеса и предметной области, а владельцам информационных продуктов не хватает технических знаний. В результате организации не имеют возможности отслеживать потребление данных на предприятии.

Технические аспекты централизации данных также могут способствовать негативным последствиям политики регулирования; Внутренняя конкуренция может привести к тому, что отделы откажутся делиться своими активами данных с другими отделами. Отсутствие видимости и доступности в среде, ориентированной на данные, может стимулировать хранение активов данных и, таким образом, потерю многих инициатив по монетизации данных со стороны предприятия.

Проблемы консолидации данных в централизованной среде также приводят к использованию устаревших данных. Например, по мере того, как организация со временем растет, третья сторона может взаимодействовать со многими различными бизнес-подразделениями внутри организации, каждое из которых использует свою операционную систему. Это приводит к отсутствию синхронизации данных — некоторые данные актуальны, а часть другой информации уже неточна. Это препятствует внедрению и открытию знаний и, таким образом, влияет на результаты бизнеса.

Наконец, компании не могут диктовать, как использовать данные. Когда данные централизованы, сложно внедрить минимальные и наиболее точные средства контроля доступа, поэтому достижение корпоративного управления и соответствия требованиям является проблемой.

Новый децентрализованный подход к данным

Поэтому ясно, что традиционный и ориентированный на данные подход ставит перед организациями множество проблем, которые необходимо преодолеть. Альтернативной стратегией является принятие децентрализованного подхода. Концепция Data Fabric — одно из наиболее важных стратегических направлений Gartner на 2022 год — может помочь, основанная на нескольких технологиях управления данными, работающих в тандеме, улучшить поиск данных и интеграцию в экосистеме компании.

Одной из таких технологий является виртуализация данных, которая позволяет получать доступ к ресурсам данных из любого рабочего источника без необходимости их повторения. Другими словами, вместо того, чтобы копировать данные из оперативного источника в центральное хранилище данных, наборы данных можно просматривать и анализировать (даже с использованием сложных методов ИИ) оттуда, где они находятся. Реальный подход Data Fabric также позволяет создавать виртуальные озера данных в режиме реального времени по мере необходимости; Это означает, что озера данных можно создавать и удалять в любое время, не затрагивая существующие приложения и инфраструктуру.

Это представляет собой более простую и экономичную альтернативу интеграции источников и поставщиков данных, а также обеспечивает единое представление потока данных в масштабах предприятия. Достигнув такого уровня видимости, организации могут действовать с данными разными способами. Во-первых, благодаря использованию передовых механизмов контроля, основанных на признаках и ролях, он может ограничить видимость и доступ к самому низкому, наиболее подробному уровню, что позволяет лучше выполнять контрольные решения.

Во-вторых, поскольку ресурсы данных более доступны, организации могут координировать обмен данными между командами и сокращать изолированные ресурсы данных. По мнению Gartner, эта способность динамически улучшать использование данных является частью истинной ценности Data Fabric. Исследовательская фирма утверждает, что аналитика как часть Data Fabric может сократить усилия по управлению данными до 70% и ускорить окупаемость.

Важно отметить, что отличный подход Data Fabric означает не отказ от существующих центральных озер или хранилищ данных, а скорее интеграцию данных в них как часть динамичной и отказоустойчивой инфраструктуры. Data Fabric может использоваться приложением или платформой и позволяет обогащать, обрабатывать и визуализировать данные в любое время, чтобы компании перестали блокировать свои данные в хранилищах или реплицировать их в нескольких приложениях.

Организации, стремящиеся улучшить бизнес-результаты за счет модернизации качества данных, управления и возможности обнаружения, должны рассмотреть свой сквозной подход к данным и спросить себя, может ли традиционный и централизованный подход помочь им в достижении их целей. Стратегия, использующая текстуру данных, безусловно, может сделать именно это.

автор:

Врач. Дэвид Амзалай — руководитель отдела продуктов и генеральный директор подразделения цифровой трансформации BlackSwan Technologies.

Источник: IDG Connect