Основой технологии виртуализации данных является выполнение распределенных процессов управления данными, в основном для запросов, к многочисленным разнородным источникам данных и объединение результатов запросов в виртуальные представления. Приложения, инструменты запросов/отчетов, ПО промежуточного слоя, ориентированное на сообщения, или другие части инфраструктуры управления данными затем используют эти виртуальные представления. Вместо перемещения данных и физического хранения интегрированных представлений в целевой структуре данных виртуализация данных может использоваться для создания виртуализированных и интегрированных представлений данных в памяти. Чтобы упростить логику запросов, он предоставляет уровень абстракции над фактической физической реализацией данных.
Это метод объединения данных из разных источников и разных типов в всеобъемлющее логическое представление без физического перемещения данных. Проще говоря, пользователи теоретически могут получать доступ к данным и исследовать их, пока они все еще существуют в исходных источниках, благодаря специализированному промежуточному программному обеспечению.
Содержание
Особенности виртуализации данных
- Ускорение выхода на рынок от данных до конечного продукта: виртуальные объекты данных могут создаваться значительно быстрее, чем существующие инструменты и базы данных ETL, поскольку они включают интегрированные данные. Теперь клиентам будет проще получить необходимую им информацию.
- Универсальная безопасность. Современная архитектура данных делает возможным доступ к данным из одного места. Данные могут быть защищены на уровне строк и столбцов благодаря виртуальному уровню, который предоставляет доступ ко всем организационным данным. Авторизация множества групп пользователей в одном и том же виртуальном наборе данных возможна с использованием маскирования данных, анонимизации и псевдонимизации.
- Явно объединяйте данные из разных источников. Уровень виртуальных данных упрощает включение распределенных данных из хранилищ данных, платформ больших данных, озер данных, облачных решений и машинного обучения в требуемые пользователем объекты данных.
- Гибкость: Благодаря виртуализации данных можно быстро реагировать на новые достижения в различных секторах. Это до десяти раз быстрее, чем обычные методы ETL и хранилища данных. Предоставляя интегрированные виртуальные объекты данных, виртуализация данных позволяет мгновенно отвечать на новые запросы данных. Это избавляет от необходимости копировать данные на различные уровни данных, а просто делает их практически доступными.
Уровни виртуализации данных
Ниже приведены рабочие уровни в архитектуре виртуализации данных.
- Уровень соединения: с использованием соединителей и протоколов связи этот уровень отвечает за доступ к данным, рассредоточенным по многочисленным исходным системам, которые содержат как организованные, так и неструктурированные данные. Платформы для виртуализации данных могут подключаться к различным источникам данных, таким как базы данных SQL и NoSQL, такие как MySQL, Oracle и MongoDB и т. д.
- Уровень абстракции. Уровень абстракции, также известный как виртуальный или семантический уровень, служит связующим звеном между всеми источниками данных и всеми бизнес-пользователями, образуя основу всей системы виртуализации. Этот уровень просто содержит логические представления и информацию, необходимые для доступа к источникам; он сам не хранит никаких данных. Сложность базовых структур данных скрыта от конечных пользователей, которые благодаря уровню абстракции видят только схематические модели данных.
- Уровень потребления: единая точка доступа к данным, хранящимся в базовых источниках, предлагается другим уровнем архитектуры виртуализации данных. В зависимости от типа потребителя для предоставления абстрактных представлений данных используются несколько протоколов и соединителей. Они могут взаимодействовать с виртуальным уровнем, используя SQL и различные API, такие как REST и SOAP API, а также стандарты доступа, такие как JDBC и ODBC. Различные корпоративные пользователи, инструменты и приложения могут иметь доступ к программному обеспечению для виртуализации данных, включая такие известные, как Tableau, Cognos и Power BI.
Приложения виртуализации данных
- Миграция: подумайте о сценарии, в котором вы переносите CRM-систему из традиционной в облако. Или постепенная миграция старых систем в облако. Вы можете добиться этого с помощью виртуализации данных, не останавливая операции и не создавая отчеты.
- Использование в операциях. Для колл-центров или систем поддержки клиентов хранилища данных являются большим источником страданий, которые существуют уже очень долгое время. Например, банк может выбрать один колл-центр для кредитных карт, а другой — для ипотечных кредитов. Виртуализация данных, которая охватывает хранилища данных, позволяет всем, от центра обработки вызовов до менеджера базы данных, просматривать весь спектр хранилищ данных из единой точки доступа.
- Agile BI: благодаря виртуализации данных вы можете использовать свои данные для обработки данных, API или системных связей, управляемой (регулируемой) и самообслуживаемой BI. Кроме того, он идеально подходит для «гибкой» бизнес-аналитики, которая включает в себя разработку информационных панелей и отчетов за невероятно быстрые итерации, включая тестирование, пилотирование и производство. Хотели бы вы добавить новые источники в свой текущий поток BI, подключив облачные сервисы SaaS, такие как Salesforce или Google Analytics? Вы можете! Вы можете объединить все свои данные с виртуализацией данных, даже в гибридной среде. Кроме того, вам не нужно беспокоиться о безопасности, поскольку она высоко централизована.
- Интеграция данных: это наиболее вероятная ситуация, с которой вы столкнетесь, потому что практически каждая компания содержит данные из нескольких разных источников данных. Для этого требуется подключение устаревшего источника данных на базе клиент/сервер с современными цифровыми платформами, такими как социальные сети.
Вы используете каталог данных для поиска данных после подключения с использованием таких методов, как Java DAO, ODBC, SOAP или других API. Построение соединений, скорее всего, будет сложным, даже при виртуализации данных. - Доступ к даннымв режиме реального времени. Ваши соглашения об уровне обслуживания находятся под давлением, а исходная система не работает должным образом с точки зрения доступа (почти) в режиме реального времени к огромным объемам данных? Виртуализация данных позволяет смешивать данные в реальном времени из исходной системы с историческими данными, которые были «выгружены» в другой источник. Вы можете предотвратить перегрузку исходных систем, оптимизировав кэширование или выполняя более интеллектуальные системные запросы. Без первоначального копирования всех типов данных с помощью операций ETL возможна даже аналитика больших объемов данных практически в реальном времени. Кроме того, можно легко создать виртуальную витрину данных, объединив устаревшее хранилище данных с новым источником данных.
Преимущества виртуализации данных
- Виртуализация данных обеспечивает доступ в режиме реального времени к исходным данным и управление ими через виртуальный/логический уровень без физического перемещения данных в новое место. ETL обычно не требуется.
- Если сравнивать внедрение виртуализации данных со строительством отдельного консолидированного хранилища, первое требует меньше средств и ресурсов.
- Нет необходимости перемещать материал, а уровни доступа можно контролировать.
- Не беспокоясь о типе данных или о том, где они расположены, пользователи могут создавать и выполнять любые отчеты и анализы, которые им необходимы.
- Через единый виртуальный уровень все корпоративные данные доступны для всех потребителей и вариантов использования.
