Data Mapping

• Data Mapping — это формальное установление соответствий («карты») между атрибутами исходной и целевой структур данных. Основные цели процесса:

1. обеспечение целостности и качества данных при их перемещении;
2. поддержка требований к соответствию нормативным актам и стандартам;
3. снижение трудоёмкости и риска ошибок при интеграции гетерогенных систем;
4. упрощение аналитики за счёт единообразной структуры данных.

• Schema (схема) — логическая структура или описание организации данных (таблиц, полей, типов данных, связей) в исходной и целевой системах.
• blueprint (чертеж/схема) — детальный план или техническая спецификация, которая определяет, как данные из источника (source) будут преобразовываться, очищаться и переноситься в целевую систему (target).
• ETL (Extract, Transform, Load) — процесс переноса данных из источников в целевую систему, включающий их извлечение, преобразование и загрузку.
• Data Governance (управление данными) — набор правил, политик, стандартов и ролей, обеспечивающих точность, безопасность, непротиворечивость и высокое качество данных в процессе их переноса или интеграции из одной системы в другую.
• GDPR — процесс инвентаризации и документального оформления потоков персональных данных (ПДн) для обеспечения соответствия требованиям ЕС по защите данных. Он помогает понять, как данные собираются, используются, хранятся и куда передаются, что является критическим требованием GDPR.
• CCPA — процесс инвентаризации и документирования всех персональных данных жителей Калифорнии, которые собирает, хранит, использует и передает компания. Это критически важный шаг для соответствия Калифорнийскому закону о защите прав потребителей (CCPA), позволяющий выполнять запросы пользователей на доступ или удаление данных.

• Исходные данные (Source Data) — сведения, подлежащие сопоставлению; как правило, располагаются в разных БД, файлах или приложениях, каждых со своей схемой^[3].
• Целевые данные (Target Data) — место назначения, структура которого задаёт требования к преобразованию исходных данных.
• Элементы данных / поля — отдельные атрибуты, между которыми устанавливаются связи «источник-цель»^[4].
• Правила сопоставления — логика, определяющая, какие поля и каким образом соответствуют друг другу.
• Преобразования данных — операции изменения формата, типа, агрегации и стандартизации, необходимые для соответствия целевой схеме.

Большинство практических методик выделяют семь основных этапов^[5].

• Интеграция данных — консолидация информации из разнородных систем.
• Миграция данных — перенос при переходе на новые платформы или в облако^[12].
• Трансформация данных — изменение форматов и структур под требования целевой БД.
• Синхронизация данных в реальном времени между несколькими приложениями.
• Обеспечение качества и каталогизация данных.
• Соответствие требованиям конфиденциальности — инвентаризация персональных данных.
• Построение хранилищ данных и Data Lake.
• Подготовка датасетов для Data Science и машинного обучения^[13].

1. ETL-процессы (извлечение, преобразование, загрузка)

Это наиболее классический сценарий. Данные выгружаются из источника, трансформируются и загружаются в целевую систему.

• Пример: Перенос данных из старой CRM-системы (например, поле «Имя клиента» в формате First + Last Name) в новую, где поля разделены (FirstName, LastName). Data Mapping определяет правила разбивки строки при переносе.

2. Интеграция систем (API, микросервисы)

Когда две системы взаимодействуют друг с другом, они должны понимать структуру данных друг друга.

• Пример: В интернет-магазине оформляется заказ. Данные из корзины сайта (JSON) преобразуются в формат, понятный складской системе (XML или SQL-запрос) для автоматического списания товара.
• Пример: Сопоставление данных о статусе клиента из разных источников, например, превращение значений 1 и 2 из Системы А в active и inactive для целевой базы данных.

3. Объединение данных (Data Consolidation)

При слиянии компаний или объединении баз данных (например, клиентской базы) необходимо создать единый источник истины.

• Пример: Объединение CRM-систем двух филиалов банка, где филиал №1 использует поле phone_number, а филиал №2 — contact_cell. Маппинг позволяет создать единое поле mobile_phone для нового отчета.

4. Подготовка данных для бизнес-аналитики (Data Warehousing)

Данные собираются из операционных систем (ERP, CRM) и маппятся в структуру аналитического хранилища (Data Warehouse), часто по модели «звезда» или «снежинка».

• Пример: Компания собирает данные из 1С, Google Analytics и рекламного кабинета Facebook. Маппинг данных приводит все метрики (например, "Цена клика" и "Стоимость за клик") к единому названию и типу данных для отображения в Power BI/Tableau.

5. Data Governance и compliance (GDPR, ФЗ-152)

Маппинг используется для отслеживания движения персональных данных (PD) внутри компании.

• Пример: Компания маппит, где хранятся ФИО, email и номера телефонов пользователей (в каких таблицах БД, CRM, email-сервисах), чтобы выполнить требование о "праве быть забытым" и оперативно удалить все данные пользователя из всех систем.

6. Миграция данных (Data Migration)

При смене IT-платформы (например, переход с SAP на 1С) данные нужно перенести без потерь.

• Пример: Поле ClientType в старой системе имеет значения F (Физическое лицо) и J (Юридическое лицо). При миграции Data Mapping сопоставляет их с 1 и 2 в новой системе.