АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ
ТехнологииДанные, аналитика и ИИХранение и обработка данныхMicrosoft Power Query

Microsoft Power Query

Экспертиза РАН

Logo-ran-black.png
Проведена экспертиза
Российской академией наук
Подробнее
Aprove.svg

Экспертиза РАН

Arrow-Right.png
Logo-ran.png
Проведена экспертиза
Российской академией наук
Подробнее

Microsoft Power Query (в русскоязычном интерфейсе часто называется «Получить и преобразовать данные») — компонент экосистемы Microsoft, предназначенный для извлечения, преобразования и загрузки (ETL) данных. Инструмент встроен в Microsoft Excel, Power BI, Analysis Services и ряд облачных сервисов компании, облегчая сбор, очистку и консолидацию информации из множества источников без необходимости сложного программирования[1].

Общие сведения
Microsoft Power Query
Тип Инструмент ETL и подготовки данных
Разработчик Microsoft
Языки интерфейса Многоязычный
Состояние Активно разрабатывается и обновляется
Сайт learn.microsoft.com

Определения

  • ETL (Extract, Transform, Load — «извлечение, преобразование, загрузка») — процесс интеграции данных, при котором информация собирается из различных источников, очищается, преобразуется к единому формату и загружается в централизованное хранилище данных (DWH) для аналитики, отчетности и машинного обучения.
  • Merge (Слияние) и Append (Добавление) — методы комбинирования данных.
  • Query Folding (сворачивание запросов) — механизм оптимизации в Power Query, который автоматически преобразует этапы трансформации данных (фильтры, группировку, объединения) в единый SQL-запрос к источнику.
  • Microsoft Power BI — комплексная платформа бизнес-аналитики (BI) от Microsoft, предназначенная для подключения к различным источникам данных, их обработки, визуализации и создания интерактивных отчетов.
undefined

Функции

Power Query реализует трёхфазную модель «извлечение → преобразование → загрузка».

  • Извлечение
    • подключение к сотням источников: локальные файлы (Excel, CSV, TXT), СУБД (SQL Server, Oracle, Access), веб-страницы, SharePoint, Salesforce и облачные сервисы[2];
    • упрощённый импорт, исключающий ручной ввод данных[3].
  • Преобразование
    • очистка: удаление дублей, исправление ошибок, заполнение пропусков, стандартизация форматов;
    • изменение структуры: объединение и разделение столбцов, свёртывание/развёртывание таблиц, переименование, фильтрация, изменение типов данных;
    • объединение данных из разных источников (merge/append)[4];
    • язык M для пользовательских вычислений и автоматизации повторяющихся действий;
    • пошаговая запись трансформаций с возможностью многократного воспроизведения[5].
  • Загрузка
    • вывод очищенных данных на лист Microsoft Excel или в модель данных Power BI;
    • оптимизация размера файлов: Power Query не изменяет исходные источники, храня только инструкции загрузки[6];
    • Query Folding — трансляция шагов M-кода в нативный SQL-запрос, снижая нагрузку на клиент[7].

Дополнительные возможности включают низкопороговый интерфейс, автоматическое обновление запросов, интеграцию с Microsoft 365, Azure Data Factory, SQL Server Integration Services, Power Apps и Dynamics 365, а также поддержку построения логических моделей данных[8].

Ограничения

  • Производительность и объемы данных:
    • Память. Ограничение на кэширование данных в Excel составляет 4 ГБ, а на отдельные записи — 1 ГБ.
    • Строки. В Excel лист ограничен 1 048 576 строками.
    • Время ожидания. В Power BI (Online/Dataflows) запросы часто ограничены по времени, например, 225 секунд для совмещаемой блокировки или 10 ГБ памяти в Premium емкостях.
  • Свертка запросов (Query Folding). Если преобразования не могут быть переданы источнику данных (SQL), Power Query обрабатывает их локально, что может привести к зависанию на больших наборах данных.
  • Ограничения Power Query Online (Power BI/Excel Online):
    • Не поддерживаются файлы Excel, защищенные паролем.
    • Недоступны зашифрованные файлы (с типами конфиденциальности, отличными от "Public" или "Non-Business").
    • Ограничение на количество объектов в навигатор-запросе — 10 000 элементов.
  • Функциональные ограничения:
    • Сложные, нелинейные процессы обработки данных трудно реализуемы в визуальном интерфейсе и требуют использования языка формул M.
    • Уровни конфиденциальности (Privacy Levels) могут вызывать ошибки при объединении данных из разных источников.

Примеры использования

  • Подготовка данных
    • объединение ежемесячных отчётов о продажах из множества Excel-файлов в единую таблицу;
    • очистка банковских CSV-выписок: удаление дубликатов и «мусорных» символов, нормализация типов данных[9];
    • развёртывание «скученных» (unpivot) таблиц для построения отчётов[10].
  • Отчётность
    • автоматическое обновление еженедельных отчётов одной кнопкой «Обновить»[11];
    • формирование индивидуальных отчётов о прибылях и убытках из данных разных филиалов;
    • анализ личных финансов: импорт CSV-выписок и построение сводных таблиц[12].
  • Аналитика
    • подготовка наборов данных свыше 1 млн строк для Power Pivot или Power BI;
    • динамический расчёт KPI с возможностью мгновенного обновления[13];
    • сквозная интеграция с SQL Server и Azure-сервисами для построения витрин данных[14].

Примечания

  1. ↑ Power Query: Everything you Need to Know in 2025 — UpSlide. UpSlide — Power Query guide. Дата обращения: 20 июня 2025.
    What is Power Query? - Power Query — Microsoft Learn. Microsoft Learn — What is Power Query?. Дата обращения: 20 июня 2025.
    What is Power Query: The Complete Overview of Power Query. AlphaServe — Complete overview of Power Query. Дата обращения: 20 июня 2025.
  2. ↑ What is Power Query? - Power Query — Microsoft Learn. Microsoft Learn — What is Power Query?. Дата обращения: 20 июня 2025.
  3. ↑ Power Query: Everything you Need to Know in 2025 — UpSlide. UpSlide — Power Query guide. Дата обращения: 20 июня 2025.
  4. ↑ What is Power Query? Quantspark — What is Power Query?. Дата обращения: 20 июня 2025.
  5. ↑ Power Query: Everything you Need to Know in 2025 — UpSlide. UpSlide — Power Query guide. Дата обращения: 20 июня 2025.
    What is Power Query? Quantspark — What is Power Query?. Дата обращения: 20 июня 2025.
  6. ↑ Power Query: Everything you Need to Know in 2025 — UpSlide. UpSlide — Power Query guide. Дата обращения: 20 июня 2025.
  7. ↑ What is Power Query? - Power Query — Microsoft Learn. Microsoft Learn — What is Power Query?. Дата обращения: 20 июня 2025.
  8. ↑ What is Power Query? - Power Query — Microsoft Learn. Microsoft Learn — What is Power Query?. Дата обращения: 20 июня 2025.
  9. ↑ Power Query в Excel: возможности и примеры. Sky.pro — Возможности Power Query. Дата обращения: 20 июня 2025.
    Power Query - что это и как добавить надстройку в таблицы Excel, параметры и примеры. Яндекс Практикум — Power Query в Excel. Дата обращения: 20 июня 2025.
  10. ↑ Начало работы в Power Query — finalytics.pro. Finalytics — Быстрый старт Power Query. Дата обращения: 20 июня 2025.
  11. ↑ Подводные камни использования Excel Power Query и MySQL для автоматизации отчетности / Хабр. Habr — Автоматизация отчётов в Excel. Дата обращения: 20 июня 2025.
  12. ↑ Power query в Excel - как включить, открыть и пользоваться — Банки.ру. Banki.ru — Анализ личных финансов. Дата обращения: 20 июня 2025.
  13. ↑ Excel Power Query: как добавить и как пользоваться / Skillbox Media. Skillbox — Инструкция по Power Query. Дата обращения: 20 июня 2025.
    Power Query в Excel: возможности и примеры. Sky.pro — Возможности Power Query. Дата обращения: 20 июня 2025.
  14. ↑ Power Query в Excel: возможности и примеры. Sky.pro — Возможности Power Query. Дата обращения: 20 июня 2025.

Категории

© Правообладателем данного материала является АНО «Интернет-энциклопедия «РУВИКИ».
Использование данного материала на других сайтах возможно только с согласия АНО «Интернет-энциклопедия «РУВИКИ».