АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

BigQuery

BigQuery — веб-служба на базе REST, входящая в состав Google Cloud, предназначенная для масштабной интерактивной аналитики больших объёмов данных в связке с облачным хранилищем Google. Представляет собой модель программного обеспечения как услуги (SaaS) и может использоваться совместно с MapReduce.

Что важно знать
BigQuery
URL cloud.google.com/product…
Коммерческий да
Тип сайта веб-служба, SaaS, хранилище данных
Регистрация обязательная
Язык (-и) английский
Владелец Google
Начало работы 2010
Текущий статус активен

Описание

BigQuery — корпоративное хранилище данных от Google, функционирующее в бессерверном режиме, то есть без необходимости управления инфраструктурой. Запросы могут выполняться на устаревшем или стандартном диалекте SQL. Сервис предназначен для анализа данных, находящихся в логическом хранилище, которое включает наборы данных (базы данных). Каждый набор данных содержит таблицы или представления. Бесплатно доступен анализ до 1 ТБ данных в месяц и хранение до 10 ГБ данных[1].

История

После периода тестирования в 2010 году сервис BigQuery стал доступен для всех в ноябре 2011 года на конференции Google Atmosphere[2].

В 2014 году компания MapR представила проект Apache Drill, решавший аналогичные задачи[3].

В апреле 2016 года европейские пользователи BigQuery столкнулись с 12-часовым сбоем в сервисе[4].

С мая 2016 года Google Таблицы поддерживают работу с BigQuery[5].

С 9 сентября 2024 года Google официально прекратил поддержку BigQuery для пользователей из РФ[6][7][8]. По состоянию на март 2026 использование сервиса напрямую из России через российские аккаунты невозможно.

Концепция

BigQuery предоставляет внешний доступ к технологии Dremel[9][10] — масштабируемой интерактивной системы ad hoc запросов для анализа вложенных данных только для чтения. Для работы требуется предварительная загрузка данных в хранилище Google с последующим импортом с помощью HTTP API BigQuery. Все запросы проходят аутентификацию по механизму OAuth.

Функциональность

  • Хранилище данных в бессерверном режиме[1].
  • Аналитика в реальном времени.
  • Автоматическая отказоустойчивость и высокая доступность.
  • Стандартный SQL-язык запросов.
  • Федерированные запросы и логическое разделение хранилищ.
  • Разделение хранения и вычислений.
  • Автоматическое резервное копирование и восстановление.
  • Геопространственные функции и типы данных.
  • Сервис передачи данных.
  • Интеграция с экосистемой больших данных.
  • Масштабирование до количества петабайт.
  • Гибкие тарифные планы.
  • Шифрование и безопасность данных.
  • Зональная локализация хранимых данных.
  • База для задач искусственного интеллекта.
  • Использование для бизнес-аналитики.
  • Гибкая загрузка данных.
  • Управление данными и комплаенс.
  • Автоматизированное взаимодействие.
  • Мониторинг и логирование через Stackdriver.
  • Контроль затрат.

Характеристики

  • Управление данными — создание и удаление таблиц на основе схем в формате JSON, импорт данных в форматах CSV или JSON из облачного хранилища Google.
  • Запросы — поддержка стандартного SQL, результаты возвращаются в формате JSON с ограничением 128 МБ на ответ либо без ограничения при активации режима «большие результаты»[11][12].
  • Интеграция — возможность работы через Google Apps Script, Google Таблицы и другие языки программирования с поддержкой REST-API либо клиентских библиотек[13].
  • Контроль доступа — предоставление доступа к наборам данных отдельным пользователям, группам или публично.

Примечания

Ссылки