АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ
ТехнологииДанные, аналитика и ИИХранение и обработка данныхBigQuery

BigQuery

Экспертиза РАН

Logo-ran-black.png
Проведена экспертиза
Российской академией наук
Подробнее
Aprove.svg

Экспертиза РАН

Arrow-Right.png
Logo-ran.png
Проведена экспертиза
Российской академией наук
Подробнее

BigQuery — веб-служба на базе REST, входящая в состав Google Cloud, предназначенная для масштабной интерактивной аналитики больших объёмов данных в связке с облачным хранилищем Google. Представляет собой модель программного обеспечения как услуги (SaaS) и может использоваться совместно с MapReduce.

Общие сведения
BigQuery
URL cloud.google.com/product…
Коммерческий да
Тип сайта веб-служба, SaaS, хранилище данных
Регистрация обязательная
Язык (-и) английский
Владелец Google
Начало работы 2010
Текущий статус активен

Описание

BigQuery — корпоративное хранилище данных от Google, функционирующее в бессерверном режиме, то есть без необходимости управления инфраструктурой. Запросы могут выполняться на устаревшем или стандартном диалекте SQL. Сервис предназначен для анализа данных, находящихся в логическом хранилище, которое включает наборы данных (базы данных). Каждый набор данных содержит таблицы или представления. Бесплатно доступен анализ до 1 ТБ данных в месяц и хранение до 10 ГБ данных[1].

История

После периода тестирования в 2010 году сервис BigQuery стал доступен для всех в ноябре 2011 года на конференции Google Atmosphere[2].

В 2014 году компания MapR представила проект Apache Drill, решавший аналогичные задачи[3].

В апреле 2016 года европейские пользователи BigQuery столкнулись с 12-часовым сбоем в сервисе[4].

С мая 2016 года Google Таблицы поддерживают работу с BigQuery[5].

С 9 сентября 2024 года Google официально прекратил поддержку BigQuery для пользователей из РФ[6][7][8]. По состоянию на март 2026 использование сервиса напрямую из России через российские аккаунты невозможно.

Концепция

BigQuery предоставляет внешний доступ к технологии Dremel[9][10] — масштабируемой интерактивной системы ad hoc запросов для анализа вложенных данных только для чтения. Для работы требуется предварительная загрузка данных в хранилище Google с последующим импортом с помощью HTTP API BigQuery. Все запросы проходят аутентификацию по механизму OAuth.

Функциональность

  • Хранилище данных в бессерверном режиме[1].
  • Аналитика в реальном времени.
  • Автоматическая отказоустойчивость и высокая доступность.
  • Стандартный SQL-язык запросов.
  • Федерированные запросы и логическое разделение хранилищ.
  • Разделение хранения и вычислений.
  • Автоматическое резервное копирование и восстановление.
  • Геопространственные функции и типы данных.
  • Сервис передачи данных.
  • Интеграция с экосистемой больших данных.
  • Масштабирование до количества петабайт.
  • Гибкие тарифные планы.
  • Шифрование и безопасность данных.
  • Зональная локализация хранимых данных.
  • База для задач искусственного интеллекта.
  • Использование для бизнес-аналитики.
  • Гибкая загрузка данных.
  • Управление данными и комплаенс.
  • Автоматизированное взаимодействие.
  • Мониторинг и логирование через Stackdriver.
  • Контроль затрат.

Характеристики

  • Управление данными — создание и удаление таблиц на основе схем в формате JSON, импорт данных в форматах CSV или JSON из облачного хранилища Google.
  • Запросы — поддержка стандартного SQL, результаты возвращаются в формате JSON с ограничением 128 МБ на ответ либо без ограничения при активации режима «большие результаты»[11][12].
  • Интеграция — возможность работы через Google Apps Script, Google Таблицы и другие языки программирования с поддержкой REST-API либо клиентских библиотек[13].
  • Контроль доступа — предоставление доступа к наборам данных отдельным пользователям, группам или публично.

Примечания

  1. ↑ 1 2 Google Cloud Platform — BigQuery. cloud.google.com. Дата обращения: 9 июня 2024.
  2. ↑ Iain Thomson. Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters (англ.), The Register (14 November 2011). Архивировано 20 мая 2019 года. Дата обращения: 9 июня 2024.
  3. ↑ Neil McAllister. Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech (англ.), The Register (16 September 2014). Архивировано 17 сентября 2014 года. Дата обращения: 9 июня 2024.
  4. ↑ Simon Sharwood. Google Euro-cloud glitch (англ.), The Register (7 April 2016). Архивировано 10 апреля 2016 года. Дата обращения: 9 июня 2024.
  5. ↑ Jordan Novet. Google BigQuery now lets you analyze data from Google Sheets (англ.), VentureBeat (6 May 2016). Архивировано 10 мая 2016 года. Дата обращения: 9 июня 2024.
  6. ↑ Softline: клиенты Google BigQuery из РФ получили уведомление от правообладателя об отключении у них сервиса с 9 сентября, Хабр. Дата обращения: 23 марта 2026.
  7. ↑ Google прекращает поддержку сервиса BigQuery в России с 9 сентября, Tek.fm. Дата обращения: 23 марта 2026.
  8. ↑ Google анонсировал отключение BigQuery в РФ — DataGo! datago.ru. Дата обращения: 23 марта 2026.
  9. ↑ Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakis. Dremel: Interactive Analysis of Web-Scale Datasets (англ.). Proc. of the 36th International Conference on Very Large Data Bases (VLDB) (2010).
  10. ↑ Kazunori Sato. An Inside Look at Google BigQuery (англ.). Google (2012). Дата обращения: 9 июня 2024.
  11. ↑ SQL Reference (англ.). Дата обращения: 9 июня 2024.
  12. ↑ Quota Policy (англ.). Дата обращения: 9 июня 2024.
  13. ↑ BigQuery Client Libraries (англ.). Дата обращения: 9 июня 2024.

Ссылки

Категории