Агрегирование данных

Геологическая служба США объясняет, что «когда данные хорошо задокументированы, известно, как и где искать информацию, и получаемые результаты будут совпадать с ожидаемыми»^[2]. Источниками информации для агрегирования данных могут выступать общедоступные записи и криминальные базы данных. Информация предоставляется в виде консолидированных отчётов, затем продаётся предприятиям, а также местным, областным и государственным учреждениям. Такая информация также может использоваться в маркетинговых целях. В Соединённых Штатах деятельность многих брокеров данных подпадает под действие Федерального закона о справедливой кредитной отчётности (англ. Fair Credit Reporting Act, FCRA), который регулирует деятельность агентств по предоставлению отчётности потребителям. Такие агентства собирают и оформляют личную информацию в потребительские отчёты, которые затем продаются кредиторам, работодателям, страховым компаниям и другим организациям. Finicity, компания Mastercard, является одним из основных агрегаторов, соблюдающих требования FCRA, в то время как большинство других агрегаторов данных предпочитает не соблюдать этот закон о защите прав потребителей^[3].

Агрегаторы баз данных предоставляют различные информационные отчёты. Отдельные лица могут запрашивать собственные потребительские отчёты, которые содержат основную биографическую информацию: имя, дату рождения, текущий адрес и номер телефона. Квалифицированные и уполномоченные третьи лица могут получать отчёты о проверке биографических данных сотрудников, включая подробную информацию, такую как прежние адреса и длительность проживания, профессиональные лицензии, наличие судимости. Помимо проверки биографии сотрудников, эти данные используются для принятия решений о страховом покрытии, ценообразовании и поддержании правопорядка. Представители движения за неприкосновенность частной жизни отмечают, что агрегаторы баз данных могут предоставлять ошибочную информацию^[4].

Потенциал Интернета по консолидации и манипуляции информацией нашёл широкое применение в агрегировании данных, также известном как скрин-скрейпинг (англ. screen scraping), то есть извлечение и передача данных с экранов. Интернет позволяет пользователям консолидировать свои имена пользователей и пароли или PIN-коды. Такая консолидация даёт потребителю доступ ко множеству веб-сайтов, защищённых PIN-кодом и содержащих личные сведения, на основе одного основного PIN-кода через один веб-сайт. К провайдерам онлайн-аккаунтов относятся финансовые учреждения, биржевые маклеры, авиакомпании и программы бонусов часто летающих пассажиров, а также веб-почта. Агрегаторы данных могут собирать сведения об учётных записях или другую информацию с определённых сайтов, используя PIN-коды владельцев учётных записей, а затем по запросу пользователя предоставлять информацию об аккаунтах на одном веб-ресурсе, управляемом агрегатором. Услуги агрегирования могут предлагаться отдельно или в комплексе с другими финансовыми сервисами, такими как отслеживание инвестиционного портфеля и оплата счетов. Сервисы предоставляются на отдельном веб-сайте или в виде дополнительных возможностей для расширения онлайнового присутствия уже существующего бизнеса. Многие авторитетные компании с развитым присутствием в Интернете ценят предоставление услуг агрегирования как способ повышения качества прочих сетевых сервисов и привлечения большей аудитории. Для самого сайта привлечение службы агрегирования может быть выгодно за счёт дополнительного притока пользователей.

В сфере сбора информации о местоположении и данных локальных предприятий выделяется несколько крупных агрегаторов, собирающих такие сведения, как название организации, адрес, телефон, веб-сайт, описание и режим работы. Далее эти данные подвергаются проверке с использованием различных методов валидации. После верификации агрегаторы делают информацию доступной для таких издателей, как Google и Yelp.

Когда, например, Yelp обновляет свои списки, данные поступают именно от таких локальных агрегаторов. Издатели сопоставляют сведения о локальном бизнесе из разных источников с данными собственной базы и вносят изменения на основании наиболее точной информации.

Acxiom, Infogroup, Localeze и Factual являлись четырьмя основными агрегаторами данных для поиска локальных предприятий^[5]. С января 2020 года Acxiom больше не выполняет эти функции, а её место среди ключевых агрегаторов заняла Foursquare^[6]. В то же время Finicity (Mastercard) считается крупнейшим игроком рынка кредитных услуг^[7].

Финансовые учреждения выражают опасения относительно возможной ответственности, связанной с деятельностью по агрегированию данных, возможными проблемами безопасности, нарушением прав интеллектуальной собственности и снижением посещаемости собственных веб-сайтов. Агрегатор и финансовое учреждение могут заключить соглашение о механизме передачи данных, предусматривающем передачу информации по запросу клиента с использованием стандарта Open Financial Exchange (англ. OFX) для извлечения и доставки данных на платформу, через которую клиент осуществляет доступ к учётной записи. Такие соглашения позволяют обеим сторонам защищать интересы клиентов и предоставлять надёжные сервисы. Агрегаторы, договорившиеся с поставщиками о получении данных без использования стандарта OFX, достигают более низкого уровня формализованных отношений; в таком случае может применяться скрин-скрейпинг — однако агрегатор, исходя из бизнес- или иных соображений, может получить предварительное согласие пользователя и согласовать условия раскрытия информации. Преимущество скрин-скрейпинга без согласия провайдера в том, что это позволяет подписчикам централизованно просматривать практически любые свои аккаунты на одном веб-ресурсе.

Со временем массовый перенос данных учётных записей от провайдера к серверу агрегатора может привести к формированию всеобъемлющего профиля пользователя, включающего подробную историю банковских операций, платежей с кредитной картой, счетов, операций с ценными бумагами и портфелей, записей о путешествиях и предпочтениях. Вместе с ростом чувствительности к вопросам защиты личных данных ожидается повышенное внимание к тому, в какой степени агрегаторы вправе использовать подобную информацию для собственных целей либо передавать её третьим лицам и администраторам сайтов-агрегаторов^[8].