The Pile (датасет)

Для обучения больших языковых моделей требуются огромные объёмы данных, и до появления The Pile основным источником служил Common Crawl.^[3]. Однако показано, что БЯМ, обученные на более разнообразных данных, эффективнее применяются для решения широкого круга задач^[4]. Инициатива по созданию The Pile была вызвана необходимостью создать набор, достаточно крупный и одновременно состоящий из разнообразных источников и стилей письма^[1][5]. По сравнению с другими наборами данных (на 2022 год), главное отличие The Pile — его состав определяли исследователи EleutherAI, чтобы включить данные, которые, по их мнению, должны изучать языковые модели; кроме того, он был детально задокументирован командой разработчиков.

Машинные алгоритмы обучения не полностью используют обучающие данные за один проход, поэтому обычно обучение проводится в несколько эпох (epoch), то есть модель многократно обрабатывает одну и ту же совокупность данных^[6]. Чтобы учесть различия в качестве данных между 22 входящими поднаборами The Pile, каждому из них было назначено индивидуальное количество эпох, что влияет на относительную частоту отбора примеров из каждого поднабора^[1] В таблице приведён относительный размер каждого из 22 поднаборов до и после умножения на количество эпох. Размеры приведены в гигабайтах; новым наборам поставлен символ звёздочки.

EleutherAI подбирала поднаборы с целью широкого тематического и стилевого охвата, включая научные тексты, с которыми языковые модели на других корпусах обычно справлялись хуже^[1]

Все данные The Pile были взяты из открытых общедоступных источников. Далее набор фильтровался для удаления дубликатов, а отдельные поднаборы проходили дополнительные проверки качества. Например, Pile-CC — модифицированный Common Crawl, в котором из текста убраны неинформативные элементы вроде HTML-разметки и ссылок.^[1]

Ряд потенциальных источников был отклонён по разным причинам; например, Конгресс-рекорд США не был включён из-за наличия расистских материалов.^[1]

Среди уже включённых поднаборов фильтрация отдельных документов на предмет неанглийского, предвзятого или ненормативного содержания, как и по признаку согласия на обработку, не проводилась. Поэтому, например, Pile-CC обладает теми же этическими вопросами, что и Common Crawl. При этом создатели The Pile документировали уровень предвзятости (по полу, религии и расе), ненормативной лексики и присутствия согласия для каждого поднабора, что позволяет исследователям с особыми этическими требованиями использовать только отвечающие их критериям части корпуса.^[1]

Первоначально The Pile был собран для обучения моделей GPT-Neo от EleutherAI^[7].^[8][9], но впоследствии получил широкое распространение для обучения других моделей, включая Megatron-Turing Natural Language Generation от Microsoft^[10][11], а также Open Pre-trained Transformers и LLaMA от Meta AI^[12][13], Galactica^[14], BioMedLM 2.7B от Стенфордского университета^[15], Chinese-Transformer-XL от Пекинская академия искусственного интеллекта^[16], YaLM 100B от Яндекс^[17] и OpenELM от Apple^[18].

Помимо тренировочного применения, The Pile используется как бенчмарк для тестирования языковых моделей и оценки их качества на различных стилях текста^[2][19].^[20]

Компонент Books3 внутри набора содержит материалы, защищённые авторским правом, собранные с пиратского сайта Bibliotik^[21]. В июле 2023 года организация Rights Alliance добилась удаления копий The Pile по уведомлениям DMCA^[22]. В ответ появились модифицированные копии The Pile с удалённым нарушающим авторское право компонентом^[23].