Яндекс (поисковая система)

Поиск Яндекса позволяет искать документы на русском, татарском, украинском, белорусском, казахском, турецком, английском, немецком и французском языках с учётом морфологии этих языков^[13][14].

Помимо традиционных веб-страниц в формате HTML, Яндекс индексирует документы в форматах PDF (Adobe Acrobat), Rich Text Format (RTF), двоичных форматах Word (.doc), Excel (.xls), PowerPoint (.ppt), RSS (блоги и форумы).

По умолчанию Яндекс выводит до 10 ссылок на каждой странице выдачи результатов, в настройках результатов поиска^[15] можно увеличить размер страницы до 20, 30 или 50 найденных документов. Иногда порядок сайтов на этих страницах может отличаться, так как обновление баз для этих результатов происходит не одновременно. Стоит учитывать и рекламу Рекламной Сети Яндекса в поисковой выдаче. Порой такая реклама содержит более семи объявлений, ведущих на разные сайты. Сами объявления располагаются над результатами поисковой выдачи, под ними и сбоку.

Если по запросу найдено очень много ссылок, страница результатов предлагает ограничить диапазон поиска — по региону (то есть по диапазону IP) или по дате. В 2012 году появилась ещё одна возможность — подсказки по цели запроса (интентный поиск)^[16]. Кроме того, если по какому-либо слову или словам ничего не найдено, предлагается заменить его/их на похожие (поскольку предлагаемые варианты зависят от частоты нахождения похожих слов, иногда возникают забавные ситуации^[17]). Также предлагается исправить слова, набранные не в той раскладке клавиатуры.

Интернет-компания Яндекс с 15 ноября 2018 года начала удалять ссылки на спорный контент из поисковой выдачи в рамках исполнения требований так называемого антипиратского меморандума, подписанного интернет-компаниями и правообладателями 1 ноября 2018 года. Ссылки исчезают из поисковой выдачи в течение шести часов после попадания в реестр. Компания также призывает остальных игроков индустрии поддержать эту инициативу^[18].

В 2019 году работа в рамках меморандума продолжилась. В марте «Яндекс» запустил специального робота на основе машинного обучения для автоматического поиска страниц с контентом, похожим на уже внесённый в реестр^[19]. К середине марта, по данным компании, было удалено более 100 тысяч ссылок^[19], однако новый инструмент вызвал критику со стороны Ассоциации «Интернет-видео», которая заявила о некорректной работе робота и большом количестве нерелевантных ссылок^[20].

Действие меморандума было продлено в январе 2020 года^[21]. К началу июня 2020 года общее число удалённых ссылок с момента запуска механизма достигло 4,2 миллиона^[22], а к январю 2021 года — 11,7 миллионов^[21].

В 2021 году темпы удаления ссылок значительно выросли: к марту их число превысило 15 миллионов (причём 6 миллионов из них были удалены за первые три месяца года)^[23][24], а к июню — 24,3 миллиона^[25]. В декабре 2021 года «Яндекс» ужесточил политику для партнёров сервиса «Яндекс. Видео», обязав их подписывать соглашения об ответственности за легальность контента^[26]. Также в течение года велись обсуждения по ужесточению меморандума с целью удаления из выдачи целых сайтов-рецидивистов^[27].

В апреле 2021 года ФАС возбудила в отношении «Яндекса» дело по статье о злоупотреблении доминирующим положением, так как в поисковой выдаче компания отдавала предпочтение своим сервисам. Заявителями выступили российские интернет-компании, включая «Авито», «Циан» и «2ГИС». 19 января 2022 года «Яндекс» и ФАС объявили о мировом соглашении, в рамках которого «Яндекс» выплатит 1,5 миллиарда рублей Российскому фонду развития информационных технологий (РФРИТ), деньги используют «на продвижение российских программных ИТ-продуктов в сети Интернет». Деятельность РФРИТ, который входит в группу ВЭБ.РФ, курирует Министерство цифрового развития, связи и массовых коммуникаций^[28].

Время от времени алгоритмы Яндекса, отвечающие за релевантность выдачи, меняются, что приводит к изменениям в результатах поисковых запросов. Такие изменения, официально объявленные, происходили, например, в марте 2004 года, августе 2005 года^[29] и январе 2007 года^[30]. Крупные обновления поисковой программы и технологий ранжирования получали собственные названия: «Снежинск» (2009)^[31], «Спектр» (2010), учитывающая неявно выраженные потребности пользователей^[32], «Калининград» (2012) для персонального поиска^[16], и «Дублин» (2013), который стал учитывать краткосрочные интересы пользователя в рамках текущей поисковой сессии.

В 2016 году были запущены алгоритм «Владивосток», отдававший предпочтение сайтам, адаптированным для мобильных устройств^[33], и «Палех» на основе нейронных сетей для улучшения качества поиска по редким запросам. В 2019 году обновление «Вега» привлекло асессоров-экспертов для оценки качества выдачи в узкопрофессиональных тематиках^[34]. В 2020 году был внедрён алгоритм YATI (Yet Another Transformer with Improvements) на основе трансформеров, который сместил фокус с точного вхождения ключевых слов на смысловую релевантность текста^[35][36]. В 2022 году вышло обновление Y2, представившее метрики «Проксима» (оценка общего качества сайта и лояльности пользователей) и «Профицит» (оценка того, насколько успешно сайт решает задачу пользователя)^[37].

Сайты, которые «Яндекс» не индексирует или ограничивает в ранжировании^[38]:

1. Копирующие или переписывающие информацию с других ресурсов и не создающие оригинального контента.
2. Единственной целью которых является перенаправление пользователя на другой ресурс, автоматически (редирект) или добровольно.
3. С автоматически сгенерированным (бессмысленным) текстом.
4. С каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакой уникальной услуги.
5. С невидимым или слабовидимым текстом или ссылками.
6. Отдающие разный контент пользователям и роботам поисковых систем (клоакинг).
7. Предоставляющие товары или информацию по партнёрским программам, но не представляющие никакой ценности для пользователя.
8. Использующие обманные техники (например, вредоносный код, скрипты, настройки серверов), перенаправляющие пользователей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.
9. Содержащие списки поисковых запросов (многократное повторение и перечисление ключевых слов), предназначенные исключительно для обмана поисковой системы и манипулирования результатами её работы, в том числе использование элементов страниц, скрывающих ключевые слова, например, посредством скроллинга или других технических приёмов.
10. Группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика.
11. Немодерируемые форумы, доски объявлений, содержащие большое количество ссылочного спама.
12. Ставящие внешние ссылки исключительно для обмана поисковых систем и «накачивания» релевантности и не являющиеся рекомендацией автора посетить ресурс.
13. Сайты или группы сайтов, интенсивно ссылающиеся друг на друга (линкфармы).
14. Страницы сайта с результатами поиска.

На качество поиска также влияют фильтры, направленные на борьбу с некачественными сайтами. Помимо исторического фильтра АГС, в августе 2022 года был внедрён алгоритм «Мимикрия» для борьбы с сайтами, копирующими известные ресурсы с целью фишинга или паразитирования на брендовом трафике^[37][39]. В августе 2023 года было выпущено обновление, направленное на пессимизацию сайтов с неоригинальным, заимствованным контентом и низкокачественным рерайтом^[40]. В апреле 2025 года был запущен фильтр «Тайфун», ужесточивший борьбу с автоматически сгенерированными текстами низкого качества, которые не несут пользы для пользователя^[41][42].

К 2025 году ключевыми факторами, влияющими на качество сайта с точки зрения Яндекса, стали экспертность, авторитетность и достоверность контента (концепция E-A-T), особенно в тематиках, связанных с финансами и здоровьем^[43]. Большое значение придаётся поведенческим факторам: как долго пользователь находится на сайте, как глубоко его просматривает и возвращается ли он снова в поиск для решения своей задачи^[44]. Также важны технические аспекты: скорость загрузки (включая метрики Core Web Vitals), адаптация для мобильных устройств (индексация по принципу mobile-first) и безопасность (наличие HTTPS)^[45][46].

Поисковая машина представляет собой сложную, многокомпонентную систему собственной разработки и состоит из трёх основных компонентов^[47]:

• Агент — это поисковый робот. Он обходит сеть, скачивает и анализирует документы. В случае обнаружения новой ссылки при анализе сайта она попадает в список веб-адресов робота. Поисковые роботы бывают следующих типов: пауки (англ. Spider) — загружают сайты подобно браузерам пользователя; «путешествующие» пауки (англ. Crawler) — обнаруживают новые, ещё неизвестные ссылки на основе анализа уже известных документов; индексаторы — занимаются анализом обнаруженных веб-страниц и добавляют данные в индекс. Множество выкачанных документов разбивается на непересекающиеся части и очищается от разметки.
• Индекс — база данных, собранная роботами-индексаторами поисковых машин. По индексу и осуществляется поиск документов.
• Поисковый механизм.

Поисковый запрос от пользователя после анализа загруженности поисковой системы отправляется на наименее загруженный сервер. Для обеспечения такой возможности серверы «Яндекса» объединены в кластеры и даже кластеры кластеров. Затем пользовательский запрос обрабатывается программой под названием «Метапоиск». Метапоиск осуществляет анализ запроса в реальном времени: определяет географическое положение пользователя, проводит лингвистический анализ и т. д. Также программа определяет, относится ли запрос к категории наиболее популярных или недавно заданных. Выдача на такие запросы некоторое время хранится в памяти (кэше) метапоиска, и в случае совпадения показываются заранее сохранённые результаты. Если запрос является редким и совпадений в кэше не найдено, система перенаправляет его на программу «Базового поиска». Тот анализирует индекс системы, также разбитый по разным дублирующимся серверам (это ускоряет процедуру). Затем полученная информация снова попадает на метапоиск, данные ранжируются и показываются пользователю в готовом виде.

Архитектура поисковой машины постоянно эволюционирует. В последние годы её ключевой частью стали технологии искусственного интеллекта и нейросети^[48]. В частности, в движок была интегрирована генеративная нейросеть YandexGPT, что позволило запустить 3 октября 2024 года «Поиск с Нейро» для формирования комплексных ответов^[49]. В мае 2025 года эта функциональность была расширена с более глубокой интеграцией ИИ-помощника Алисы, который получил возможность генерировать развёрнутые структурированные ответы в формате статьи^[50].

Поисковая система «Яндекс» представляет собой комплекс программ, написанных на нескольких языках программирования. Ядро поисковой системы написано на C++, что обеспечивает высокую производительность при обработке больших объёмов данных. Для быстрого создания прототипов используется Python, а для разработки различных сервисов и приложений — Java. Пользовательские веб-интерфейсы создаются с помощью JavaScript.

Серверная инфраструктура «Яндекса» работает на значительно модифицированной версии операционной системы Linux. Хотя на заре своего развития (в 1998 году) поисковик использовал FreeBSD, впоследствии компания полностью перешла на Linux для обеспечения необходимой масштабируемости и производительности^[51].

Аппаратная платформа поисковой системы основана на серверах собственной разработки «Яндекса». С 2021 года компания производит их в рамках совместного предприятия под брендом Openyard. В серверах используются процессоры AMD EPYC и Intel Ice Lake. Одной из ключевых особенностей оборудования является его энергоэффективность: серверы спроектированы для работы при повышенных температурах (до +40 °С), что позволяет сократить затраты на охлаждение в дата-центрах.

В целом «Яндекс» индексирует следующие типы файлов^[52]: html, pdf, rtf, doc, xls, ppt, docx, odt, odp, ods, odg, xlsx, pptx.

Поисковая система способна также индексировать текст внутри объектов Shockwave Flash (если текст не помещён на само изображение), если эти элементы передаются отдельной страницей, имеющей MIME-тип application/x-shockwave-flash, и файлы с расширением .swf^[53].

В «Яндексе» работают 2 сканирующих робота — «основной» и «быстрый». Первый отвечает за интернет в целом, второй индексирует сайты с часто меняющейся и обновляемой информацией (новостные сайты и информационные агентства). В 2010 году «быстрый» робот получил новую технологию под названием «Orange», разработанную совместно калифорнийским и московским подразделениями «Яндекса»^[53].

В логах сервера роботы «Яндекса» представляются следующим образом^[53][54]:

• Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
• Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов. Если найдутся несколько сайтов с одинаковым содержимым, в результатах поиска будет показан только один.
• Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор «Яндекс. Картинок».
• Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор «Яндекс. Видео».
• Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
• Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
• Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении её через форму «Добавить URL».
• Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий иконки сайтов (favicons).
• Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в «Рекламной сети „Яндекса“» (РСЯ).
• Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка»^{[прояснить]} «Яндекс. Директа».
• Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот «Яндекс. Метрики».
• Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» «Яндекс. Каталога».
• Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор «Яндекс. Новостей».
• Mozilla/5.0 (compatible; YandexAntivirus/2.0) — антивирусный робот «Яндекса».

С 2009 года «Яндекс» поддерживает технологию Sitemaps^[53].

Интерфейс «Яндекса» располагает довольно сложным языком запросов, позволяющим ограничить область поиска отдельными доменами, языками, типами файлов и т. д.

Для настройки используются следующие символы-джокеры^[55]:

• "" — точная цитата
• | — ставится между словами, если нужно найти одно из них
• * — ставится между словами, если между ними пропущено какое-то слово
• site: — поиск на определённом сайте
• date: — поиск документов по дате, например, date:2007
• + — ставится перед словом, которое обязательно должно присутствовать в документе
• - — ставится перед словом, которое не должно присутствовать в поисковой выдаче.
• и др.

«Яндекс» автоматически, наряду с оригинальной «точной формой» запроса, ищет его различные вариации и формулировки^[56].

Поиск «Яндекса» учитывает морфологию русского языка, поэтому вне зависимости от формы слова в поисковом запросе выдача будет производиться по всем словоформам. Если морфологический анализ нежелателен, можно перед словом поставить восклицательный знак (!) — поиск в этом случае покажет только конкретную форму слова. Кроме того, при поисковом запросе практически не учитываются так называемые стоп-слова, то есть предлоги, знаки препинания, местоимения и т. д., ввиду их большого распространения.

Как правило, автоматически раскрываются аббревиатуры, действует транслитерация (например, «Рено — Renault»), исправляется орфография. Также производится поиск по синонимам (мобильный — сотовый) и различным словоформам (Воронеж — воронежский). Расширение или нет исходного пользовательского запроса зависит от контекста. Расширение не происходит при наборе узкоспециальных терминов (к запросу «монтёрская кошка» не будет добавлено слово «кошачий»), имён собственных, названий компаний (к примеру, ОАО «Бегемот» — ОАО «Гиппопотам»), при добавлении слова «цена», в точных цитатах (это запросы, выделяемые машинописными кавычками)^[56].

«Яндекс» использует комплексную систему для защиты пользователей от вредоносных сайтов, фишинга и спама. Технологии безопасности интегрированы как в поисковую выдачу, где рядом с опасными сайтами появляется специальная пометка, так и в другие продукты компании, в первую очередь в «Яндекс Браузер». Защита основана на сочетании сигнатурного анализа (сравнение с базой данных известных угроз) и поведенческого анализа, который отслеживает подозрительные действия сайтов.

По данным на 2024 год, технологии защиты в «Яндекс Браузере» ежедневно предупреждают пользователей примерно о двух миллионах угроз^[57]. За второе полугодие 2024 года было заблокировано более 350 миллионов попыток перехода на опасные ресурсы^[57]. Наиболее распространённой угрозой является фишинг: ежемесячно с предупреждением о нём сталкивается в среднем 7,6 % пользователей браузера^[58].

Защита распространяется и на другие сервисы экосистемы. В 2024 году система безопасности «Яндекс Почты» заблокировала 21,1 млрд нежелательных и вредоносных писем, из которых 1,2 млрд содержали вредоносные вложения^[59]. Кроме того, автоматический определитель номера в приложении «Яндекс с Алисой» защитил пользователей от 800 млн спам-звонков^[60].

Компания также развивает программу «Охота за ошибками» (англ. Bug Bounty), в рамках которой сотрудничает с независимыми исследователями безопасности («белыми хакерами»). В 2024 году «Яндекс» выплатил им 50,8 млн рублей за обнаружение уязвимостей. В программе приняли участие 749 специалистов, предоставивших 980 отчётов об ошибках, соответствующих правилам программы^[61].

Поисковая выдача для каждого пользователя формируется индивидуально на основе его местоположения, языковых запросов, интересов и предпочтений по результатам предыдущих и текущей поисковой сессии. Тем не менее, ключевым фактором при ранжировании поисковых результатов является их релевантность, соответствие поисковому запросу. Релевантность определяется на основе формулы ранжирования, которая постоянно обновляется на основе алгоритмов машинного обучения.

Долгое время ключевым фактором ранжирования у «Яндекса» было количество сторонних ссылок на конкретный сайт. Каждой странице в Интернете присваивался своеобразный индекс цитирования, аналогичный индексу для авторов научных статей: чем больше ссылок, тем лучше. Подобный механизм работал как в тИЦ «Яндекса», так и в PageRank поисковой системы Google. Тем не менее, в настоящий момент в целях предотвращения «накрутки» «Яндекс» применяет многофакторный анализ, из восьмисот факторов ранжирования которого на ссылочные приходится лишь 70. Сегодня гораздо бо́льшую роль играет содержание сайта и наличие-отсутствие там ключевых слов, удобство чтения текста, название домена и его история, наличие мультимедийного контента. 5 декабря 2013 года «Яндекс» объявил о полном отказе от учёта ссылочного фактора в будущем^[62].

Поиск производится на русском, английском, французском, немецком, украинском, белорусском, татарском, казахском языках.

Результаты поиска можно отсортировать по релевантности и по дате (кнопки снизу поисковой выдачи).

Страница с результатами поиска состоит из 10 ссылок с короткими аннотациями — «сниппетами». Последний включают в себя текстовый комментарий, ссылку, адрес, популярные разделы сайта, страницы в соцсетях и пр^[63]. В июле 2013 года «Яндекс» представил новую поисковую платформу «Острова», которая стала значительным шагом в сторону интерактивного и интентного поиска^[64]. Концепция представляла собой интерактивные блоки в поисковой выдаче, позволявшие пользователям выполнять действия (например, записаться на приём или забронировать столик) непосредственно на странице с результатами, не переходя на сайт^[64].

В «Яндексе» реализован механизм «параллельных поисков», когда вместе поиском по вебу производится поиск по сервисам «Яндекса», таким, как Каталог, Новости, Маркет, Энциклопедии, Картинки и др. В результате в ответ на запрос пользователя система выдаёт не только текстовую информацию, но и ссылки на видеофайлы, картинки, словарные статьи и пр^[65]..

Отличительной особенностью поисковика являются также технологии «интентного поиска» (от англ. intent — намерение, желание), то есть поиска, нацеленного на решение задачи. Среди элементов такого поиска — наличие диалоговых подсказок при неоднозначном запросе, автоматический перевод текста, показ информации о характеристиках автомобиля и т. д. Для примера, при запросе «Борис Гребенщиков — Город золотой» система покажет форму для онлайн-прослушивания музыки из сервиса «Яндекс Музыка», при запросе «ул. Королёва,12» будет показан фрагмент карты с отмеченным на ней объектом.

Информационные блоки между строкой запроса и результатами называются «колдунщиками». Полный их список:

По мере набора пользователем запроса в строке поиска поисковая машина предлагает подсказки в виде ниспадающего списка. Подсказки появляются ещё до перехода на страницу результатов поиска и позволяют уточнить запрос, исправить раскладку или опечатку или перейти сразу на искомый сайт. Для каждого пользователя подсказки формируются в том числе на истории его поисковых запросов (сервис «Мои находки»). В 2011 году подсказки в поиске «Яндекса» стали полностью локальными для 83 регионов России. В 2012 году появились так называемые «Умные поисковые подсказки», которые моментально выдают информацию об основных константах (длина экватора, скорость света и так далее), пробках на дорогах, и имеют встроенный калькулятор. Кроме того, в «подсказки» встроен переводчик (запрос «любовь по-французски» моментально выдаёт amour, affection), расписание и результаты футбольных матчей, курсы валют, прогноз погоды и другое. Можно узнать точное время запросом «который час». В 2013 году в рамках развития интентного поиска была добавлена функция «Ответы в подсказках», которая начала показывать в выпадающем списке готовые ответы на фактические вопросы (например, высота горы или курс валюты) ещё до завершения ввода запроса^[66].

Помимо собственно поиска, подсказки встроены в собственные поисковики «Яндекс. Словарей», «Яндекс. Маркета», «Яндекс. Карт» и других сервисов «Яндекса».

Функция является развитием технологии интентного поиска и впервые появился на «Яндекс.Баре» в августе 2007 года, а в октябре 2008 был внедрён на главной странице поисковика^[67]. Доступен как в настольной, так и в мобильной версии сайта. «Яндекс» показывает своим пользователям более миллиарда поисковых подсказок в день^[68].

Поисковая система «Яндекс» использует несколько типов пользовательского интерфейса, адаптированных для различных устройств и сценариев использования: графический, голосовой и текстовый (командный).

Графический пользовательский интерфейс (англ. Graphical User Interface, GUI) является основным способом взаимодействия с поиском на компьютерах и мобильных устройствах. Он включает в себя строку поиска, поисковые подсказки, страницу с результатами поиска (SERP), меню для перехода к специализированным сервисам («вертикалям», таким как Картинки, Видео, Новости) и инструменты для фильтрации результатов^[69][70].

Голосовой пользовательский интерфейс (англ. Voice User Interface, VUI) представлен в первую очередь голосовым помощником Алисой. Пользователи могут задавать поисковые запросы голосом и получать озвученные ответы, что особенно актуально на смартфонах, умных колонках и в автомобильных системах^[71][72].

Текстовый (командный) интерфейс (англ. Command-line interface, CLI) реализуется через язык поисковых запросов, который позволяет опытным пользователям уточнять поиск с помощью специальных операторов. Например, оператор "" используется для поиска точной цитаты, site: — для поиска на конкретном сайте, а - — для исключения слова из результатов поиска^[73][74][75].

«Яндекс» предлагает ещё несколько видов поиска:

• Дзен-Поиск — «медитативный поиск» «Яндекса». На данный момент закрыт, а по ссылке dzen.yandex.ru идёт перенаправление на «Дзен»
• Расширенный поиск — позволяет ограничивать поисковую выдачу географией, языком, отдельным сайтом, расширением документов, последним обновлением, количеством результатов на странице.
• Семейный поиск — поиск безопасного для детей содержимого.
• Поиск для слабовидящих

Летом 2017 года в рамках совместного проекта Банка России и компании Яндекс в поисковой выдаче системы Яндекс появился специальный «маркер» (зелёный кружок с галочкой и надписью «Реестр ЦБ РФ»), информирующий потребителя о том, что на промаркированном сайте предлагаются финансовые услуги компании, которая имеет статус микрофинансовой организации^[76].^[77][78]

Логотип «Яндекса» может менять свой дизайн в честь некоторых памятных дат, к примеру, 75-летию Владимира Высоцкого был посвящён музыкальный логотип^[79].

Историю поиска «Яндекса» можно условно разделить на три этапа. До 2005 года поисковые технологии «Яндекса» были эффективными, но достаточно простыми: можно было создать сайт, состоящий из сотен страниц, на которых нет ничего, кроме ключевых слов, и «Яндекс» такой сайт нормально ранжировал. Начиная примерно с 2005 года в Рунете активизировался поисковый спам, и вскоре стало очевидно, что он является реальной угрозой бизнесу компании, могущей за короткий срок свести популярность поискового сервиса на нет. Это привело к тому, что в «Яндексе» всерьёз задумались об улучшении технологий поиска, вложили в это направление много ресурсов. Наконец, с осени 2007 года «Яндекс» уделяет много внимания качеству поиска и проводит научные разработки в области поисковых технологий.

Изменения в поисковой машине долгое время широко не афишировались и оставались безымянными. И лишь с начала 2008 года, когда было объявлено о запуске алгоритма 8 SP1, «Яндекс» заявил о том, что впредь новые алгоритмы ранжирования будут носить названия городов^[80].

Разработка поисковой системы началась в 1993 году в рамках компании CompTek, основанной Аркадием Воложем в 1989 году. Её создатели, Аркадий Волож и Илья Сегалович, были знакомы со школьных лет. Официально поисковая система yandex.ru была анонсирована 23 сентября 1997 года^[81] на выставке Softool.

Название системы — «Яндекс», «Яndex», — придумали вместе Аркадий Волож и Илья Сегалович^[82]. Слово является сокращением от фразы yet another indexer («ещё один индексатор»), но также его расшифровывали как «Языковой Индекс»^[83]. По предложению Воложа первые две английские буквы «Ya» в названии «Yandex» заменили на русскую букву «Я», чтобы подчеркнуть российское происхождение технологии. После выхода «Яндекса» в Интернет пользователи предложили свой вариант: «Иньдекс» — это же женское что-то такое, а «Яньдекс» — это такое сильное, муж­ское, то есть тот же индекс, но с мужским началом^[83]!^[82].

Первый индекс содержал информацию по 5 тыс. серверов и занимал 4,5 ГБ^[84].

В том же 1997 году поиск «Яндекса» стал использоваться в русскоязычной версии Internet Explorer 4.0^[85]. Стало возможным задавать запрос на естественном языке^[86].

В 1998 году появилась функция «найти похожие документы» для каждого результата поиска^[87].

«Яндекс. Поиск» по состоянию на 1998 год работал на трёх машинах, работавших на FreeBSD под Apache: одна машина обходила Интернет и индексировала документы, одна машина поисковая и одна машина дублировала поисковую машину^[88].

В 1999 году появился поиск в категориях — поиск, сочетание поисковой системы и каталога^[89]. Обновлена версия поисковой машины^[90].

6 июня 2000 года была представлена вторая версия поисковика^[91].

Был внедрён механизм параллельного поиска, когда наряду с выдачей из веба предлагается информация из крупных источников. Пользователи получили возможность ограничить поисковую выдачу выбранной темой. Появилась рубрика «Популярные находки» — слова, уточняющие поиск^[92].

К декабрю 2000 года объём проиндексированной информации достиг 355,22 Гб^[93].

2001 год стал для «Яндекса» значимым, поскольку тогда он обогнал другой российский поисковик, «Рамблер», по посещаемости и с тех пор является ведущей поисковой системой Рунета^[94]. «Яндекс» стал понимать запросы на естественном языке, заданные в вопросительной форме. Система научилась распознавать опечатки и предлагать исправлять их. Изменился дизайн^[95].

Количество ежедневных запросов к поисковой машине «Яндекс» превысило 2 млн^[96].

Запущена индексация документов .rtf и .pdf^[97]

Результаты поиска стали выдаваться в том числе и в формате XML^[98].

Изменился алгоритм ранжирования^[99].

Стартовала индексация документов в формате .swf («флэш»)^[100], .xls и .ppt^[101].

В конце года было выложено в открытый доступ исследование «Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс» (авторы Илья Сегалович, Михаил Маслов), раскрывшее отдельные детали ранжирования в поисковике^[102].

Летом был запущен так называемый «быстрый» поисковый робот, работающий параллельно с основным и предназначенных для индексации актуальных страниц. База «быстрого робота» обновляется каждые 1,5—2 часа^[103].

Был усовершенствован алгоритм ранжирования для увеличения точности поиска^[104].

Возможности поиска были расширены с помощью сервисов «Яндекс. Словари» и «Яндекс. Lingvo». Поисковик научился понимать запросы типа «как [что-то] по-испански» и автоматически переводить их.

Стало возможным ограничить поисковую выдачу по региону^[105].

С мая 2006 в результатах поиска стали отображаться пиктограммы сайтов^[106].

В начале декабря рядом с каждой ссылкой в выдаче появился пункт «Сохранённая копия», кликнув по которой, пользователь переходит на полную копию страницы в отдельной архивной базе («Яндекс-кэш»)^[107].

Появилась геоклассификация сайтов^[108].

Был изменён алгоритм ранжирования^[109].

В 2008 году компания «Яндекс» впервые стала открыто объявлять об изменениях в поисковом алгоритме и давать им имена:

Название «города» каждого следующего алгоритма начинается на ту букву, на которую оканчивалось название предыдущего^[111].

В сентябре 2017 года «Яндекс» отметил свой 20 день рождения.

По данным американской компании Cloudflare, которая специализируется на развитии сетевой инфраструктуры, в 2024 году «Яндекс» стал вторым поисковиком по популярности в мире^[112].

Состояние, когда местные поисковые компании не уступают американским брендам, является в мире почти уникальным, если не учитывать опыт Китая, где Google в 2010 году был заблокирован, взламываются почтовые ящики правозащитников, а местные провайдеры часто перенаправляют адрес www.google.cn на сайт Baidu^[113]. Россия является единственной страной в мире, за исключением США, которой удалось без протекционистских мер создать более одной успешной поисковой технологии с заметной долей рынка (см. также «Рамблер»)^[114].

По словам медиа-эксперта Михаила Гуревича, «Яндекс» — «национальное достояние», «стратегический продукт»^[115].

Данный факт осознали и в Государственной Думе Российской Федерации, где в мае 2012 года появился законопроект, в котором «Яндекс» и «ВКонтакте» признаются стратегическими предприятиями как общенациональные трансляторы информации^[116]. Ещё в 2009 году Президент России Дмитрий Медведев инициировал покупку «Сбербанком» «золотой акции» «Яндекса» с целью избежать попадания предприятия общегосударственной важности в руки иностранцев^[117].

В 2012 году «Яндекс» обогнал «Первый канал» по численности ежедневной аудитории, что сделало российский интернет-гигант лидером отечественного медиарынка^[116]. В 2013 году «Яндекс» подтвердил этот статус, обогнав «Первый» по выручке^[118].

В 2008 году «Яндекс» был девятым поисковиком в мире^[119], в 2009 — седьмым^[120], в 2013 — четвёртым^[121]. К 2025 году «Яндекс» занял третье место в мировом рейтинге поисковых систем после Google и Bing с долей рынка, по разным оценкам, от 2,19 % до 2,53 %^[122][123]. По данным компании Cloudflare, в конце 2024 года «Яндекс» кратковременно выходил на второе место по объёму трафика^[124].

Одной из составляющих такого положения служит наличие в России достаточного количества математически подкованных специалистов, обладающих научным чутьём^[125][126]. Имеет значение языково-культурный барьер.

К 2002 году слово «Яndex» стало настолько общеупотребительным, что, когда компания Аркадия Воложа потребовала вернуть ей домен yandex.com, выкупленный третьими лицами, ответчик заявил, что слово «Яндекс» является уже синонимом справочника и стало нарицательным^[128].

С осени 2012 года поисковая система «Яндекс» обогнала по числу пользователей Google на браузере Google Chrome в России^[129].^[130][131].

• Помимо веб-поиска, компания «Яндекс» ищет по картинкам, блогам, видео, картам, новостям, персоналиям, товарам и прочему.
• В течение некоторого времени «Яндекс» предлагал программу «Персональный поиск» для локального поиска на ПК пользователя.