Яндекс (поисковая система)

Эта статья — о поисковой системе. Об одноимённой компании см. Яндекс.

Яндекс.Поиск
Тип	поисковая система
Разработчики	«Яндекс»
Языки интерфейса	многоязычный
Первый выпуск	1997
Последняя версия	«Y1» (10 июня 2021 года)
Состояние	Работает
Сайт	yandex.com
Медиафайлы на РУВИКИ.Медиа

«Я́ндекс» — поисковая система, принадлежащая российской корпорации «Яндекс», основной продукт компании.

Доля «Яндекс.Поиска» составляет 56 % на рынке Рунета (июль 2019 года) и 7 % на рынке Турции (по данным на октябрь 2015 года).

Общие сведения

Поиск Яндекса позволяет искать документы на русском, татарском, украинском, белорусском, казахском, турецком, английском, немецком и французском языках с учётом морфологии этих языков и близости слов в предложении.

С начала 2006 года по 2009 год поиск «Яндекса» был установлен на портале Mail.ru.

С 23 июня 2011 года поиск «Яндекса» установлен на портале Rambler.

В ноябре 2016 года Яндекс представил поисковый алгоритм «Палех», который ищет подходящие веб-страницы не по ключевым словам, а по смыслу. Алгоритм основан на нейронных сетях и предназначен для поиска ответов на редкие и уникальные запросы.

В конце августа 2017 года Яндекс представил новую версию поиска, в основе которой лежит поисковый алгоритм «Королёв». Он использует нейронную сеть, которая сопоставляет смысл запроса и веб-страницы. Благодаря этому поисковая система может точно отвечать на сложные запросы.

Охват форматов

Помимо традиционных веб-страниц в формате HTML, Яндекс индексирует документы в форматах PDF (Adobe Acrobat), Rich Text Format (RTF), двоичных форматах Word (.doc), Excel (.xls), PowerPoint (.ppt), RSS (блоги и форумы).

Язык поисковых запросов

см. Язык запросов, используемый Yandex

Яндекс на татарском языке

Результаты

По умолчанию Яндекс выводит до 10 ссылок на каждой странице выдачи результатов, в настройках результатов поиска можно увеличить размер страницы до 20, 30 или 50 найденных документов. Иногда порядок сайтов на этих страницах может отличаться, так как обновление баз для этих результатов происходит не одновременно. Стоит учитывать и рекламу Рекламной Сети Яндекса в поисковой выдаче. Порой такая реклама содержит более семи объявлений, ведущих на разные сайты. Сами объявления располагаются над результатами поисковой выдачи, под ними и сбоку.

Если по запросу найдено очень много ссылок, страница результатов предлагает ограничить диапазон поиска — по региону (то есть по диапазону IP) или по дате. В 2012 году появилась ещё одна возможность — подсказки по цели запроса (интентный поиск). Кроме того, если по какому-либо слову или словам ничего не найдено, предлагается заменить его/их на похожие (поскольку предлагаемые варианты зависят от частоты нахождения похожих слов, иногда возникают забавные ситуации). Также предлагается исправить слова, набранные не в той раскладке клавиатуры.

Интернет-компания Яндекс с 15 ноября 2018 года начала удалять ссылки на спорный контент из поисковой выдачи в рамках исполнения требований так называемого антипиратского меморандума, подписанного интернет-компаниями и правообладателями 1 ноября 2018 года. Ссылки исчезают из поисковой выдачи в течение шести часов после попадания в реестр. Компания также призывает остальных игроков индустрии поддержать эту инициативу.

В апреле 2021 года ФАС возбудила в отношении «Яндекса» дело по статье о злоупотреблении доминирующим положением, так как в поисковой выдаче компания отдавала предпочтение своим сервисам. Заявителями выступили российские интернет-компании, включая «Авито», «Циан» и «2ГИС». 19 января 2022 года «Яндекс» и ФАС объявили о мировом соглашении, в рамках которого «Яндекс» выплатит 1,5 миллиарда рублей Российскому фонду развития информационных технологий (РФРИТ), деньги используют «на продвижение российских программных ИТ-продуктов в сети Интернет». Деятельность РФРИТ, который входит в группу ВЭБ.РФ, курирует Министерство цифрового развития, связи и массовых коммуникаций.

Качество

Время от времени алгоритмы Яндекса, отвечающие за релевантность выдачи, меняются, что приводит к изменениям в результатах поисковых запросов. По факту такие изменения далеко не всегда улучшают поисковую выдачу по запросам. Такие изменения, официально объявленные, происходили, например, в марте 2004 года, августе 2005 года и январе 2007 года; по неофициальным сведениям, их значительно больше (например, в августе-сентябре 2007 года). Крупное изменение произошло в ноябре 2009 года, когда была выложена обновлённая версия поисковой программы «Снежинск». Последнее подобное изменение произошло в декабре 2010-го, когда Яндекс внедрил новую поисковую технологию «Спектр» (версия «Краснодар»). Она позволяет учитывать потребности пользователей, которые не были явно сформулированы в запросе. Например, по запросу [бетховен] пользователям покажут результаты и про биографию композитора, и его произведения, и фильм «Бетховен». В декабре 2012 года Яндекс представил новую поисковую платформу «Калининград», которая осуществляет персональный поиск с учётом личных интересов пользователя.

Сайты, которые «Яндекс» не индексирует или ограничивает ранжирование:

1. Копирующие или переписывающие информацию с других ресурсов и не создающие оригинального контента.
2. Единственной целью которых является перенаправление пользователя на другой ресурс, автоматически (редирект) или добровольно.
3. С автоматически сгенерированным (бессмысленным) текстом.
4. С каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакой уникальной услуги.
5. С невидимым или слабовидимым текстом или ссылками.
6. Отдающие разный контент пользователям и роботам поисковых систем (клоакинг).
7. Предоставляющие товары или информацию по партнёрским программам, но не представляющие никакой ценности для пользователя.
8. Использующие обманные техники (например, вредоносный код, скрипты, настройки серверов), перенаправляющие пользователей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.
9. Содержащие списки поисковых запросов (многократное повторение и перечисление ключевых слов), предназначенные исключительно для обмана поисковой системы и манипулирования результатами её работы, в том числе использование элементов страниц, скрывающих ключевые слова, например, посредством скроллинга или других технических приёмов.
10. Группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика.
11. Немодерируемые форумы, доски объявлений, содержащие большое количество ссылочного спама.
12. Ставящие внешние ссылки исключительно для обмана поисковых систем и «накачивания» релевантности и не являющиеся рекомендацией автора посетить ресурс.
13. Сайты или группы сайтов, интенсивно ссылающиеся друг на друга (линкфармы).
14. Страницы сайта с результатами поиска.

С 2009 года на качество поиска также влияет фильтр АГС.

Со 2 февраля 2016 года компания Яндекс начала использовать новую формулу ранжирования, учитывающую пригодность сайта для мобильных устройств. Новую формулу назвали «Владивосток» — в честь одного из крупнейших дальневосточных городов. Также в 2016 году в поиск была внедрена система «Палех», повышающая качество поиска для редких запросов. «Палех» основан на технологии искусственных нейронных сетей.

В марте 2019 года компанией Яндекс был запущен специальный инструмент, который помогает находить страницы сайтов с пиратским контентом.

Функциональность

Илья Сегалович представляет новый поисковый механизм «Яндекса» «Острова»

Основная информация

Поисковая машина состоит из трёх основных компонентов:

• Агент — это поисковый робот. Он обходит сеть, скачивает и анализирует документы. В случае обнаружения новой ссылки при анализе сайта она попадает в список веб-адресов робота. Поисковые роботы бывают следующих типов: пауки (англ. Spider) — загружают сайты подобно браузерам пользователя; «путешествующие» пауки (англ. Crawler) — обнаруживают новые, ещё неизвестные ссылки на основе анализа уже известных документов; индексаторы — занимаются анализом обнаруженных веб-страниц и добавляют данные в индекс. Множество выкачанных документов разбивается на непересекающиеся части и очищается от разметки.
• Индекс — база данных, собранная роботами-индексаторами поисковых машин. По индексу и осуществляется поиск документов.
• Поисковый механизм.

Поисковый запрос от пользователя после анализа загруженности поисковой системы отправляется на наименее загруженный сервер. Для обеспечения такой возможности серверы «Яндекса» объединены в кластеры и даже кластеры кластеров. Затем пользовательский запрос обрабатывается программой под названием «Метапоиск». Метапоиск осуществляет анализ запроса в реальном времени: определяет географическое положение пользователя, проводит лингвистический анализ и т. д. Также программа определяет, относится ли запрос к категории наиболее популярных или недавно заданных. Выдача на такие запросы некоторое время хранится в памяти (кэше) метапоиска, и в случае совпадения показываются заранее сохранённые результаты. Если запрос является редким и совпадений в кэше не найдено, система перенаправляет его на программу «Базового поиска». Тот анализирует индекс системы, также разбитый по разным дублирующимся серверам (это ускоряет процедуру). Затем полученная информация снова попадает на метапоиск, данные ранжируются и показываются пользователю в готовом виде.

Индексирование

В целом «Яндекс» индексирует следующие типы файлов: html, pdf, rtf, doc, xls, ppt, docx, odt, odp, ods, odg, xlsx, pptx.

Поисковая система способна также индексировать текст внутри объектов Shockwave Flash (если текст не помещён на само изображение), если эти элементы передаются отдельной страницей, имеющей MIME-тип application/x-shockwave-flash, и файлы с расширением .swf.

В «Яндексе» работают 2 сканирующих робота — «основной» и «быстрый». Первый отвечает за интернет в целом, второй индексирует сайты с часто меняющейся и обновляемой информацией (новостные сайты и информационные агентства). В 2010 году «быстрый» робот получил новую технологию под названием «Orange», разработанную совместно калифорнийским и московским подразделениями «Яндекса».

В логах сервера роботы «Яндекса» представляются следующим образом:

• Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
• Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов. Если найдутся несколько сайтов с одинаковым содержимым, в результатах поиска будет показан только один.
• Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор «Яндекс. Картинок».
• Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор «Яндекс. Видео».
• Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
• Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
• Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении её через форму «Добавить URL».
• Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий иконки сайтов (favicons).
• Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в «Рекламной сети „Яндекса“» (РСЯ).
• Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка»^{[прояснить]} «Яндекс. Директа».
• Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот «Яндекс. Метрики».
• Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» «Яндекс. Каталога».
• Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор «Яндекс. Новостей».
• Mozilla/5.0 (compatible; YandexAntivirus/2.0) — антивирусный робот «Яндекса».

С 2009 года «Яндекс» поддерживает технологию Sitemaps.

Поисковые запросы

Интерфейс «Яндекса» располагает довольно сложным языком запросов, позволяющим ограничить область поиска отдельными доменами, языками, типами файлов и т. д.

Для настройки используются следующие символы-джокеры:

• "" — точная цитата
• | — ставится между словами, если нужно найти одно из них
• * — ставится между словами, если между ними пропущено какое-то слово
• site: — поиск на определённом сайте
• date: — поиск документов по дате, например, date:2007
• + — ставится перед словом, которое обязательно должно присутствовать в документе
• - — ставится перед словом, которое не должно присутствовать в поисковой выдаче.
• и др.

«Яндекс» автоматически, наряду с оригинальной «точной формой» запроса, ищет его различные вариации и формулировки.

Поиск «Яндекса» учитывает морфологию русского языка, поэтому вне зависимости от формы слова в поисковом запросе выдача будет производиться по всем словоформам. Если морфологический анализ нежелателен, можно перед словом поставить восклицательный знак (!) — поиск в этом случае покажет только конкретную форму слова. Кроме того, при поисковом запросе практически не учитываются так называемые стоп-слова, то есть предлоги, знаки препинания, местоимения и т. д., ввиду их большого распространения.

Как правило, автоматически раскрываются аббревиатуры, действует транслитерация (например, «Рено — Renault»), исправляется орфография. Также производится поиск по синонимам (мобильный — сотовый) и различным словоформам (Воронеж — воронежский). Расширение или нет исходного пользовательского запроса зависит от контекста. Расширение не происходит при наборе узкоспециальных терминов (к запросу «монтёрская кошка» не будет добавлено слово «кошачий»), имён собственных, названий компаний (к примеру, ОАО «Бегемот» — ОАО «Гиппопотам»), при добавлении слова «цена», в точных цитатах (это запросы, выделяемые машинописными кавычками).

Защита от спама и вирусов

По состоянию на 2013 год «Яндекс» является самой безопасной поисковой машиной на планете и третьим по степени защищённости среди всех веб-ресурсов.

Проверка веб-страниц и предупреждение пользователей появились на «Яндексе» в 2009 году: с тех пор на странице результатов поиска рядом с опасным сайтом появляется пометка «Этот сайт может угрожать безопасности вашего компьютера». Для обнаружения угроз используются сразу две технологии. Первая куплена у американского антивируса «Sophos» и основана на сигнатурном подходе: то есть при обращении к веб-странице антивирусная система обращается к базе данных уже известных вирусов и вредоносных программ. Такой подход отличается высокой скоростью, но практически бессилен перед новыми вирусами, ещё не попавшими в базы данных. Поэтому «Яндекс» использует наряду с сигнатурным ещё и свой собственный антивирусный комплекс, основанный на анализе поведенческого фактора. Программа «Яндекса» при обращении к сайту проверяет, запрашивал ли последний у браузера дополнительные файлы, перенаправлял ли на посторонний ресурс и т. д. Таким образом, если получены данные, что сайт начинает выполнение неких действий (запускаются каскадные таблицы стилей, модули Java Script и полноценные программы) без ведома пользователя, он помещается в «чёрный список» и базу вирусных сигнатур. Информация о заражении сайта появляется в результатах поиска, и через сервис «Яндекс.Вебмастер» соответствующее уведомление получает владелец сайта. После первой проверки «Яндекс» делает вторую, и если информация о заражении во второй раз подтвердится, проверки будут проходить чаще, пока угроза не будет устранена. Общее число заражённых сайтов в базе «Яндекса» не превышает 1 %.

Ежедневно в 2013 году «Яндекс» проверяет 23 млн веб-страниц (обнаруживая при этом 4300 опасных сайтов) и показывает пользователям 8 млн предупреждений. Ежемесячно проверяется примерно миллиард сайтов.

Поисковая выдача и ранжирование

См. также: Тематический индекс цитирования

Поисковая выдача для каждого пользователя формируется индивидуально на основе его местоположения, языковых запросов, интересов и предпочтений по результатам предыдущих и текущей поисковой сессии. Тем не менее, ключевым фактором при ранжировании поисковых результатов является их релевантность, соответствие поисковому запросу. Релевантность определяется на основе формулы ранжирования, которая постоянно обновляется на основе алгоритмов машинного обучения.

Долгое время ключевым фактором ранжирования у «Яндекса» было количество сторонних ссылок на конкретный сайт. Каждой странице в Интернете присваивался своеобразный индекс цитирования, аналогичный индексу для авторов научных статей: чем больше ссылок, тем лучше. Подобный механизм работал как в тИЦ «Яндекса», так и в PageRank поисковой системы Google. Тем не менее, в настоящий момент в целях предотвращения «накрутки» «Яндекс» применяет многофакторный анализ, из восьмисот факторов ранжирования которого на ссылочные приходится лишь 70. Сегодня гораздо бо́льшую роль играет содержание сайта и наличие-отсутствие там ключевых слов, удобство чтения текста, название домена и его история, наличие мультимедийного контента. 5 декабря 2013 года «Яндекс» объявил о полном отказе от учёта ссылочного фактора в будущем.

Поиск производится на русском, английском, французском, немецком, украинском, белорусском, татарском, казахском языках.

Результаты поиска можно отсортировать по релевантности и по дате (кнопки снизу поисковой выдачи).

Страница с результатами поиска состоит из 10 ссылок с короткими аннотациями — «сниппетами». Последний включают в себя текстовый комментарий, ссылку, адрес, популярные разделы сайта, страницы в соцсетях и пр. В качестве альтернативы сниппетам «Яндекс» ввёл в 2014 году новый интерфейс под названием «Острова».

В «Яндексе» реализован механизм «параллельных поисков», когда вместе поиском по вебу производится поиск по сервисам «Яндекса», таким, как Каталог, Новости, Маркет, Энциклопедии, Картинки и др. В результате в ответ на запрос пользователя система выдаёт не только текстовую информацию, но и ссылки на видеофайлы, картинки, словарные статьи и пр..

Отличительной особенностью поисковика являются также технологии «интентного поиска» (от англ. intent — намерение, желание), то есть поиска, нацеленного на решение задачи. Среди элементов такого поиска — наличие диалоговых подсказок при неоднозначном запросе, автоматический перевод текста, показ информации о характеристиках автомобиля и т. д. Для примера, при запросе «Борис Гребенщиков — Город золотой» система покажет форму для онлайн-прослушивания музыки из сервиса «Яндекс.Музыка», при запросе «ул. Королёва,12» будет показан фрагмент карты с отмеченным на ней объектом.

Информационные блоки между строкой запроса и результатами называются «колдунщиками». Полный их список:

• Новости
• Пресс-портреты
• Маркет
• Авто
• Музыка
• Видео
• Картинки
• Опечатки
• Словари и энциклопедии
• Карты
• Адреса
• Карточка города
• Расписания
• Погода
• Время
• Отключение горячей воды
• IP-адрес пользователя
• Вакансии
• Афиша
• Телепрограмма
• Открытки

«Фишки»

• Стихи
• Цвета
• Конвертер величин
• Курс валют
• Химик
• Бармен

Поисковые подсказки

По мере набора пользователем запроса в строке поиска поисковая машина предлагает подсказки в виде ниспадающего списка. Подсказки появляются ещё до перехода на страницу результатов поиска и позволяют уточнить запрос, исправить раскладку или опечатку или перейти сразу на искомый сайт. Для каждого пользователя подсказки формируются в том числе на истории его поисковых запросов (сервис «Мои находки»). В 2012 году появились так называемые «Умные поисковые подсказки», которые моментально выдают информацию об основных константах (длина экватора, скорость света и так далее), пробках на дорогах, и имеют встроенный калькулятор. Кроме того, в «подсказки» встроен переводчик (запрос «любовь по-французски» моментально выдаёт amour, affection), расписание и результаты футбольных матчей, курсы валют, прогноз погоды и другое. Можно узнать точное время запросом «который час». В 2011 году подсказки в поиске «Яндекса» стали полностью локальными для 83 регионов России.

Помимо собственно поиска, подсказки встроены в собственные поисковики «Яндекс. Словарей», «Яндекс. Маркета», «Яндекс. Карт» и других сервисов «Яндекса».

Функция является развитием технологии интентного поиска и впервые появился на «Яндекс.Баре» в августе 2007 года, а в октябре 2008 был внедрён на главной странице поисковика. Доступен как в настольной, так и в мобильной версии сайта. «Яндекс» показывает своим пользователям более миллиарда поисковых подсказок в день.

Другое

Первоначальный логотип поисковика.

«Яндекс» предлагает ещё несколько видов поиска:

• Дзен-Поиск — «медитативный поиск» «Яндекса». На данный момент закрыт, а по ссылке dzen.yandex.ru идёт перенаправление на Яндекс.Дзен
• Расширенный поиск — позволяет ограничивать поисковую выдачу географией, языком, отдельным сайтом, расширением документов, последним обновлением, количеством результатов на странице.
• Семейный поиск — поиск безопасного для детей содержимого.
• Поиск для слабовидящих

Летом 2017 года в рамках совместного проекта Банка России и компании Яндекс в поисковой выдаче системы Яндекс появился специальный «маркер» (зелёный кружок с галочкой и надписью «Реестр ЦБ РФ»), информирующий потребителя о том, что на промаркированном сайте предлагаются финансовые услуги компании, которая имеет статус микрофинансовой организации.

Логотип «Яндекса»

Основная статья: Логотип «Яндекса»

Логотип «Яндекса» может менять свой дизайн в честь некоторых памятных дат, к примеру, 75-летию Владимира Высоцкого был посвящён музыкальный логотип.

История

Историю поиска «Яндекса» можно условно разделить на три этапа. До 2005 года поисковые технологии «Яндекса» были эффективными, но достаточно простыми: можно было создать сайт, состоящий из сотен страниц, на которых нет ничего, кроме ключевых слов, и «Яндекс» такой сайт нормально ранжировал. Начиная примерно с 2005 года в Рунете активизировался поисковый спам, и вскоре стало очевидно, что он является реальной угрозой бизнесу компании, могущей за короткий срок свести популярность поискового сервиса на нет. Это привело к тому, что в «Яндексе» всерьёз задумались об улучшении технологий поиска, вложили в это направление много ресурсов. Наконец, с осени 2007 года «Яндекс» уделяет много внимания качеству поиска и проводит научные разработки в области поисковых технологий.

Изменения в поисковой машине долгое время широко не афишировались и оставались безымянными. И лишь с начала 2008 года, когда было объявлено о запуске алгоритма 8 SP1, «Яндекс» заявил о том, что впредь новые алгоритмы ранжирования будут носить названия городов.

1990-е

Дизайн «Яндекса» в декабре 1998 года.

Поисковая система yandex.ru была анонсирована компанией CompTek 23 сентября 1997 года на выставке Softool, хотя отдельные разработки в области поиска (индексация Библии, поиск документов на CD-ROM, поиск по сайту) проводились компанией ещё раньше.

Название системы — «Яндекс», «Яndex», — придумали вместе Аркадий Волож и Илья Сегалович.

Слово расшифровывалось как yet another indexer («ещё один индексатор; очередной индексатор») или как «Языковой Индекс». По предложению Артемия Лебедева, если «I» перевести на русский, получится «Я». Чуть позже, после выхода «Яндекса» в Интернет, пользователи предложили свой вариант: «Иньдекс» — это же женское что-то такое, а «Яньдекс» — это такое сильное, муж­ское, то есть тот же индекс, но с мужским началом!.

Первый индекс содержал информацию по 5 тыс. серверов и занимал 4,5 ГБ.

В том же 1997 году поиск «Яндекса» стал использоваться в русскоязычной версии Internet Explorer 4.0. Стало возможным задавать запрос на естественном языке.

В 1998 году появилась функция «найти похожие документы» для каждого результата поиска.

«Яндекс. Поиск» по состоянию на 1998 год работал на трёх машинах, работавших на FreeBSD под Apache: одна машина обходила Интернет и индексировала документы, одна машина поисковая и одна машина дублировала поисковую машину.

В 1999 году появился поиск в категориях — поиск, сочетание поисковой системы и каталога. Обновлена версия поисковой машины.

2000

6 июня 2000 года была представлена вторая версия поисковика.

Был внедрён механизм параллельного поиска, когда наряду с выдачей из веба предлагается информация из крупных источников. Пользователи получили возможность ограничить поисковую выдачу выбранной темой. Появилась рубрика «Популярные находки» — слова, уточняющие поиск.

К декабрю 2000 года объём проиндексированной информации достиг 355,22 Гб.

2001

2001 год стал для «Яндекса» значимым, поскольку тогда он обогнал другой российский поисковик, «Рамблер», по посещаемости и с тех пор является ведущей поисковой системой Рунета.

«Яндекс» стал понимать запросы на естественном языке, заданные в вопросительной форме. Система научилась распознавать опечатки и предлагать исправлять их. Изменился дизайн.

2002

Количество ежедневных запросов к поисковой машине «Яндекс» превысило 2 млн.

2003

Запущена индексация документов .rtf и .pdf

Результаты поиска стали выдаваться в том числе и в формате XML.

2004

Изменился алгоритм ранжирования.

Стартовала индексация документов в формате .swf («флэш»), .xls и .ppt.

В конце года было выложено в открытый доступ исследование «Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс» (авторы Илья Сегалович, Михаил Маслов), раскрывшее отдельные детали ранжирования в поисковике.

2005

Летом был запущен так называемый «быстрый» поисковый робот, работающий параллельно с основным и предназначенных для индексации актуальных страниц. База «быстрого робота» обновляется каждые 1,5—2 часа.

Был усовершенствован алгоритм ранжирования для увеличения точности поиска.

Возможности поиска были расширены с помощью сервисов «Яндекс. Словари» и «Яндекс. Lingvo». Поисковик научился понимать запросы типа «как [что-то] по-испански» и автоматически переводить их.

Стало возможным ограничить поисковую выдачу по региону.

2006

С мая 2006 в результатах поиска стали отображаться пиктограммы сайтов.

В начале декабря рядом с каждой ссылкой в выдаче появился пункт «Сохранённая копия», кликнув по которой, пользователь переходит на полную копию страницы в отдельной архивной базе («Яндекс-кэш»).

Появилась геоклассификация сайтов.

2007

Был изменён алгоритм ранжирования.

с 2008 года

В 2008 году компания «Яндекс» впервые стала открыто объявлять об изменениях в поисковом алгоритме и давать им имена:

Чтобы изменения не дезориентировали пользователей, Яндекс с лета прошлого года начал их анонсировать. Загвоздка в том, как эти изменения называть, ведь к дате привязываться неудобно. Решили давать новым программам названия российских городов.

Название «города» каждого следующего алгоритма начинается на ту букву, на которую оканчивалось название предыдущего.

История версий «Яндекс. Поиска»
Изображение	Название	Дата выпуска	Описание
	Версия 7	2 июля 2007 года	Изменения в алгоритме ранжирования.
	Версия 8	20 декабря 2007 года	Улучшен поиск адресов сайтов (например, запрос [студия Лебедева] подразумевает адрес www.artlebedev.ru), снижено влияние ссылочных накруток, лучше стал восприниматься тип запроса.
	8sp1	17 января 2008 года
	«Магадан»	17 января 2008 года	Вдвое увеличено число факторов ранжирования, улучшена обработка многословных запросов, поисковая система научилась понимать аббревиатуры, транслитерации, некоторые типы переходов из одной части речи в другую («гамбург» -> «гамбургский»). Изменён механизм работы с русскоязычными текстами, запущен поиск текстов с дореволюционной орфографией, увеличена точность распознавания фамилий и географических названий. Появились «колдунщики» — информационные блоки между поисковой выдачей и результатами поиска; улучшена скорость поиска по запросам, по которым находится большое число документов. С целью поддерджки и тестирования алгоритма был создан сайт buki.yandex.ru
	«Магадан» 2.0	2 июля 2008 года	Нововведения в алгоритме ранжирования: улучшено распознавание уникальных документов, введение классификатора коммерциализированности и геоклассификатора и др.
	«Находка»	11 сентября 2008 года	Изменился учёт стоп-слов (слов, не несущих, по мнению поисковой машины, никакой смысловой нагрузки — цифры, местоимения и междометия, знаки препинания и т. д.) и разработан новый алгоритм машинного обучения, расширен тузаурус.
	«Арзамас» (ранее назывался «Анадырь»)	10 апреля 2009 года	Улучшено понимание морфологии русского языка путём разрешения неоднозначности слов в запросах и понимания омонимов. Поиск стал учитывать регион пользователя; несмотря на то, что возможность ограничить выдачу сайтами определённого региона появилась раньше, теперь система пытается сама определить, нужно ли в данном конкретном случае ограничивать выдачу по географии или нет. Местоположение пользователя вычисляется по IP-адресу, но его также можно задать вручную. Специально настроенная формула ранжирования есть для Москвы и Санкт-Петербурга, а также для некоторых стран СНГ. Улучшено понимание запросов, в которых необходим показ картинок, сами картинки теперь показываются в информере над поисковой выдачей.
	«Арзамас» 1.1	17 июня 2009 года
	«Арзамас» 1.2	17 июля 2009 года	Улучшен классификатор геозависимости запросов.
	«Арзамас» 1.3	20 августа 2009 года	Улучшен классификатор геозависимости запросов.
	«Арзамас+16»	31 августа 2009 года	Региональное ранжирование для ещё 16 городов России (Новосибирск, Красноярск, Омск, Ростов-на-Дону, Краснодар, Нижний Новгород, Уфа, Пермь, Казань, Самара, Челябинск, Владивосток, Кемерово, Иркутск, Барнаул и Воронеж).
	«Арзамас» 1.5	23 сентября 2009 года	Улучшенная общая формула ранжирования.
	«Арзамас» 1.5 SP1	28 сентября 2009 года	Улучшенная региональная формула ранжирования вдобавок к анонсированной в версии 1.5 общей формуле.
	«Снежинск»	17 ноября 2009 года	Заработал новый механизм машинного обучения — «Матрикснет», учитывающий тысячи параметров при поисковом ранжировании и отличающийся высокой скоростью работы.
	АГС-17	вторая половина 2009 года	Алгоритм, направленный на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок.
	АГС-30	18 декабря 2009 года	Алгоритм, направленный на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок.
	«Конаково»	22 декабря 2009 года	Обновлённая версия «Снежинска». Внедрено локальное ранжирование для 1250 городов России (в «Арзамасе» региональный поиск работал для 19 регионов), ещё шире используются возможности технологии «Матрикснет».
	«Снежинск» 1.1	10 марта 2010 года	Улучшена общая формула ранжирования для пользователей из России по геонезависимым запросам.
	Поиск для Белоруссии	14 апреля 2010 года	Открыт портал www.yandex.by с новым механизмом поискового ранжирования, основанным на алгоритме «Матрикснет».
	Поиск по мировому интернету	19 мая 2010 года	Открытие сайта www.yandex.com и возможности на основном портале поиска только по зарубежным страницам.
	«Полтава»	27 июля 2010 года	Геоориентированный поиск для Украины; построен на технологии «Матрикснет».
	Поиск для Республики Татарстан	30 июня 2010 года	Версия на татарском языке, которая использует региональную формулу ранжирования.
	«Обнинск»	6 августа 2010 года	Улучшено ранжирование для геонезависимых запросов в России, выросла сложность формулы ранжирования.
	«Краснодар»	15 декабря 2010 года	Запущена поисковая технология «Спектр», в которой улучшено определение неявно сформулированных запросов пользователей (например, в случае многозначных запросов, таких, как «аквариум» [ёмкость] и «аквариум» [музыкальная группа], система выстраивает поисковую выдачу на основе статистических данных о предпочтениях большинства пользователей).
	«Рейкьявик»	17 августа 2011 года	Персонализация на основе языковых предпочтений: для пользователей, чаще ищущих англоязычные документы, поисковая система будет отдавать предпочтение сайтам именно на этом языке (алгоритм персонализирует выдачу только на английском).
	«Калининград»	12 декабря 2012 года	Технология персонализированного поиска: поисковая машина старается определить каждого конкретного пользователя на основе его поискового поведения. В целом каждый пользователь на основе истории запросов относится к одному из определённых системой 400 000 типов и по мере изменения предпочтений может переходить от одного поведенческого типа к другому.
	«Острова»	16 мая 2013 года	Интерфейс поисковой выдачи в виде отдельных интерактивных блоков с возможностью предпросмотра.
	«Дублин»	30 мая 2013 года	Персонализированная поисковая выдача на основе сиюминутных предпочтений пользователя.
	АГС-40	6 ноября 2013 года	Алгоритм, направленный на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок.
	Объектный ответ	апрель 2015 года	Семантическая поисковая технология.
	«Минусинск»	15 мая 2015 года	Алгоритм, направленный на пессимизацию сайтов, закупающих платные SEO-ссылки.
	«Владивосток»	2 февраля 2016 года	Введена новая формула ранжирования, учитывающая пригодность веб-страниц для мобильных устройств. Теперь при работе через смартфоны оптимизированные для них сайты будут располагаться в поисковой выдаче выше.
	«Палех»	2 ноября 2016 года	За сопоставление смысла запросов и документов отвечает поисковая модель на основе нейронных сетей.
	«Баден-Баден»	22 марта 2017 года	Новый алгоритм определения переоптимизированных текстов.
	Королёв	22 августа 2017 года	Новый алгоритм поиска с использованием нейронной сети.

2017

В сентябре 2017 года «Яндекс» отметил свой 20 день рождения. По этому случаю в офис «Яндекса» приехал Президент РФ В. В. Путин.

Значение «Яндекса»

Состояние, когда местные поисковые компании не уступают американским брендам, является в мире почти уникальным, если не учитывать опыт Китая, где Google в 2010 году был заблокирован, взламываются почтовые ящики правозащитников, а местные провайдеры часто перенаправляют адрес www.google.cn на сайт Baidu. Россия является единственной страной в мире, за исключением США, которой удалось без протекционистских мер создать более одной успешной поисковой технологии с заметной долей рынка (см. также «Рамблер»).

По словам медиа-эксперта Михаила Гуревича, «Яндекс» — «национальное достояние», «стратегический продукт».

Данный факт осознали и в Государственной Думе Российской Федерации, где в мае 2012 года появился законопроект, в котором «Яндекс» и «ВКонтакте» признаются стратегическими предприятиями как общенациональные трансляторы информации. Ещё в 2009 году Президент России Дмитрий Медведев инициировал покупку «Сбербанком» «золотой акции» «Яндекса» с целью избежать попадания предприятия общегосударственной важности в руки иностранцев.

В 2012 году «Яндекс» обогнал «Первый канал» по численности ежедневной аудитории, что сделало российский интернет-гигант лидером отечественного медиарынка. В 2013 году «Яндекс» подтвердил этот статус, обогнав «Первый» по выручке.

В 2008 году «Яндекс» был девятым поисковиком в мире, в 2009 — седьмым, в 2013 — четвёртым.

Одной из составляющих такого положения служит наличие в России достаточного количества математически подкованных специалистов, обладающих научным чутьём. Имеет значение языково-культурный барьер.

Россия — одна из немногих стран, у которых есть собственный поисковик, занимающий первое место в стране, есть свои соцсети, держащие первенство. […] В ближайшие 3—5 лет иностранцы смогут претендовать только на третье-четвёртое места.

К 2002 году слово «Яndex» стало настолько общеупотребительным, что, когда компания Аркадия Воложа потребовала вернуть ей домен yandex.com, выкупленный третьими лицами, ответчик заявил, что слово «Яндекс» является уже синонимом справочника и стало нарицательным.

С осени 2012 года поисковая система «Яндекс» обогнала по числу пользователей Google на браузере Google Chrome в России..

Прочие поисковые услуги

• Помимо собственно веб-поиска, компания «Яндекс» ищет по картинкам, блогам, видео, картам, новостям, персоналиям, товарам и т. д.
• В течение некоторого времени «Яндекс» предлагал программу «Персональный поиск» для локального поиска на ПК пользователя.

Примечания

Комментарии

Источники

Литература

• Поиск в Интернете и сервисы Яндекс: яз. поисковых запросов, подробное описание всех служб портала Яндекс, настройка Яндекс на свой вкус / Валентин Холмогоров. — М.: Питер, 2006. — 122 с. — ISBN 5-94807-045-X.
• В. С. Гусев. Яндекс. Эффективный поиск: краткое руководство. — М.: Диалектика, 2007. — 220 с. — ISBN 978-5-8459-1230-5.
• Кулева Олеся Викторовна. Отражение библиотечных веб-сайтов Сибири в каталогах поисковых систем Яндекс и Апорт // Библиосфера. — 2005. — Вып. 1. — ISSN 1815-3186.
• Беликов В. И. Yandex как лексикографический инструмент // Компьютерная лингвистика и интеллектуальные технологии: Труды Международной конференции Диалог. — 2004. — С. 39—46.

Ссылки

• Официальная страница поисковой системы «Яндекс»
• Поиск в режиме реального времени
• Семейный поиск
• «Яндекс. Поиск» Архивная копия от 15 мая 2015 на Wayback Machine на Я.ру
• Записи с меткой «поиск» в официальном блоге «Яндекса»

Статьи и интервью

• Поиск Яндекса с инженерной точки зрения. Лекция в Яндексе
• Что нашлось у «Яндекса» (копия)
• Аналитическая программа «Рунетология» // Сооснователь и директор по технологиям и разработке компании «Яндекс» Илья Сегалович (Текст (копия))
• Что должен знать о «Яндексе» каждый. Часть 1 (копия)
• История бренда «Яндекс» (копия)
• Архитектура Yandex (копия)
• Yandex в 2000 году (копия)
• Эволюция поисковых алгоритмов «Яндекса»