Компания «Яндекс» объявила о том, что усовершенствовала поиск с помощью нейросети CS YATI – новой модели, обученной на документах для ИТ-специалистов и оценках экспертов по программированию. Поисковая выдача для разработчиков и ML-специалистов стала более качественной, а навигация по запросам – удобной.

Новая модель учитывает в полтора раза больше информации со страницы, чем ее предыдущая версия – YATI. Обновленная нейросеть-трансформер проанализировала множество поисковых запросов и сайтов, которые показываются по запросам, связанным с программированием. Это помогает ей лучше оценивать качество и релевантность документа запросу. Пропустив через себя терабайты документов о программировании и историю поиска экспертов, CS YATI также научилась предсказывать клики квалифицированных программистов, чтобы выдать наиболее релевантный ответ.

Помимо этого, «Яндекс» существенно доработал обогащенный ответ Stack Overflow. Прямо в результатах поиска, без перехода на сайт, пользователь увидит дополнительную информацию: сам вопрос, лучший ответ на него и другие комментарии, которые могут пригодиться программистам. Яндекс также улучшил отображение сниппетов для GitHub и NPM, добавив туда полезную информацию.

Как поясняют в компании, известно, что основная доля программистских запросов – это запросы на английском языке. CS YATI обучалась в основном на англоязычных источниках. Разработчики не просто усовершенствовали поиск для программистов, но в процессе еще и улучшили поиск по англоязычным источникам.

В 2020 г. «Яндекс» запустил технологию анализа текста на основе нейросетей-трансформеров, которые хорошо решают задачи в области обработки естественного языка, но требуют огромного количества вычислительных ресурсов. Благодаря этой технологии «Яндекс» стал лучше оценивать смысловую связь между запросами и содержанием документов в интернете – как считают в компании, настолько лучше, что этот запуск можно считать крупнейшим событием в поиске за последние десять лет. Эта технология получила название YATI.