Яндекс запустил смысловой поиск, основанный на работе нейросетей
Яндекс запустил новую версию поиска. В её основе лежит поисковый метод Королёв — посредством нейронной сети он сопоставляет веб страницы и смысл-запроса.
Именно поэтому поиск осознаёт, что именно необходимо пользователю, и отвечает на непростые вопросы ещё более совершенно верно. В новой версии поиска шире употребляется поисковая статистика и учитываются оценки пользователей Яндекс.Толоки.
Первый ход к поиску по смыслу Яндекс сделал в прошедшем сезоне, в то время, когда внедрил метод Палех — он в настоящем времени сопоставляет суть заголовка и запроса веб-страницы. Королёв применяет нейронную сеть, которая разбирает не только заголовок, а всю страницу полностью.
Это непростая вычислительная задача, исходя из этого Яндекс определяет сущность страницы заблаговременно, на этапе индексирования. Именно поэтому количество страниц, каковые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч.
Вторая серьёзная изюминка Королёва в том, что кроме страницы смысла и сопоставления запроса, он учитывает ещё и суть вторых запросов, по которым люди на неё переходят.
Дабы нейронная сеть имела возможность оценить смысловую близость документа и запроса, ей необходимо огромное количество примеров. Такие примеры даёт обезличенная поисковая статистика: на какие конкретно сайты люди переходят по запросам и какое количество времени в том месте выполняют.
Так, в случае если человек перешёл на страницу и просматривал её какое-то время, вероятнее, она близка по смыслу запросу. Применяя поисковую статистику миллионов людей, Яндекс обучается осознавать смысловые связи.
К примеру, он осознает, что в запросе [картина где небо закручивается] речь заходит о картине Ван Гога, а в запросе [ленивая кошка из монголии] — о мануле.
Поиск — это весьма сложная совокупность. Тысячи инженеров трудятся над тем, дабы она понимала человека и помогала решать его задачи. В „Королёве“ мы объединили усилия миллионов и машинный интеллект людей.
Отечественные пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать отечественные методы, — говорит Андрей Стыскин, начальник Поиска Яндекса.
Для обучения поисковой совокупности необходимы кроме этого оценки качества ответов. И чем сложнее совокупность, тем больше оценок требуется.
Раньше Яндекс оценивал уровень качества поиска посредством собственных экспертов — асессоров. Сейчас учитываются кроме этого оценки, каковые выставляют пользователи Яндекс.Толоки.
Это сервис, где кто угодно может делать задания и приобретать за них вознаграждение. на данный момент в Яндекс.Толоке зарегистрировано свыше миллиона пользователей, каковые выставили уже более двух миллиардов оценок.
Новый метод \
