Google начала крупное обновление основного алгоритма поиска. Новая технология должна сделать искусственный интеллект более «понимающим». Теперь запросы будут обрабатывать целым текстом, а не отдельными словами.
Новый алгоритм поиска компания тестировала в течение последних 10 месяцев.
По словам вице-президента поисковика Google Панду Найяка, старый алгоритм рассматривал предложение как «пакет слов» и просто выдавал локальные результаты. Google пытался определить, какое из слов в запросе наиболее важное, а также игнорировал короткие и наиболее употребляемые слова. Так он определял тему запроса, но часто не находил нужного пользователю ответа.
Новый алгоритм поможет роботу понять смысл фразы запроса целиком. А это, надо заметить, была самая большая сложность для искусственного интеллекта. Потому как значение слов может меняться в зависимости от того, кто и как их использует.
Доработанный алгоритм на основе BERT применяет языковую модель, которая включает игнорировавшиеся раньше слова. BERT развивается в основном путем самообучения, обрабатывая огромные тексты в Mad Libs. Google берет совокупность английских предложений и случайным образом удаляет 15 процентов слов, а затем BERT пытается определить, какими должны быть эти слова. По словам старшего научного сотрудника Google Джеффа Дина, со временем этот вид обучения может оказаться эффективным для понимания контекста модели НЛП.
Но пока большинство пользователей изменений не заметят. Обновление повлияет только на один из десяти запросов, утверждает Панду Найак. Google уже начал обновлять ПО своих дата-центров, внедряя новую обработку запросов пока лишь на английском языке. Найак предупредил, что в некоторых случаях новый алгоритм находит информацию хуже, чем старый. Но работа над проектом продолжается.
