Что такое BERT Google?

В прошлом году Google разработали и представили технологию обработки естественного языка (Natural Language Processing, NLP), основанную на нейросетях, которая называется «Двунаправленное представление кодировщиков от трансформаторов» (Bidirectional Encoder Representations from Transformers, BERT).

Главным отличием BERT от более ранних моделей стало то, что они могут комплексно учитывать контекст предложений. Новые модели обращают внимание не только и не столько на очередность слов в предложениях, сколько на них взаимосвязь, что очень важно для поисковых запросов.

Разработка BERT потребовала от специалистов Google не только привлечения таких технологий как машинное обучение и NLP, но и привлечения нового оборудования. Теперь в корпорации используют облачные TPU, которые способны справиться с моделями, построенными с помощью BERT.

Как изменится жизнь рядового юзера после внедрения BERT? В плоскости поиска информации — радикальным образом. Поскольку Google всегда ориентируется на пользователя, а не на бизнес, новые технологии помогут нам гораздо быстрее и проще искать необходимые товары, услуги и, что самое главное, знания.

На данный момент BERT помогает лучше понимать 10% запросов из США на английском языке. Конечно, в последствии должен возрасти не только этот показатель, но и количество языков, которые новые модели станут понимать лучше.

Теперь более длинные, диалоговые запросы, которые содержат предлоги, будут лучше поняты алгоритмом.

Перед запуском этой технологии ее тщательно тестировали. Ниже — несколько примеров из официального источника Google.

Поисковой запрос «2019 brazil traveler to usa need a visa» прежде был бы воспринят алгоритмом как граждане США, которые хотят поехать в Бразилию, хотя совершенно очевидно обратное. В этом запросе речь идет о бразильце, который хочет поехать в Штаты и потому нуждается в визе. Теперь запрос будет понят правильно: отчасти, из-за возможности обновленного алгоритма учитывать предлоги. 

Другой пример: «do estheticians stand a lot at work». Ранее алгоритм воспринял бы слово stand как глагол, означающий оставаться, хотя в этом контексте разумнее было бы воспринять это слово за термин «автономный», то есть стоящий в стороне. Тем не менее, модели BERT понимают, что в этом контексте имеется в виду физическое требование, характеризующее работу — необходимо ли будет много стоять? Такие тонкости языка прежде не могли быть правильно восприняты компьютерами.

Несмотря на то что модели будут обучаются на примере английского языка, в планах разработчиков Google адаптировать поиск для множества языков. Если система научится корректно читать любые запросы на английском, сделать аналогичное на другом языке будет проще. Пока что только несколько десятков стран задействованы в эксперименте. Помимо английского, успехи видны на примере хинди, португальского и корейского языков. Конечно, разработка BERT не сможет целиком решить проблему языка и умения воспринимать его алгоритмом, но, так или иначе, это огромный шаг вперед.