Ask a Techspert: How does AI understand my visual searches?

Google опубликовала в блоге разбор того, как ИИ понимает визуальный поиск. На вопросы отвечает Дуния Берраде, старший директор по инжинирингу Google Search, которая занимается мультимодальным поиском и Google Lens.

Что изменилось

Раньше визуальный поиск работал с одним объектом за раз. Обновление Circle to Search и Lens позволяет искать сразу несколько объектов на одном изображении. Если выделить на Android целый образ, результаты покажут каждую его деталь, а не одну вещь. Похожие улучшения появились в AI Mode для визуального поиска и выдачи картинок.

Как это устроено

Модели Gemini анализируют изображение вместе с вопросом пользователя и решают, какие инструменты использовать. Например, для образа из соцсетей модель обращается к Lens и одновременно ищет шляпу, обувь и куртку, а затем собирает результаты в один ответ. Берраде сравнивает модель с «мозгом», который видит картинку, а поисковую базу с миллиардами веб-результатов — с «библиотекой».

Техника fan-out

Модель рассуждает о нескольких объектах сразу и запускает множество поисков параллельно — это и есть fan-out. Фото сада, например, порождает вопросы о том, выживут ли растения в тени, подходят ли они климату и сколько ухода требуют. AI Mode ищет ответы по каждому растению и предлагает следующие шаги.

Начать можно и с текста, например «visual inspo for work outfits», а затем попросить показать больше вариантов, похожих на конкретную вещь. Среди других сценариев — фото витрины пекарни с вопросом о каждой выпечке или снимок стены в музее с пояснениями к картинам.