Gemini Live получил функцию анализа содержимого экрана и камеры

Компания Google начала масштабное обновление Gemini Live, добавляя долгожданные функции демонстрации ассистенту экрана и работы с камерой, которая уже доступна на смартфонах Pixel 9 и Galaxy S25. Ранее чат-режим Gemini поддерживал только голос, изображения, PDF и видео с YouTube, но благодаря Project Astra Gemini теперь может анализировать происходящее на экране вашего устройства и в реальном мире.

Как работает трансляция экрана в Gemini Live?

Пользователи могут делиться содержимым дисплея и задавать вопросы о том, что видят. Для этого достаточно:

1. Запустить ассистент Gemini и нажать на новую кнопку «Поделиться экраном в Live-чате».

2. Подтвердить разрешение на доступ приложения Google к экрану.

В статус-баре появится уведомление с таймером. Нажатие на него развернёт полноэкранный режим Gemini Live. Перед ответом ассистента вы почувствуете легкую вибрацию телефона.

Альтернативный способ — открыть Gemini Live вручную и нажать кнопку демонстрации экрана. Интерфейс стал компактнее: круглые кнопки сменили кнопки в виде «пилюли».

Видео с камеры в реальном времени

Теперь Gemini Live также можно показывать происходящее вокруг вас через основную или фронтальную камеру. Доступны:

• Просмотр в реальном времени (занимает большую часть экрана).

• Переключение между камерами (кнопка в правом нижнем углу).

Совет от Google: для лучшего распознавания держите камеру стабильно. Также можно перебить ассистента, начав говорить или тапнув по экрану (он работает только при активном дисплее).

Project Astra: будущее ИИ-ассистента

Разработка Project Astra (анонсирована на Google I/O 2024) направлена на создание универсального ИИ-ассистента для повседневных задач. В декабре 2024-го Google представил новые функции на базе Gemini 2.0, а в январе 2025-го анонсировал интеграцию с Galaxy S25.

Доступность

Функция уже разворачивается для всех пользователей Gemini на Pixel 9 и Galaxy S25 (официально часть Pixel Drop). Чтобы получить обновление скорее, возможно нужно будет принудительно остановить приложение Gemini/Google.

Вскоре трансляция экрана и камеры появится у подписчиков Gemini Advanced (тариф Google One AI Premium за $19.99/мес.) на других Android-устройствах.