Google DeepMind представила модель для создания интерактивных 3D-миров

Google DeepMind представила Genie 4 — модель, которая создает интерактивные виртуальные миры в реальном времени. Пользователь перемещается по сгенерированной среде с помощью клавиатуры, а модель на ходу достраивает пространство вокруг: графику, физику, звук и диалоги.

Genie 4 точнее предыдущих версий передает фотореалистичную картинку и физику, например столкновения предметов и аэродинамику. Люди внутри мира двигаются естественно, и ими можно управлять. Сцену можно менять текстовыми командами прямо во время симуляции: сменить погоду, передвинуть камеру, добавить человека или объект.

В Google DeepMind называют Genie 4 первой моделью мира, которая сама генерирует звук в реальном времени, включая фоновые шумы и музыку. Персонажи могут отвечать пользователю и реагировать на события в мире. Чтобы сцена оставалась целостной, модель работает вместе с Gemini: тот планирует шаги и проверяет результат.

Разработчики видят несколько сценариев применения Genie 4. Режиссеры могут быстро набрасывать сцены будущих фильмов, разработчики игр — проверять механики, а инженеры — моделировать ситуации для обучения роботов. Модель также умеет превращать архивные фотографии в объемную среду. Все созданное видео и аудио помечается невидимым водяным знаком SynthID.

Пока Genie 4 доступна в закрытом тестировании. Первыми ее получат подписчики тарифа Google AI Ultra в сервисе Project Genie и партнеры с ранним доступом к Gemini API и Google AI Studio. Желающие могут записаться в лист ожидания.

Источник: Google DeepMind