На конференции NVIDIA GTC 2025 компания представила Cosmos Reason — открытую и полностью настраиваемую модель reasoning vision language (VLM) нового поколения для робототехники и физического ИИ.
Её главная особенность — способность рассуждать и принимать решения, опираясь на прошлый опыт, знание физических законов и здравый смысл. И всё это — в реальном времени, работая с видео и текстовыми запросами.
Как это работает
Представьте: в систему загружают видео и текстовую задачу. Cosmos Reason преобразует видео в специальные «токены» с помощью визуального кодировщика и проектора. Эти токены объединяются с текстовым запросом и поступают в ядро модели, где уже подключаются крупные языковые модули.
Модель анализирует информацию пошагово, формирует логичные ответы и выдает оптимальное решение для действий в физическом мире.
Чтобы добиться такой глубины мышления, NVIDIA использовала комбинацию обучения с учителем и обучения с подкреплением. Это позволило соединить мультимодальное восприятие с реальными сценариями принятия решений.
В результате —
+10% к базовой производительности модели на задачах физического ИИ и ещё
+5% благодаря reinforcement learning.
Итог — впечатляющий средний результат 65,7 балла на ключевых бенчмарках в робототехнике и автономном транспорте.
Где это пригодится
Автоматизация обработки данных
Cosmos Reason умеет отбирать, критиковать и размечать огромные наборы данных без участия человека, экономя недели ручной работы.
Планирование и логика для роботов
Роботы смогут разбивать сложные команды на простые задачи и выполнять их, опираясь на здравый смысл, даже в незнакомой обстановке.
Аналитика видео в реальном времени
AI-агенты на базе Cosmos Reason могут искать, обобщать и анализировать видеопотоки. Это особенно полезно для городских транспортных сетей, фабрик и складов, где нужно быстро находить причины сбоев.
Cosmos Reason — это шаг к тому, чтобы роботы и системы ИИ не просто «видели» и «слышали» мир, но и понимали, что происходит, и могли действовать максимально эффективно.
Если раньше мы говорили о машинах, которые выполняют команды, то теперь речь идёт о машинах, которые могут думать.