Краткое содержание:
- Компании Boston Dynamics, Caterpillar, Franka Robotics, Humanoid, LG Electronics и NEURA Robotics представили новых роботов и автономные машины, созданные на базе технологий NVIDIA — от мобильных манипуляторов до гуманоидов.
- NVIDIA выпустила новые открытые модели и данные NVIDIA Cosmos и GR00T для обучения и логического вывода в робототехнике, платформу Isaac Lab-Arena для оценки роботов, а также вычислительную среду OSMO (от периферии до облака) для упрощения рабочих процессов обучения роботов.
- NVIDIA и Hugging Face интегрировали открытые модели и библиотеки NVIDIA Isaac в платформу LeRobot, чтобы ускорить развитие сообщества разработчиков открытой робототехники.
- Модуль Jetson T4000 на базе архитектуры NVIDIA Blackwell теперь доступен: он обеспечивает в 4 раза большую энергоэффективность и производительность ИИ-вычислений.
LAS-VEGAS (CES) — Сегодня NVIDIA объявила о выпуске новых открытых моделей, фреймворков и ИИ-инфраструктуры для физического искусственного интеллекта, а также представила роботов для различных отраслей, созданных совместно с глобальными партнерами.
Новые технологии NVIDIA ускоряют рабочие процессы на всех этапах жизненного цикла разработки роботов, способствуя развитию следующего поколения робототехники, включая создание универсальных специализированных роботов, способных быстро обучаться выполнению множества задач.
Глобальные лидеры отрасли, включая Boston Dynamics, Caterpillar, Franka Robotics, Humanoid, LG Electronics и NEURA Robotics, используют стек робототехнических решений NVIDIA для презентации новых роботов с управлением на базе ИИ.
«Настал момент ChatGPT для робототехники. Прорывы в области физического ИИ — модели, которые понимают реальный мир, рассуждают и планируют действия — открывают совершенно новые возможности применения», — заявил Дженсен Хуанг, основатель и генеральный директор NVIDIA. «Полный стек решений NVIDIA, включающий процессоры для робототехники Jetson, платформу CUDA, Omniverse и открытые модели физического ИИ, позволяет нашим партнерам по всему миру трансформировать отрасли с помощью робототехники на базе ИИ».
Новые открытые модели продвигают обучение и логический вывод в робототехнике
Превращение современных дорогостоящих, узкоспециализированных и сложных в программировании машин в роботов общего назначения, способных к логическому выводу, требует огромных капиталовложений и экспертизы для создания фундаментальных моделей.
NVIDIA разрабатывает открытые модели, которые позволяют разработчикам избегать ресурсоемкого предварительного обучения и сосредоточиться на создании робототехники и автономных машин нового поколения. Эти новые модели, доступные на платформе Hugging Face, включают:
- NVIDIA Cosmos™ Transfer 2.5 и NVIDIA Cosmos Predict 2.5 — открытые, полностью настраиваемые мировые модели, которые обеспечивают генерацию синтетических данных на основе физических законов и оценку политик управления роботами в симуляции для физического ИИ.
- NVIDIA Cosmos Reason 2 — открытая визуальная языковая модель (VLM) с возможностями логического вывода, позволяющая интеллектуальным машинам видеть, понимать и действовать в физическом мире подобно людям.
- NVIDIA Isaac™ GR00T N1.6 — открытая визуальная языковая модель действий (VLA), специально разработанная для гуманоидных роботов. Она обеспечивает полный контроль над телом и использует NVIDIA Cosmos Reason для улучшенного логического вывода и контекстного понимания.
Компании Franka Robotics, NEURA Robotics и Humanoid используют рабочие процессы на базе GR00T для симуляции, обучения и проверки нового поведения роботов. Компания Salesforce использует Agentforce, Cosmos Reason и NVIDIA Blueprint для поиска и суммаризации видео, анализируя видеозаписи, сделанные её роботами, что позволяет сократить время устранения инцидентов в 2 раза.
Компания LEM Surgical использует NVIDIA Isaac for Healthcare и Cosmos Transfer для обучения автономных манипуляторов своего хирургического робота Dynamis, работающего на базе NVIDIA Jetson AGX Thor™ и Holoscan. Компания XRlabs использует Thor и Isaac for Healthcare для оснащения хирургических оптических систем (начиная с экзоскопов) функциями руководства действиями хирурга с помощью ИИ-анализа в реальном времени.
Новые открытые фреймворки симуляции и вычислений для разработки в области робототехники
Масштабируемая симуляция необходима для обучения и оценки роботов, но текущие рабочие процессы остаются фрагментированными и сложными в управлении. Бенчмаркинг часто выполняется вручную и трудно масштабируется, а сквозные конвейеры требуют сложной оркестрации разрозненных вычислительных ресурсов.
Сегодня NVIDIA выпустила новые открытые фреймворки на GitHub, которые упрощают эти сложные конвейеры и ускоряют переход от исследований к реальным сценариям использования.
NVIDIA Isaac Lab-Arena — это фреймворк с открытым исходным кодом, доступный на GitHub. Он предоставляет совместную систему для крупномасштабной оценки и бенчмаркинга политик управления роботами в симуляции. Уровни оценки и задач разработаны в тесном сотрудничестве с компанией Lightwheel. Isaac Lab-Arena подключается к ведущим отраслевым бенчмаркам, таким как Libero и Robocasa, стандартизируя тестирование и обеспечивая надежность и устойчивость навыков роботов перед их развертыванием на физическом оборудовании.
NVIDIA OSMO — это нативная облачная платформа оркестрации, которая объединяет разработку робототехники в едином, простом в использовании центре управления. OSMO позволяет разработчикам определять и запускать рабочие процессы, такие как генерация синтетических данных, обучение моделей и тестирование программного обеспечения в контуре (software-in-the-loop), в различных вычислительных средах — от рабочих станций до смешанных облачных инстансов, что ускоряет циклы разработки.
OSMO уже доступна и используется такими разработчиками роботов, как Hexagon Robotics, а также интегрирована в инструментарий Microsoft Azure Robotics Accelerator.
NVIDIA и Hugging Face ускоряют развитие открытого физического ИИ
Робототехника сейчас является самой быстрорастущей категорией на платформе Hugging Face, где открытые модели и наборы данных NVIDIA лидируют по количеству загрузок среди стремительно растущего сообщества разработчиков открытого ПО.
Для поддержки этого сообщества NVIDIA сотрудничает с Hugging Face для интеграции технологий Isaac и GR00T с открытым исходным кодом в ведущий фреймворк открытой робототехники LeRobot. Это обеспечивает удобный доступ к интегрированным программным и аппаратным инструментам, ускоряющим сквозную разработку. Данное сотрудничество объединяет 2 миллиона разработчиков в области робототехники от NVIDIA с глобальным сообществом из 13 миллионов создателей ИИ от Hugging Face.
Модели GR00T N и Isaac Lab-Arena теперь доступны в библиотеке LeRobot для простой тонкой настройки и оценки. Гуманоид Reachy 2 с открытым исходным кодом от Hugging Face будет полностью совместим с робототехническим компьютером NVIDIA Jetson Thor™, что позволит разработчикам запускать любые модели VLA, включая GR00T N1.6. Настольный робот Reachy Mini с открытым исходным кодом от Hugging Face также полностью совместим с NVIDIA DGX Spark™ для создания пользовательских решений с использованием больших языковых моделей NVIDIA, а также открытых моделей голоса и компьютерного зрения, работающих локально.
Разработчики гуманоидных роботов внедряют NVIDIA Jetson Thor
NVIDIA Jetson Thor удовлетворяет массивные вычислительные потребности гуманоидных роботов, обладающих способностью к логическому выводу. На выставке CES разработчики гуманоидов демонстрируют новые передовые роботы, интегрированные с Jetson Thor.
- NEURA Robotics запускает гуманоида Gen 3, разработанного совместно с Porsche, а также компактную версию, оптимизированную для ловкого управления.
- Richtech Robotics представляет Dex — мобильного гуманоида для сложной манипуляции и навигации в сложных промышленных условиях.
- AGIBOT представляет гуманоидов как для промышленного, так и для потребительского секторов, а также Genie Sim 3.0 — платформу симуляции роботов, интегрированную с Isaac Sim.
- LG Electronics представила нового домашнего робота, способного выполнять широкий спектр домашних задач.
Компании Boston Dynamics, Humanoid и RLWRLD интегрировали Jetson Thor в свои существующие модели гуманоидов для улучшения возможностей навигации и манипуляции.
Внедрение физического ИИ на промышленную периферию (Edge)
Предлагая экономически эффективный путь модернизации с высокой производительностью для клиентов NVIDIA Jetson Orin™, новый модуль NVIDIA Jetson™ T4000 приносит архитектуру NVIDIA Blackwell в автономные машины и общую робототехнику. Его цена составляет 1999 долларов при заказе партии от 1000 единиц. Модуль обеспечивает в 4 раза большую производительность по сравнению с предыдущим поколением (1200 TFLOPS в формате FP4) и 64 ГБ памяти, оставаясь в пределах конфигурируемого теплового пакета в 70 Вт, что идеально подходит для автономных систем с ограничениями по энергопотреблению.
NVIDIA IGX Thor, который станет доступен позже в этом месяце, расширяет возможности робототехники на промышленной периферии, предлагая высокопроизводительные ИИ-вычисления с поддержкой корпоративного программного обеспечения и функциональной безопасностью. Компания Archer использует IGX Thor для внедрения ИИ в авиацию, развивая критически важные возможности в области безопасности самолетов, интеграции в воздушное пространство и систем, готовых к автономной работе.
Партнеры, включая AAEON, Advantech, ADLINK, Aetina, AVerMedia, Connect Tech, EverFocus, ForeCR, Lanner, RealTimes, Syslogic, Vecow и YUAN, предлагают системы на базе Thor, оснащенные для решений в области edge-ИИ, робототехники и встроенных приложений.
Кроме того, компания Caterpillar расширяет сотрудничество с NVIDIA для внедрения передового ИИ и автономности в оборудование и на рабочие места в строительной и горнодобывающей отраслях. Генеральный директор Caterpillar Джо Крид поделится подробностями вместе с вице-президентом NVIDIA по робототехнике и edge-ИИ Дипу Таллой во время основного доклада на CES в среду, 7 января.
