Lattice Semiconductor представила на конференции для разработчиков Lattice Developers Conference новую эталонную платформу для ускорения разработки периферийных ИИ-решений использованием платформ NVIDIA Jetson Orin и IGX Orin. Сотрудничество Lattice с NVIDIA нацелено на повышение эффективности подключения сенсоров к приложениям для ИИ-обработки, что позволит расширить возможности сообщества разработчиков открытых платформ.

Согласно пресс-релизу, эталонная open source плата, основанная на энергоэффективных FPGA Lattice и аппаратной платформе NVIDIA Orin, предназначена для удовлетворения потребностей разработчиков в подключении к разнообразным датчикам и интерфейсам, при разработке масштабируемых высокопроизводительных периферийных ИИ-приложений с низким уровнем задержкидля нужд здравоохранения, робототехники, встраиваемых систем визуализации и т.д. Эталонная плата пока доступна лишь избранным клиентам, но Lattice планирует расширить доступ к решению и примерам приложений в I половине 2024 года.

Источник изображения: Lattice Semiconductor

«Мы рады сотрудничеству с NVIDIA, которое позволит расширить возможности наших эталонных решений, предлагая больше инноваций нашим клиентам и экосистеме, чтобы помочь упростить и ускорить внедрение периферийных приложений ИИ», — заявил директор по стратегии и маркетингу Lattice Semiconductor. В свою очередь директор по управлению встраиваемыми ИИ-продуктами NVIDIA отметил, что сотрудничество с Lattice позволит ускорить инновации в области обработки показаний датчиков и упростить развёртывание приложений ИИ «от периферии до облака».

Компания NVIDIA в ходе выставки Computex 2023 сообщила о том, что ряд крупных производителей электроники и компьютерной техники внедрили на своих предприятиях платформу Metropolis for Factories для автоматизации контроля процесса производства с помощью машинного зрения.

Metropolis for Factory представляет собой набор специализированных инструментов, который позволяет развёртывать системы контроля качества, учитывающие индивидуальные потребности конкретного производителя. Это помогает снизить процент бракованной продукции, сократить издержки и повысить конкурентоспособность конечных устройств.

Источник изображений: NVIDIA

На многих заводах уже применяются системы автоматизированного оптического контроля (AOI), но они зачастую имеют высокий уровень ложных срабатываний. Это требует выполнения трудоёмких и дорогостоящих вторичных ручных проверок. Платформа Metropolis for Factory позволяет решить проблемы благодаря передовым ИИ-алгоритмам. Технология комбинирует визуальные данные и ИИ для повышения операционной эффективности и безопасности в широком спектре отраслей.

Глава NVIDIA Дженсен Хуанг (Jensen Huang) сообщил, что более 50 промышленных гигантов внедряют или уже внедрили Metropolis for Factories. В число таких предприятий входят Foxconn, Pegatron, Quanta, Siemens и Wistron. Например, Pegatron применяет платформу для контроля качества производства печатных плат: говорится, что точность AOI-средств удалось повысить до 99,8 %. Wistron также использует NVIDIA Metropolis для автоматизации оптического контроля процесса изготовления печатных плат с помощью компьютерного зрения и алгоритмов ИИ.

Приложения Metropolis можно развернуть на платформе NVIDIA IGX, которая обеспечивает возможности ускоренных вычислений для ИИ на периферии с помощью проверенных серверов и обширной экосистемы партнёров. С помощью NVIDIA IGX и Metropolis традиционные предприятия могут быть трансформированы в интеллектуальные пространства.

Один из крупнейших производителей медицинского оборудования Medtronic со штаб-квартирой в Дублине и чипмейкер NVIDIA заключили соглашение о сотрудничестве с целью интеграции передовых ИИ-технологий NVIDIA в медицинское оборудование Medtronic для повышения его эффективности.

Как сообщается в пресс-релизе, ИИ-технологии NVIDIA будут интегрированы в интеллектуальный эндоскопический модуль GI Genius от Medtronic, разработанный и произведённый Cosmo Pharmaceuticals. GI Genius — это первый одобренный FDA инструмент для колоноскопии с ИИ, позволяющий обнаруживать полипы, которые без надлежащего лечения могут привести к колоректальному раку. Первые системы GI Genius, созданные с использованием технологии NVIDIA, будут доступны в конце этого года.

Источник изображения: NVIDIA

GI Genius используется набор ИИ-алгоритмов, а интеграция с медицинской платформой NVIDIA Clara позволит Medtronic масштабировать разработку алгоритмов для анализа данных в реальном времени и повысить эффективность лечения заболеваний. «Мы сотрудничаем с Medtronic, чтобы ускорить инновации в области ИИ, предоставив программно-определяемую бизнес-модель с целью улучшения процесса принятия клинических решений, снижения количества неточностей и улучшения результатов лечения пациентов», — сообщила NVIDIA.

Источник изображения: NVIDIA

Medtronic планирует использовать в системе колоноскопии GI Genius ИИ-обработку в режиме реального времени на базе промышленной аппаратной платформы NVIDIA IGX. Платформы NVIDIA Holoscan и IGX делают возможным создание программно-определяемых медицинских устройств, позволяя разработчикам эффективно обучать и проверять модели ИИ, после чего предоставлять к ним доступ в маркетплейсе Medtronic GI Genius AI Access по модели «Программное обеспечение как медицинское устройство» (SaMD).

Помимо новых GPU с архитектурой Ada компания NVIDIA на конференции GTC 2022 анонсировала множество новинок и не последней из них стала новая периферийная платформа IGX, призванная вывести «умную» промышленность на новый уровень. Главный упор в IGX сделан на обеспечении повышенной безопасности, причём как информационной, так и физической.

Использовать совместный труд роботов в промышленности пытаются уже давно, но до недавних пор такие решения были нестандартными и весьма дорогостоящими. IGX призвана обеспечить безопасность, стандартизацию и высокий уровень производительности, достаточный для современной робототехники.

Сердцем платформы IGX являются высокоинтегрированные модули серии Jetson AGX Orin, сочетающие в себе достаточно мощный процессор общего назначения, GPU-ускоритель, ускорители ИИ, машинного зрения, а также отдельный сопроцессор sMCU, отвечающий за обеспечение безопасности в проактивном режиме. Последний работает в комплексе с новыми программными расширениями, легко интегрируемыми в большинство коммерческих ОС благодаря сопутствующему программному стеку NVIDIA AI Enterprise.

NVIDIA IGX. Здесь и далее источник изображений: NVIDIA

Что касается проактивной защиты, то, к примеру, получив сигнал с видеокамер о том, что человек приближается к «зоне ответственности» роботов, система автоматически изменит траекторию движения последних, предупредит сотрудников, а также на основании полученных данных скорректирует поведение роботов в дальнейшем. Также с помощью технологии «цифровых двойников» можно будет провести симуляцию, дабы заранее выяснить возможные точки потенциально опасных столкновений машин и людей.

NVIDIA IGX сделает подобные сценарии безопасными

Производительность центрального модуля IGX составляет 275 Топс в режиме INT8. Обеспечение сетевых возможностей возложено на плечи современного сетевого адаптера ConnectX-7, гарантирующего прецизионные тайминги, позволяющие использовать платформу не только в промышленности, но и в медицине, где вопросы безопасности и точности жизненно важны.

Естественно, индустрия нового поколения не может обойтись без унифицированных средств управления и обеспечения кибербезопасности. Весь комплекс решений на базе новой платформы IGX может развёртываться и управляться с единой консоли с помощью облачной системы NVIDIA Fleet Command. За безопасность при этом отвечает выделенный контроллер. На более высоком уровне за интеграцию новой платформы в единую экосистему отвечает фреймворк NVIDIA Metropolis, с помощью которого можно создавать по-настоящему крупномасштабные комплексы, включая целые «умные города».

Программно-аппаратный состав новой платформы

Отдельного упоминания заслуживает то, что новая платформа NVIDIA IGX избрана в качестве основы разработчиками медицинских систем, в частности, цифровой и робо-хирургии, такими как Activ Surgical, Moon Surgical и Proximie. Это стало возможным как благодаря аппаратным свойствам платформы, таким как низкая латентность и гарантированное время отклика, так и сочетанию фреймворков MONAI и Clara Holoscan.

Первый позволяет обучать специфические ИИ-модели на основании массивов медицинских данных. Эти модели затем могут интегрироваться с помощью Clara Holoscan SDK в реальные системы ультразвукового сканирования, эндоскопии или робохирургии. Помимо встроенных средств ускорения IGX, Clara Holoscan поддерживает и внешние ускорители NVIDIA RTX A6000, а технология Rivermax обеспечит передачу видеоданных для робота-хирурга на скорости 100 Гбит/с прямо в набортную память GPU.

Комплекты разработчика IGX Orin будут доступны заказчикам в начале следующего года. Уже достигнуты соглашения с производителями встраиваемого оборудования ADLINK, Advantech, Dedicated Computing, Kontron, Leadtek, MBX, Onyx, Portwell, Prodrive Technologies и YUAN; уже испытывает новинку в деле Siemens. Также NVIDIA сотрудничает с Canonical, Red Hat и SUSE в целях обеспечения долговременной поддержки платформы, срок которой составит не менее 10 лет.