NVIDIA представила решение NeMo Guardrails с открытым кодом, призванное обеспечить безопасность приложений на основе ИИ — избавить ИИ-боты от так называемых галлюцинаций (ложных утверждений), оградить от обсуждения запретных тем и высказывания токсичных выражений, а также запретить выполнение нежелательных действий.

NVIDIA NeMo Guardrails предназначен для работы со всеми большими языковыми моделями (LLM), такими как ChatGPT от OpenAI. Решение позволяет разработчикам настраивать приложения на базе LLM, чтобы те были безопасными и оставались в сфере компетенции компании. NeMo Guardrails работает как промежуточный слой пользователем и LLM или другим ИИ-инструментом и предотвращает выдачу неверных результатов или подсказок.

Источник изображений: NVIDIA

NeMo Guardrails позволяет разработчикам устанавливать три типа границ:

• Тематические ограждения, которые предотвращают отклонение приложений в нежелательные области, обеспечивая ведение беседы в рамках определённой темы. Например, не позволяют ботам по обслуживанию клиентов, предназначенным для ответов на вопросы о продуктах, отвечать на вопросы о погоде.
• Ограждения безопасности, которые гарантируют, что LLM не выдаст дезинформацию и не вызовет негативную реакцию. Можно отфильтровать нежелательные выражения и обеспечить ссылки только на заслуживающие доверия источники.
• Охранные ограждения предотвращают выполнение LLM вредоносного кода и обеспечивают связь бота со сторонними приложениями только из разрешённого списка. Как подчеркнула компания, такие меры «помогают обеспечить надёжную модель безопасности и снижают риск атак на основе LLM по мере их обнаружения».

NVIDIA включила NeMo Guardrails в платформу NVIDIA NeMo, предоставляющую необходимые инструменты для обучения и настройки языковых моделей с использованием собственных данных компании. Значительная часть инструментария NeMo уже доступна на GitHub. Предприятия также могут получить его в виде полного и поддерживаемого пакета, входящего в состав платформы NVIDIA AI Enterprise.

Технологии искусственного интеллекта (ИИ) сегодня бурно развиваются и требуют всё более серьёзных вычислительных мощностей. Но наряду с наращиванием этих мощностей растут требования и к сетевой подсистеме, поэтому крупные компании и исследовательские организации ищут всё новые способы оптимизации инфраструктуры.

Компания Meta✴ в сотрудничестве с Массачусетским технологическим институтом (MIT) и рядом прочих исследовательских организаций опубликовала данные любопытного эксперимента, в котором ИИ-кластер мог менять топологию своего интерконнекта с помощью механической «роборуки».

Система получила название TopoOpt, поскольку вычислительные узлы в ней использовали полностью оптическую сеть с оптической же патч-панелью. Эта сеть объединяла 12 вычислительных узлов ASUS ESC4000A-E10, каждый из которых был оснащён ускорителем NVIDIA A100, сетевыми адаптерами HPE и Mellanox ConnectX-5 (100 Гбит/с) с оптическими трансиверами.

Источник здесь и далее: USENIX

Наиболее интересное устройство в эксперименте — оптическая патч-панель Telescent, оснащённая механическим манипулятором, способным производить перекоммутацию на лету. Эта «роборука» работала под управлением специализированного ПО, целью которого ставилось нахождение оптимальной сетевой топологии и сегментации сети применительно к различным задачам машинного обучения.

Система с перекоммутируемой оптической сетью не требует энергоёмких высокоскоростных коммутаторов и обеспечивает ряд других преимуществ

Такая роботизированная патч-панель не столь расторопна, как оптические коммутаторы Google с микрозеркальной механикой, но стоит впятеро дешевле и имеет больше портов. Опубликованные экспериментальные данные уверенно свидетельствуют о том, что топология «толстого дерева» (fat tree), использующая несколько слоёв коммутаторов, не оптимальна и даже избыточна для ряда нейросетевых задач.

К тому же перекоммутируемая оптическая сеть без традиционных высокоскоростных коммутаторов требует меньше оборудования, а значит, может быть не только быстрее сети fat tree в ряде ИИ-задач, но и существенно дешевле в развёртывании и поддержании в рабочем состоянии — как минимум за счёт отсутствия затрат на питание множества коммутаторов.

Как сообщает «ВКонтакте», теперь веб-сервисы организаций открываются внутри чат-бота: для оформления услуги пользователю не нужно покидать мессенджер, переходить в другие приложения или копировать ссылку для просмотра внешних ресурсов. Официальные чат-боты компаний будут помечены специальным баннером.

Компании могут в чат-боте проводить авторизацию клиентов, отправлять транзакционные уведомления, оказывать персональную поддержку. Для использования некоторых чат-ботов пользователи должны включить двухфакторную аутентификацию: это обеспечит дополнительную защиту. Бизнес же может внедрить собственные алгоритмы и этапы проверки авторизационных данных при пользовании чат-ботом.

Источник: «ВКонтакте»

«ВКонтакте» также усовершенствовала API для чат-ботов. Компании могут интегрировать в свои чат-боты уведомления с кнопками действий. Пользователь, открывая уведомление от бота, может в один клик оформить заявку, запросить статус заказа или совершить любое предложенное действие, не тратя время на поиск нужной команды. Как уверяют в компании, эти нововведения будут полезны в таких отраслях, как ритейл, страхование, электронная коммерция, маркетплейсы.

Бразильский оператор ЦОД Scala Data Centers возложила инспекцию своих ЦОД на плечи робота-собаки. Как сообщает DataCenter Dynamics, речь идёт о проверке пожарной безопасности объектов — робот Scaley уже прошёл испытания, в ходе которых смог считывать показатели давления с огнетушителей с помощью ИИ.

Компания сформирована в 2020 году из активов, доставшихся DigitalBridge от бразильской UOL Diveo. Сейчас она обслуживает, строит и разрабатывает сразу несколько ЦОД в Бразилии, но уже присматривается к рынкам Чили, Мексики и Колумбии. Имея столь масштабный бизнес, компании жизненно необходимы роботизированные помощники, способные если не полностью заменить людей, то значительно упростить им работу.

Изображение: Scala Data Centers

Таким помощником стал Scaley. Хотя многие операторы ЦОД используют для патрулирования роботов Spot, бразильский бизнес, похоже, выбрал модель Go1 компании Unitree, хотя официально об этом не заявляется. Робот высотой 30 см и длиной в метр заметно меньше, чем многие другие робособаки, но имеет 16-ядерный чипсет производительностью 1,5 Тфлопс, а также камеры и сенсоры.

Digital Realty начала использовать робособаку Anymal компании Anybotics для регулярного патрулирования ЦОД в Швейцарии ещё с лета 2022 года, а Novva, Oracle и другие активно используют Spot от Boston Dynamics — пожалуй, это одна из самых популярных моделей, хотя применяются и альтернативные варианты, вовсе не похожие на собак.

Роботы активно заменяют людей в патрулировании и охране важных объектов. Как сообщает DataCenter Dynamics, оператор ЦОД Digital Realty задействовал в своём швейцарском дата-центре в Цюрихе робособаку Anymal производства компании Anybotics для осмотра помещений более года. С июля 2022 года робот заступил на постоянно дежурство и каждый день делает несколько двухчасовых обследований вверенных ему помещений, проверяя обстановку по 70 параметрам.

Источник изображений: Anybotics/Digital Realty

Основанная в 2016 году Anybotics является швейцарским разработчиком и производителем робототехники. Модель Anymal очень напоминает робота Spot компании Boston Dynamics, но речь идёт о самостоятельной разработке. Четвероногий робопёс Anymal ростом 70 см и длиной 80 см в защищённом корпусе полностью автоматизирован и способен автономно бегать до 90 мин. На полную зарядку уходит три часа, но есть опция быстрой подзарядки. Робот самостоятельно возвращается к док-станции для пополнения запасов энергии.

Робособака способна использовать Wi-Fi и 4G/LTE. Имеется камера с возможностью зума, тепловизор, микрофон и бортовой компьютер. Anymal обеспечивает визуальный дистанционный осмотр, распознаёт перегрев или, например, оповещает об избыточных вибрациях оборудования. Наличие лидара и LED-подсветки позволяет действовать даже во время ночных смен. Впрочем, в Anybotics подчёркивают, что люди всё ещё нужны, а робот играет вспомогательную роль, своевременно предоставляя персоналу необходимые данные.

Digital Realty, управляющая тремя ЦОД в Цюрихе — не единственный оператор, экспериментирующий с помощниками в дата-центрах. Да и четвероногие роботы — не единственное решение. Например, Fujitsu и NTT Data разрабатывают роботов на моторизованной платформе для безлюдных ЦОД, почти не требующих для поддержания работы вмешательства человека, а Alibaba задействует в своих ЦОД автономные манипуляторы, напоминающие роботов на сборочных линиях.

Компания Oracle сообщила о тестировании роботов Boston Dynamics Spot в лаборатории Oracle Industry Lab с целью дальнейшего использования в центрах обработки данных (ЦОД). Компания опубликовала несколько видеороликов, посвящённых этим испытаниям. Испытания Boston Dynamics Spot стартовали в конце 2022 года, но Oracle не разглашает, какие именно задачи ставятся перед робопсами.

Пока цель состоит в том, чтобы робопёс автономно выполнял некоторые задачи в Oracle Industry Lab, пояснил Бурчин Капланоглу (Burcin Kaplanoglu), вице-президент по инновациям Oracle Industry Lab. В частности, робопёс, оснащённый лидаром, используется для картографирования и навигации в помещении лаборатории. В другом видео Капланоглу рассказал, что Oracle также тестирует использование дронов Skydio для автоматического облёта зданий и обнаружения коррозии с помощью сервисов машинного зрения в Oracle Cloud Infrastructure (OCI).

Источник изображения: Oracle

Oracle Industry Lab является своего рода испытательным стендом, где Oracle вместе с её партнёрами могут тестировать новые решения, включая разработки в строительстве, производстве, коммуникациях, энергетике и водоснабжении. При запуске в 2018 году Oracle Industry Lab представляла собой имитацию строительной площадки. В апреле 2022 года была открыта новая лаборатория, размещённая на трёх этажах общей площадью 2800 м².

Источник изображения: Oracle

Другие технологические компании тоже используют Boston Dynamics Spot для выполнения различных задач. Например, компания Novva из Юты (США) применяет робопсов и дроны для наблюдения и обеспечения безопасности ЦОД. Впрочем, есть и другие подходы. Так японские Fujitsu и NTT Data разрабатывают роботов на моторизованной платформе, а Alibaba задействует автономные манипуляторы в своих ЦОД.

Российская компания 3Logic Group сообщила об успешном завершении пилотного проекта по контролю качества строительных работ с использованием четырёхопорных роботов. В ходе тестирования, которое проводилось в крупной добывающей компании, робособаки использовались для создания 3D-моделей строящихся объектов.

Говорится, что робот подтвердили эффективность в задачах архитектурного надзора и мониторинга соблюдения сроков строительства. Например, 3D-модель строительного объекта при помощи мобильных робоплатформ может быть создана за 12 минут, тогда как геодезисту на это требуется до 72 часов. Причём в отличие от колёсных платформ четырёхопорный робот способен преодолевать лестницы и перешагивать через возможные препятствия.

Робот использует специализированное навигационное ПО, разработанное 3Logic Group. Оно включает алгоритмы машинного обучения, что позволяет совершенствовать выполняемые операции. Сначала робособака проходит нужный маршрут под управлением человека, который контролирует операции через приложение, например, на мобильном устройстве. Оператор, в частности, подсказывает траекторию движения и необходимые остановки, помогает в обходе препятствий и прохождении лестниц и пр. После этого ИИ-алгоритмы позволяют роботу ориентироваться в пространстве автономно и вмешательство человека уже не требуется.

Источник изображения: 3Logic Group

В ходе тестирования совместно со специалистами крупной добывающей компании робособака проходила заданные маршруты в помещениях стройплощадки в Тюмени. Она несла на борту сканирующее оборудование весом 2,5 кг. При этом сканирование пространства производится непрерывно, причём делать это можно возможно и в дневное, и ночное время. На получение 3D-модели объекта площадью 2000 м² было затрачено всего 12 минут. Погрешность виртуальной карты составила не более 2 см.

«В мониторинге строительства робоплатформы показали высокую точность в измерениях и скорость: машина справилась с геодезическими работами в 360 раз быстрее человека. Вместе с нашим заказчиком мы приблизились к созданию решения, которое позволит получить отличный результат и исключить сотрудников из рутинных задач и сохранить их здоровье», — сообщила 3Logic Group.

Компания NTT Data сообщила об успешном тестировании специализированных роботов Ugo, предназначенных для инспектирования дата-центров. В скором времени такие машины появятся в пятнадцати ЦОД NTT Data по всей Японии. Кроме того, планируется коммерциализация данного решения. Не так давно другая японская компания, Fujitsu, объявила о планах провести испытания частной сети 5G и специализированных роботов в одном из своих ЦОД для патрулирования залов с оборудованием.

Источник изображения: NTT Data

Опробованный NTT Data робот представляет собой торс с двумя руками-манипуляторами, установленный на моторизованной платформе. Ugo располагает тепловизионной камерой, микрофоном, датчиками влажности и температуры, а также анализатором веществ в воздухе. Перемещаясь по дата-центру, робот может выявлять аномалии в работе оборудования, отслеживая показания индикаторов, резкие перепады температуры и пр. Таким образом, можно осуществлять дистанционный мониторинг ЦОД, что позволяет снизить нагрузку на персонал.

Робот тестировался в дата-центре NTT Shinagawa в Токио с августа по ноябрь нынешнего года, где ежедневно выполнял инспекционные работы в течение 1–2 часов. Результаты эксперимента оказались положительными, и теперь компания намерена начать практическое внедрение роботов в апреле 2023 года. Нужно отметить, что в феврале 2022 года компания NTT Communications сообщила о планах по использованию роботов, способных взять на себя часть задач по обслуживанию дата-центров.

Switch представила патрульного робота для ЦОД ещё в 2020 году, но, судя по всему, дальше анонса дело не сдвинулось. Novva Data Centers решила не создавать с нуля робота, а адаптировать решения Boston Dynamics. Наконец, в Китае Huawei и Alibaba используют в дата-центрах собственных специализированных роботов для выполнения некоторых задач.

Fujitsu сообщила о планах провести полевые испытания частной сети 5G и специализированных роботов в одном из своих ЦОД с целью ускорения цифровой трансформации, повышения операционной устойчивости и автоматизации процессов. Проект поддержан Министерством внутренних дел и коммуникаций Японии.

Отмечается, что в условиях постоянно растущих объёмов информации залогом стабильной работы ЦОД являются своевременный мониторинг, качественное техническое обслуживание, а также быстрое восстановление в случае аварии, стихийного бедствия или другой чрезвычайной ситуации. Именно на решение этих задач нацелена новая инициатива Fujitsu. Тесты пройдут в дата-центре компании в Йокогаме.

Источник изображений: Fujitsu

В рамках проекта будут испытываться роботы с 4К-камерами для патрулирования залов с оборудованием. По индикаторам серверов, СХД и других устройств ИИ-система сможет определять отклонения от нормы. Оперативные сведения об этом через частную сеть 5G будут передаваться специалистам, в том числе удалённым, которые смогут дистанционно давать инструкции по устранению проблем работникам ЦОД. Кроме того, будет возможна блокировка несанкционированного обмена информацией внутри ЦОД.

От себя добавим, что современные системы мониторинга и управления IT-инфраструктурой позволяют избавиться от подобного вида патрулирования, но у инициативы Fujitsu есть и ещё одна цель — в рамках проекта будет изучен характер распространения радиоволн частной 5G-сети в условиях ограниченного пространства, большого количества компактно размещённого электронного оборудования и высоковольтных кабелей. Речь идёт об использовании диапазона 4,8–4,9 ГГц в закрытом помещении.

Испытания новой системы продлятся с 1 декабря 2022 года по 17 марта 2023-го. Предполагается, что полученные результаты помогут в создании региональных ЦОД повышенной надёжности, устойчивых к стихийным бедствиям и другим рискам, для обслуживания которых понадобится минимум людей.

Нужно отметить, что идея применения роботов в ЦОД не нова. К примеру, Alibaba Cloud использует специальные манипуляторы для замены проблемных накопителей. Компания Switch, один из крупных операторов ЦОД, создавала робота Switch Sentry для патрулирования периферийных дата-центров. В Японии разработку роботов для обслуживания ЦОД ведёт NTT Communications.