Команда Orange Pi, как сообщает CNX Software, выпустила крошечный одноплатный компьютер Zero 2W. Это несколько более производительная альтернатива устройству Raspberry Pi Zero 2W, которое дебютировало почти два года назад.

Напомним, Raspberry Pi Zero 2W комплектуется чипом с четырьмя ядрами Arm Cortex-A53 с тактовой частотой 1 ГГц и 512 Мбайт оперативной памяти. В свою очередь, в оснащение Orange Pi Zero 2W вошел более быстрый процессор Allwinner H618 с тем же квартетом ядер Arm Cortex-A53, но их частота достигает 1,5 ГГц. Объём ОЗУ стандарта LPDDR4 может составлять 1, 1,5, 2 или 4 Гбайт.

Источник изображений: Orange Pi

Графический блок выполнен на контроллере Arm Mali-G31 MP2 с поддержкой OpenGL ES 1.0/2.0/3.2, OpenCL 2.0, Vulkan 1.1. Имеется VPU-узел с поддержкой VP9/10 Profile-2 (до 6Kp30), H.265 HEVC MP-10 @ L5.1 (до 6Kp30), H.264 AVC HP @ L5.1 (до 4Kp30) и H.264 MVC (до 1080p60). Предусмотрен разъём Micro HDMI 2.0 для вывода изображения.

В оснащение новинки вошли адаптеры Wi-Fi 5 и Bluetooth 5.0, два порта USB 2.0 Type-C, слот для карты microSD, 40-контактная колодка GPIO, совместимая с Raspberry Pi (I2C, SPI, UART, PWM), а также 24-контактный интерфейсный разъём (два порта USB 2.0, ТВ-выход, аудиовыход, 100MbE, вход ИК-приёмника).

Питание подаётся через один из портов USB 2.0 Type-C (5 В / 2 А). Габариты составляют 65 × 30 × 1,2 мм, вес — 12,5 г. Цена в зависимости от размера ОЗУ варьируется от $13 до $24. Ещё за $5 можно приобрести вспомогательную плату расширения с 3,5-мм аудиогнездом, двумя разъёмами USB 2.0, гнездом RJ-45 для сетевого кабеля и ИК-приёмником.

Компания NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). Платформа станет доступна в ближайшие недели.

Отмечается, что NVIDIA тесно сотрудничает с такими компаниями, как Meta✴, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML (входит в состав Databricks), OctoML, Tabnine и Together AI, для ускорения и оптимизации LLM. Однако большой размер и уникальные характеристики LLM могут затруднить их эффективное внедрение. Библиотека TensorRT-LLM как раз и призвана решить проблему.

Источник изображений: NVIDIA

ПО включает в себя компилятор глубокого обучения TensorRT, оптимизированные ядра (kernel), инструменты предварительной и постобработки, а также компоненты для повышения производительности на ускорителях NVIDIA. Платформа позволяет разработчикам экспериментировать с новыми LLM, не требуя глубоких знаний C++ или CUDA. Применяется открытый модульный API Python для определения, оптимизации и выполнения новых архитектур и внедрения усовершенствований по мере развития LLM.

По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x. TensorRT-LLM уже включает полностью оптимизированные версии многих популярных LLM, включая Meta✴ Llama 2, OpenAI GPT-2 и GPT-3, Falcon, Mosaic MPT, BLOOM и др.

Софт TensorRT-LLM использует тензорный параллелизм — тип параллелизма моделей, при котором отдельные весовые матрицы разделяются между устройствами. При этом TensorRT-LLM автоматически распределяет нагрузка между несколькими ускорителями, связаннными посредством NVLink, или множественными узлами, объединёнными NVIDIA Quantum 2 InfiniBand. Это позволяет легко масштабировать задачи инференса с одного ускорителя до целой стойки.

Для управления нагрузками TensorRT-LLM использует специальный метод планирования — пакетную обработку в реальном времени, которая позволяет асинхронно обслуживать множество мелких запросов совместно с единичными большими на одном и том же ускорителе. Эта функция доступна для всех актуальных ускорителей NVIDIA, причём именно она даёт двукратный прирост производительности инференса в случае H100.

Наконец, конкретно в случае H100 библиотека активно использует возможностиTransformer Engine, позволяющего динамически привести вычисления к FP8-формату, что ускоряет и обработку и снижает потребление памяти без ухудшения точности итогового результата. Одна эта функция позволяет добиться четырёхкратного прироста быстродействия H100 в сравнении с A100.

Исследовательская ИИ-лаборатория Imbue, по сообщению ресурса SiliconAngle, осуществила крупный раунд финансирования Series B, в ходе которого на развитие привлечено $200 млн. В результате этот стартап получил рыночную оценку в $1 млрд. Деньги предоставили NVIDIA, некоммерческая организация Astera Institute, генеральный директор Cruise LLC Кайл Фогт (Kyle Vogt), соучредитель Notion Labs Саймон Ласт (Simon Last) и ряд других инвесторов.

Imbue специализируется на разработке больших языковых моделей (LLM), оптимизированных специально для рассуждений (а также формирования выводов и предсказаний). Они имеют более 100 млрд параметров. Для сравнения: Llama-2 допускает использование до 70 млрд параметров. Imbue обучает модели, применяя особые наборы данных, сформированные с прицелом именно на развитие навыков рассуждения. Тренировка осуществляется на базе кластера, включающего около 10 тыс. ускорителей NVIDIA H100.

Изображение: Drew Dizzy Graham / Unsplash

Imbue использует свои LLM в составе ряда приложений автоматизации, которые компания называет агентами. Большинство из них предназначены для автоматизации задач кодирования. Некоторые агенты используются инженерами Imbue в рамках повседневной работы. Стартап также выполняет исследования в области теоретических основ глубокого обучения. Одним из направлений работ является обучение с самоконтролем — с использованием немаркированных данных, которые не содержат вспомогательной контекстной информации.

Компания NVIDIA и индийский транснациональный конгломерат Tata Group объявили о заключении расширенного соглашения о сотрудничестве, в рамках которого планируется создание масштабной инфраструктуры и платформ для реализации проектов в области ИИ. Говорится, что благодаря партнёрству тысячи организаций, предприятий и научных коллективов, а также сотни стартапов в Индии получат доступ к передовым ресурсам для создания ИИ-приложений.

Проектом предусмотрено развёртывание НРС-системы на основе суперчипов NVIDIA GH200 Grace Hopper. Речь идёт о создании в Индии облачной инфраструктуры, использующей глобальную сеть Tata Communications для обеспечения высокоскоростной передачи данных. Платформа позволит решать ресурсоёмкие задачи в области генеративного ИИ и больших языковых моделей. Похожий проект реализуется и с Reliance.

Источник изображения: NVIDIA

Новую систему, в частности, намерена применять компания Tata Consultancy Services (TCS), предоставляющая услуги в области IT и консалтинга. На базе готовящейся облачной среды TCS планирует разворачивать приложения генеративного ИИ. Сотрудничество с NVIDIA, как ожидается, поможет TCS повысить квалификацию своих сотрудников, штат которых насчитывает около 600 тыс. человек. В целом, партнёрство будет способствовать ИИ-трансформации различных компаний в составе Tata Group — от производства до потребительского бизнеса.

Компании NVIDIA и Reliance Industries сообщили о заключении соглашения о сотрудничестве, которое предусматривает разработку большой языковой модели для Индии. Она будет обучена на различных языках страны и адаптирована для приложений генеративного ИИ. Кроме того, будет построена отдельная ИИ-инфраструктура мощностью до 2000 МВт. Внедрением системы займутся специалисты компании Jio.

Партнёры намерены развернуть аппаратную ИИ-инфраструктуру, которая по производительности более чем на порядок превзойдёт самый мощный суперкомпьютер Индии. Для этого планируется задействовать суперчипы NVIDIA GH200 Grace Hopper, а также облачный сервис DGX Cloud.

Говорится, что платформа NVIDIA станет основой ИИ-вычислений для Reliance Jio Infocomm, телекоммуникационного подразделения Reliance Industries. В рамках партнёрства Reliance будет создавать приложения и услуги на основе ИИ для примерно 450 млн клиентов Jio, а также предоставит энергоэффективную ИИ-инфраструктуру учёным, разработчикам и стартапам по всей Индии.

Источник изображения: Reliance Industries

Применять ИИ планируется в самых разных отраслях — в сельском хозяйстве, медицине, климатологии и пр. В частности, приложения нового типа помогут предсказывать циклонические штормы, а также улучшат экспертную диагностику симптомов тех или иных заболеваний. Похожий проект реализуется и с Tata Group.

Корпорация IBM сообщила о грядущем повышении цен на доступ к облачным сервисам: изменения затронут платформы IaaS и PaaS. Рост стоимости будет варьироваться в зависимости от региона предоставления услуг, а новые тарифы вступят в силу с 1 января 2024 года.

Говорится, что в глобальном масштабе цены на облачные службы IBM поднимутся на 3 %. Это касается самых разных систем, включая Kubernetes Service, Red Hat OpenShift, все службы безопасности и все базы данных.

Источник изображения: IBM

Для клиентов из Далласа, Сан-Хосе и Вашингтона (округ Колумбия) повышение цен не предусмотрено. Наиболее сильно пострадают Осака, Сингапур, Токио, Ченнаи и Сидней, где цены вырастут на 20 %, а для заказчиков из Сан-Паулу прирост стоимости окажется максимальным — 29 %. Во Франкфурте, Мадриде, Милане и Париже цены поднимутся на 16 %, в Лондоне — на 13 %, в Амстердаме, Монреале и Торонто — на 6 %.

Указанные цифры означают прибавку по сравнению с базовыми ценами на облачные услуги в США (в USD). Изменения затронут серверы Bare Metal, виртуальные инстансы, файловые и блочные хранилища, а также сетевую инфраструктуру. Для пользователей IBM Accelerated Archive и Deep Archive рост цен составит соответственно 25 % и 26 %.

По данным аналитической компании Liftr Insights, AWS также повышает цены, в то время как Microsoft Azure и Alibaba Cloud несколько снизили тарифы. Гиперскейлеры в сложившейся макроэкономической обстановке активно предпринимают меры по оптимизации затрат на использование своих облаков.

Редакция ServerNews ищет авторов новостей. Если вы разбираетесь в мире информационных технологий для корпоративного сегмента и SMB и знаете этот рынок, умеете грамотно, быстро и интересно писать, у вас есть не менее двух-трёх часов свободного времени в день и вам нравится готовить публикации на тему IT — напишите нам! Предпочтение отдаётся кандидатам с опытом работы в сфере IT-журналистики.

Если же вы имеете опыт сетевого и системного администрирования, работали с серверным «железом» и ПО или разбираетесь в инфраструктуре ЦОД и инженерных системах, не понаслышке знакомы с облаками и промышленными решениями, но никогда не работали в СМИ, то вы можете попробовать себя в новой сфере, выполнив тестовое задание. Для этого самостоятельно найдите любую свежую новость в иноязычном источнике, которая, по вашему мнению, подходит по тематике для нашего сайта, и подготовьте публикацию объёмом 1,5–2 тыс. знаков.

Если вы хотите у нас работать, пишите нам на ed@servernews.ru. Тема письма: «Автор новостей ServerNews». Возможна удалённая работа. Обращения без приложенных примеров работ или выполненного тестового задания не рассматриваются.

Компания Libre Computer, по сообщению ресурса CNX Software, выпустила одноплатный компьютер AML-S905X-CC-V2 (Sweet Potato) в стиле Raspberry Pi 3B. Особенность устройства заключается в том, что оно позволяет загружать и устанавливать Linux-образы непосредственно через интернет с помощью инструмента Libre Computer OS Tool (LOST).

Задействован процессор Amlogic S905X, который объединяет четыре ядра Arm Cortex-A53 с тактовой частотой до 1,5 ГГц, графический узел Arm Mali-450MP и VPU-блок Amlogic Video Engine 10. Объём оперативной памяти DDR4 составляет 2 Гбайт (опционально — 1 Гбайт).

Источник изображения: CNX Software

Плата несёт на борту 16 Мбайт флеш-памяти SPI Flash; кроме того, может быть добавлен модуль eMMC 5.x. Есть слот microSD с поддержкой UHS SDR104, сетевой контроллер 10/100MbE с опциональной реализацией PoE, четыре порта USB 2.0, разъём HDMI 2.0 и порт USB Type-C для подачи питания (5 В / 3 А).

Среди прочего упомянуты интерфейсы S/PDIF и I2S, а также 40-контактная колодка (I2C, SPI, PWM, GPIO), совместимая с Raspberry Pi. Плюс к этому предусмотрен инфракрасный приёмник. Приобрести одноплатный компьютер AML-S905X-CC-V2 можно по ориентировочной цене $35. Фактически новинка является слегка обновлённой версией модели Le Potato 2017-го года.

C3 AI, разработчик решений для корпоративного ИИ, объявил о выходе пакета C3 Generative AI Suite, включающего 28 новых предложений в области генеративного ИИ, ориентированных на конкретные потребности различных отраслей, бизнес-процессов и корпоративных систем. Согласно заявлению C3 AI, вышедшие в марте 2023 года первоначальные модели C3 Generative AI уже используются целым рядом крупных компаний и организаций, включая Агентство по противоракетной обороне США.

C3 Generative AI Suite построен на платформе C3 AI, обеспечивающей единое рабочее пространство для разработки, тестирования и развёртывания моделей ИИ. Компания отметила, что в C3 Generative AI решены проблемы безопасности и достоверности, характерные для больших языковых моделей (LLM), из-за которых не допускается их широкое коммерческое использование на предприятиях.

Предложения C3 Generative AI Suite могут быть развернуты на любой облачной платформе и поддерживают широкий спектр ИИ-моделей, включая Falcon 40B, Llama 2, Flan-T5, Azure GPT-3.5, AWS Bedrock Claude 2, Google PaLM 2, OpenAI GPT-3.5 и MPT-7B. Платформа работает со структурированными и неструктурированными данными, а также может проводить оркестрацию инференса и глубокого обучения.

Источник изображения: C3 AI

По словам технического директора по продуктам компании, в дополнение к более широким отраслевым и предназначенным для отдельных случаев моделям, C3 AI также предлагает тонко настроенные LLM для конкретных задач, таких как ответы на вопросы, чат, обобщение, поиск и оркестрация. C3 AI рекомендует использовать генеративный ИИ с расширенным поиском (retrieval-augmented generative AI). Фреймворк подходит для извлечения фактов из внешней базы знаний, гарантирующий доступ модели к самой свежей информации.

«Такой подход помогает нам отделить LLM от личных данных клиента и избежать многих недостатков использования ориентированного на потребителя генеративного ИИ в корпоративном контексте, таких как отсутствие прослеживаемости и галлюцинации», — сказал Кришнан. «Это позволяет генеративному ИИ C3 минимизировать галлюцинации и предоставлять полные ссылки на источники, чтобы пользователи могли проверять ответы и проводить дальнейшие исследования», — отметил он.

C3 AI заявила, что её решения дают детерминированные ответы, а не случайные, и что результаты можно сразу проследить до источника. LLM закрыта брандмауэром от исходных данных, чтобы минимизировать риск утечки данных и кибератак. Компании также могут применять средства обеспечения кибербезопасности, такие как шифрование и многофакторная аутентификация, указывать в настройках, что модели работают только с принадлежащими предприятию и лицензированными данными, и обмениваться LLM с другими компаниями.

Все продукты из набора C3 Generative AI Suite уже доступны для установки заказчиком. C3 AI поможет заказчику внедрить своё приложение в производство в течение 12 недель, стоимость услуги — $250 тыс. После этого клиент производит почасовую оплату за использование vCPU/vGPU со скидками за объём.

ServerDomes объединит усилия с Fermaca Infraestructura для строительства дата-центров вдоль «тёмной» ВОЛС между Эль-Пасо (Техас, США) и штат Керетаро (Мексика). Как сообщает DataCenter Dynamics, компании заключили сделку, предусматривающую строительство нескольких алюминиевых купольных ЦОД вдоль кабельного маршрута.

Разработчик инновационных ЦОД ServerDomes, известная своими решениями ещё с 2017 года, подписала соглашение с мексиканской Fermaca Infraestructura, занимающейся инфраструктурными проектами и входящей в холдинг Fermaca Dreams. Fermaca Infraestructura получит эксклюзивное право строительства для своих клиентов ЦОД для периферийных вычислений в соответствии с дизайном, разработанным ServerDomes, хотя сколько именно ЦОД будет построено и где точно, не уточняется.

Строительством самой магистрали протяжённостью 1950 км занимается дочернее подразделение Fermaca Infraestructura — Fermaca Networks. Начало эксплуатации запланировано на IV квартал 2025 года.

Источник изображения: ServerDomes

Стандартный вариант такого дата-центра представляет собой геодезический купол с полезной площадью 743 м² и ёмкостью 4 МВт, при этом на не связанное с IT оборудование тратится лишь 0,2 МВт. Купольный ЦОД способен вместить до 168 стоек высотой 52U и соответствует стандарту Tier III. Каждая стойка имеет ёмкость до 25 кВт, а с использованием СЖО — и до 40 кВт.

PUE стандартного варианта составляет 1.13, WUE — 0,1 л/кВт·ч. Воздухозабор осуществляется у основания купола, а отвод тёплого воздуха — под крышей. Причём сама форма ЦОД способствует более эффективной циркуляции воздуха, используются и другие «пассивные» механизмы охлаждения и подачи воздуха. Система рассчитана на высокий уровень автоматизации с минимальным присутствием человека.

ServerDomes является детищем Орегонского университета здоровья и науки (OHSU), ещё в 2014 году построившего первую алюминиевую купольную систему с естественным воздушным охлаждением без использования кондиционеров, вентиляторов, систем осушения и др. В ServerDomes заявляют, что такая конструкция ЦОД позволяет экономить 27 % электроэнергии и 92 % воды в сравнении с объектом традиционной архитектуры с сопоставимыми характеристиками. Ранее сообщалось, что стоимость реализации исходного проекта составила $22 млн.