Компания Lambda Labs объявила о привлечении финансирования в размере $500 млн для расширения своей облачной «платформы по требованию», которая предназначена для решения задач в области ИИ и машинного обучения. Программу возглавила Macquarie Group при участии Фонда промышленного развития (IDF).

Стартап Lambda Labs был основан в 2012 году. Он предоставляет услуги облачных ИИ-вычислений с использованием собственных систем на базе ускорителей NVIDIA и чипов AMD и Intel. Фирма сдаёт в аренду места в дата-центрах в Сан-Франциско (Калифорния) и Аллене (Техас). Компания также продаёт настольные рабочие станции на базе GPU.

Источник изображения: Lambda Labs

В феврале нынешнего года Lambda Labs сообщила о проведении инвестиционного раунда Series C на сумму в $320 млн. Как теперь стало известно, компания получила финансовую поддержку «специального назначения» обхёмом $500 млн для развития облачной ИИ-инфраструктуры. Речь идёт о внедрении «десятков тысяч» ускорителей.

Подход к предоставлению вычислительных ресурсов, который использует Lambda Labs, как отмечается, даёт возможность обслуживать тысячи клиентов без необходимости заключения долгосрочных контрактов. Таким образом, поддерживаются инновации в области ИИ, генеративных сервисов и больших языковых моделей (LLM). Lambda Labs также поддерживает платформу NVIDIA AI Enterprise, предоставляя полный набор решений для разработчиков генеративного ИИ.

Компания Hailo анонсировала специализированный модуль Hailo-10, предназначенный для обслуживания генеративного ИИ. Этот ускоритель с высокой энергетической эффективностью может быть установлен, например, в рабочую станцию или edge-систему.

Изделие выполнено в форм-факторе M.2 Key M 2242/2280 с интерфейсом PCIe 3.0 х4. В оснащение входят чип Hailo-10H и 8 Гбайт памяти LPDDR4. Говорится о совместимости с компьютерами, оснащёнными CPU на архитектурах x86 и Aarch64 (Arm64). Заявлена поддержка Windows 11, а также ИИ-фреймворков TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX.

Источник изображения: Hailo

Как отмечает Hailo, новинка обеспечивает ИИ-производительность до 40 TOPS. Типовое энергопотребление составляет менее 3,5 Вт. Утверждается, что ИИ-модуль поддерживает нагрузки, связанные с инференсом, в режиме реального времени. Например, при работе с большой языковой моделью Llama2-7B достигается скорость до 10 токенов в секунду (TPS). При использовании Stable Diffusion 2.1 возможна генерация одного изображения на основе текста менее чем за 5 с.

Применение Hailo-10 позволяет перенести определённые ИИ-нагрузки из облака или дата-центра на периферию. Это снижает задержки и даёт возможность решать задачи в офлайновом режиме. Изначально новинка будет позиционироваться для применения в сферах ПК и автомобильных информационно-развлекательных комплексов для обеспечения работы чат-ботов, средств автопилотирования, персональных помощников и систем с голосовым управлением.

Поставки образцов Hailo-10 будут организованы во II квартале 2024 года. В ассортименте компании также присутствует ускоритель Hailo-8 в формате M.2: он обеспечивает производительность до 26 TOPS и при этом имеет энергоэффективность 3 TOPS/Вт.

Стартап в области ИИ Cohere объявил о запуске новой большой языковой модели Command R+, предназначенной для поддержки реальных корпоративных бизнес-процессов и сценариев использования.

Command R+ представляет собой самую мощную и масштабируемую на сегодняшний день LLM Cohere, которая пополнила серию моделей R, ориентированных на баланс точности и эффективности при низкой стоимости использования. Она опирается на наиболее сильные стороны вышедшей в прошлом месяце менее мощной модели Command R, говорит разработчик. Компании могут адаптировать Command R+ с использованием собственных данных, она оптимизирована для RAG. По словам Cohere, это позволяет Command R+ предоставлять высокоточные ответы и значительно снижает вероятность галлюцинаций.

Источник изображений: Cohere

Как утверждает Cohere, Command R+ превосходит аналогичные модели как по стоимости, более низкой чем у конкурентов, так и масштабируемости в отношении решения корпоративных задач документооборота по ключевым «критически важным для бизнеса возможностям». Новая модель поддерживает корпоративные варианты использования, такие как категоризация, автоматизация использования инструментов документооборота, анализ данных и многое другое. Клиенты могут также использовать её для написания маркетинговых текстов.

Подобно Command R, новая модель имеет контекстное окно на 128 тыс. токенов. Этого вполне достаточно для обработки больших объёмов документации. Также сообщается о поддержке более 10 языков, включая английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, арабский и китайский.

Что немаловажно, Command R+ и семейство LLM R могут выступать в качестве основного аналитического центра для принятия решений при автоматизации бизнес-процессов. В сочетании с инструментами Cohere она может автоматически обновлять задачи, действия и записи по управлению взаимоотношениями с клиентами, помогать в обслуживании последних, выполнять заказы и другие обязанности, обещают авторы.

Модель Command R+ поддерживает многоэтапное использование инструментов при выполнении сложных задач. Модель способна анализировать проблемы, возникающие при выходе конкретного инструмента из строя или ошибке, корректировать ходы и способы решения задачи. Такой подход позволяет повысить вероятность успешного решения задачи.

Cohere также объявила о расширении сотрудничества с Microsoft с целью ускорения внедрения ИИ на предприятиях. Благодаря этому разработчики и предприятия могут получить доступ к Command R+ в Microsoft Azure. В ближайшие недели новая модель станет доступна в Oracle Cloud Infrastructure и других облачных платформах. В настоящий момент разработчики могут опробовать новую модель в демонстрационной среде Cohere и протестировать её в чате.

Компания «Инфосистемы Джет» объявила об открытии центра компетенций SAP Basis: отечественные специалисты помогут в поддержке продуктов немецкой корпорации SAP, которая покинула российский рынок в связи со сложившейся геополитической обстановкой.

По оценкам экспертов «Инфосистем Джет», на сегодняшний день более половины крупных организаций в России всё ещё используют продукты SAP. А опрос, проведённый группой компаний IBS, показал, что только около 28 % предприятий в РФ в сфере крупного бизнеса отказались от ERP-систем SAP и перешли на импортонезависимые решения. Сама SAP в марте 2024 года закрыла российским пользователям доступ к своим облачным сервисам.

«Инфосистемы Джет» открыли направление работы с SAP в 2008 году: в частности, более 15 лет компания предоставляет услуги сервисной поддержки и IT-аутсорсинга заказчикам в разных секторах экономики. Отмечается, что в сформировавшейся обстановке российский бизнес сталкивается с трудностями при поддержке существующей инфраструктуры на базе платформ SAP. Центр компетенций SAP Basis как раз и призван решить соответствующие проблемы.

Источник изображения: SAP

Центр предоставляет услуги по обслуживанию SAP-систем согласно стандартам SAP PCoE (Partner Center of Expertise). Отмечается, что накопленная экспертиза и большая команда специалистов «Инфосистем Джет» позволяют обеспечить гарантированное качество на уровне производителя. При этом продукты немецкого поставщика поддерживаются в их технологичном окружении.

«Несмотря на уход SAP с российского рынка, большинство крупных компаний в промышленности и ретейле продолжают использовать решения вендора в своём IT-ландшафте. Мы знаем, что сокращение простоя даже на 10 минут значительно снижает потери заказчика. Поэтому работаем проактивно: детально анализируем каждый ландшафт, взаимосвязи, находим и предлагаем оптимальную конфигурацию под каждую систему. Это позволяет не только качественно сократить время простоя, но и снизить требования к IT-инфраструктуре, а значит, сократить затраты», — говорит Сергей Хаюров, директор центра компетенций SAP Basis.

В 2023 году, по оценкам J’son & Partners Consulting, объём российского рынка корпоративных коммуникаций составил приблизительно 81 млрд руб. Ожидается, что к 2028-му затраты удвоятся и достигнут 164,2 млрд руб. Таким образом, показатель CAGR (среднегодовой темп роста в сложных процентах) в течение рассматриваемого периода окажется на уровне 15 %.

Аналитики учитывают поставки решений для корпоративной телефонии, видеоконференцсвязи (ВКС), а также корпоративных мессенджеров и почтовых систем. J’son & Partners прогнозирует, что на фоне сложившейся геополитической обстановки продажи отечественных продуктов для корпоративных коммуникаций поднимутся с 37 млрд руб. в 2023 году до 149 млрд руб. в 2028-м. Значение CAGR ожидается около 33 %. Если прогноз оправдается, доля российских решений (ПО и оборудование) вырастет с 45 % в 2023 году до 91 % в 2028-м.

Источник изображения: J’son & Partners Consulting

В исследовании сказано, что продажи отечественных систем ВКС, включая ПО и оборудование, увеличатся до 44,5 млрд руб. в 2028 году по сравнению с 9,8 млрд руб. в 2023-м, что соответствует величине CAGR в 35 %. Спрос на средства корпоративной телефонии (виртуальные АТС на серверах, софт, IP-телефоны и др.) поднимутся за этот период с 20,2 млрд до 56,1 млрд руб. со значением CAGR в 23 %.

В сегменте корпоративных мессенджеров продажи продуктов достигнут 28,2 млрд руб. в 2028 году по сравнению с 2,8 млрд руб. в 2023-м (величина CAGR составит 59 %). В секторе корпоративных почтовых решений (почтовые серверы в инфраструктуре заказчика и др.) ожидается величина CAGR на уровне 40 %, а продажи вырастут с 3,9 млрд руб. до 20,9 млрд руб.

В тройку лидеров рынка отечественных систем ВКС входят такие компании, как IVA Technologies, Vinteo и TrueConf. Вместе с тем такие поставщики, как Cisco Systems, Microsoft и Avaya, покинули рынок РФ.

В реестре радиоэлектронной продукции Минпромторга появился первый отечественный сервер для работы ИИ с поддержкой подключения нескольких ускорителей — Delta Sprut от ООО «Дельта компьютерс» (Delta Computers), позволяющий подключить до 16 ускорителей, пишет ресурс «Ведомости». С его помощью можно выполнять «тяжёлые» технические задачи, включая связанные с обучением генеративных ИИ-моделей, распознаванием и синтезом речи, работой цифровых ассистентов или распознаванием лиц в видеопотоке.

Delta Sprut включили в реестр 22 февраля 2024 года. До этого в перечне были только серверы с возможностью подключения одного ускорителя для выполнения более простых задач, таких как рендеринг фото- и видеоизображений. Следует отметить, что несмотря на включение в отечественный реестр, серверы Delta используют иностранные ускорители — в стране аналогов пока нет.

Источник изображения: Delta Computers

В России разработкой серверов с возможностью подключения ускорителей также занимаются компании «Тринити» и Yadro, но это более простые и маломощные устройства, сообщил лидер по ИИ и управлению данными ФКУ «Гостех» Михаил Федоров. По его мнению, в числе потребителей модуля Delta Computers могут быть госструктуры, поскольку он технически аттестован для использования федеральными и региональными органами власти. Также его можно использовать на «ГосТехе» при построении информсистем.

По словам представителя «ГосТеха», платформа пока не использует серверы с поддержкой ускорителей. В свою очередь, директор НОЦФНС России и МГТУ им. Н. Э. Баумана, эксперт рынка НТИ TechNet Алексей Бородулин отметил, что для дальнейшего развития «ГосТеха» потребуется большое количество ускорителей для решения высоконагруженных задач и распараллеливания вычислительных процессов. С 1 января 2024 г. на платформу «ГосТеха» перевели не только федеральные, но и региональные ведомства, в связи с чем назрела необходимость увеличения вычислительных мощностей.

Nvidia и индонезийская телекоммуникационная компания Indosat Ooredoo Hutchison планируют построить ИИ-центр стоимостью $200 млн в Центральной Яве, провинции Индонезии, являющейся крупнейшей экономикой Юго-Восточной Азии. Об этом сообщило агентство Reuters со ссылкой на заявление министра связи страны Буди Арие Сетиади (Budi Arie Setiadi).

Согласно заявлению Министерства связи и информатики Индонезии, новый ИИ-центр будет построен в Суракарте в конце этого года. «Почему в Суракарте? Потому что они готовы, имеют хорошие человеческие ресурсы и инфраструктуру 5G», — отметил глава ведомства. По словам представителя Indosat Стива Саеранга (Steve Saerang), сотрудничество с Nvidia будет способствовать развитию технологической инфраструктуры в Индонезии. Indosat в настоящее время более глубоко углубляется в сферу цифровых сервисов, стремясь выйти за рамки телекоммуникаций и предлагать более широкий спектр услуг, пишет Nikkei Asia.

Источник изображения: NVIDIA

В свою очередь замминистра связи Незар Патриа (Nezar Patria) отметил, что сотрудничество носит стратегический характер и выразил надежду, что будет также осуществляться передача технологий, чтобы в дальнейшем Индонезия могла стать «частью игроков в области ИИ, которые принимаются во внимание как на региональном, так и на глобальном уровне».

Партнёрство с Indosat является следующим этапом наращивания присутствия Nvidia в Юго-Восточной Азии, включая Сингапур и Малайзию. В январе Singapore Telecommunication (Singtel) объявила о сотрудничестве с Nvidia для развёртывания возможностей ИИ в своих ЦОД. YTLP Group из Малайзии заявила, что запускает первое в стране облако ИИ с использованием ускорителей Nvidia Blackwell.

Группа компаний РСК представила модульное решение «РСК Экзастрим ИИ», предназначенное, как видно из названия, для развития ИИ-инфраструктуры в России.

Новинка представляет собой серверный узел высотой 2U на базе Intel Xeon Sapphire Rapids, который включает до восьми ускорителей, например, NVIDIA H100. 32 слота DDR5 позволяют установить до 8 Тбайт RAM. В узел можно установить до восьми SSD в форм-факторе EDSFF E1.S общим объёмом до 20 Тбайт. Надлежащий температурный режим обеспечивает фирменная СЖО РСК с температурой хладоносителя +40–+50 °C. Спецификации устройства также включают до четырёх подключений Infiniband HDR/NDR, поддержку сети 10GbE и фирменный блок питания с жидкостным охлаждением.

Источник изображений: РСК

Пиковая производительность «РСК Экзастрим ИИ» при использовании ускорителей NVIDIA H100 составляет 208/408 Тфлопс (FP64/TF64). В универсальном шкафу «РСК Экзастрим» высотой 42U можно разместить до 21 вычислительного узла «РСК Экзастрим ИИ», благодаря чему суммарная пиковая производительного такой стойки составит 4,368/8,568 Пфлопс (FP64/TF64) при энергопотреблении всего 115 кВт.

Компания Content AI, российский разработчик решений для интеллектуальной обработки информации, выпустила кроссплатформенную версию серверного решения для распознавания и конвертации документов ContentReader Server 15. Это первая версия продукта, доступная для использования как в среде Windows, так и на операционных системах на базе Linux, в том числе отечественных ОС.

ContentReader Server позволяет в потоковом режиме распознавать и преобразовывать файлы в PDF и другие электронные редактируемые форматы с полным сохранением структуры документа. Решение может работать с текстовыми и графическими форматами и переводить их в PDF, PDF/A, DOCX или другие типы файлов, удобные для поиска, просмотра, обмена и хранения.

ContentReader Server получает изображения из сетевых папок, со сканеров, почтовых ящиков и Microsoft SharePoint и, используя технологии распознавания, автоматически конвертирует их в цифровые форматы с возможностью поиска

Программный комплекс ContentReader Server может использоваться для автоматической конвертации любого объёма входящих или внутренних бухгалтерских, финансовых, юридических и других документов и их импорта в информационную систему организации, а также подходит для создания электронных архивов и цифровых библиотек. Интеграция решения доступна по REST API.

Платформа зарегистрирована в реестре российского программного обеспечения и полностью подходит для задач импортозамещения.

По оценкам DIGITIMES Research, доходы тайваньского бизнеса, связанного с серверами, в 2023 году превысили 2 трлн тайваньских долларов, сократившись на 7 %. Согласно последнему отчету, снижение физического объёма поставок на 17,5 % привело к гораздо меньшим денежным потерям, чем ожидалось, так как в структуре экспорта выросла доля высокопроизводительных ИИ-серверов, стоящих чрезвычайно дорого.

В 2024 году DIGITIMES Research прогнозирует продолжение этой тенденции и спрос на замену серверов общего назначения, что приведёт к увеличению доходов тайваньских производителей серверов на 15 %.

Несмотря на сокращение заказов со стороны облачных провайдеров (CSP) на серверы общего назначения, а также связанные с ними услуги и оборудование, Foxconn (Hon Hai Precision Industry) в 2023 году осталась на первом месте по выручке от продаж серверов среди тайваньских производителей. По оценкам, в 2024 году Foxconn Group сохранит лидерство вследствие большого объема заказов на новые процессоры Amazon Graviton и роста продаж новых решений NVIDIA во II половине года. Ожидается, что доходы Foxconn от продаж серверов вырастут почти на 15 %.

Компания Wistron Group (включая Wiwynn), занявшая второе место, имела в 2023 году самые стабильные показатели выручки среди тайваньских компаний, снижение которой, по оценкам, составило всего 5,2 %. Wistron является основным поставщиком HGX-модулей NVIDIA A100/H100 и иных несущих плат для ускорителей, которые принесли существенный доход.

В 2024 году выручка Wistron Group также значительно вырастет благодаря таким благоприятным факторам, как увеличение поставок как ИИ-серверов для гиперскейлеров, так и фирменных ИИ серверов. Доходы Quanta Computer, занимающей третье место, в 2023 году по серверному направлени. сократились на 9,2 %, поскольку североамериканские облака перенесли часть своих расходов на приобретение дорогостоящих ИИ-серверов и значительно сократили закупки серверов общего назначения. В 2024 году, в связи со существенным увеличением доли ИИ-серверов с более высокой маржинальностью, выручка Quanta может вырасти на 14,5 %.

В 2023 году у компании Inventec первое место по объему поставок серверов в виде материнских плат, а по выручке — четвертое. В 2023 году, когда спрос на серверы общего назначения со стороны поставщиков фирменных решений и клиентов CSP после пандемии снизился, выручка Inventec от продажи серверов упала на 9,5 %, что стало самым значительным снижением среди четырех крупнейших тайваньских производителей. Ожидается, что в 2024 году заказы от крупных клиентов возобновятся, а продажи вырастут на 9 %.