Mozilla представила первый релиз инструмента llamafile, позволяющего упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе, причём ещё и с поддержкой GPU-ускорения в большинстве случаев. Это упрощает дистрибуцию и запуск моделей на ПК и серверах.

llamafile распространяется под лицензией Apache 2.0 и использует открытые инструменты llama.cpp и Cosmopolitan Libc. Утилита принимает GGUF-файл с весами модели, упаковывает его и отдаёт унифицированный бинарный файл, который запускается в macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD. Готовый файл предоставляет либо интерфейс командной строки, либо запускает веб-сервер с интерфейсом чат-бота.

Источник: GitHub / Mozilla Ocho

Поддерживаются платформы x86-64 и ARM64, причём в первом случае автоматически определяется тип CPU и по возможности используются наиболее современные векторные инструкции. llamafile может использовать ускорители NVIDIA, а в случае платформы Apple задействовать Metal. Разработчики успешно протестировали инструмент в Linux (в облаке Google Cloud) и Windows с картой NVIDIA, в macOS и на NVIDIA Jetson.

Впрочем, некоторые нюансы всё же есть. Так, в Windows размер исполняемого файла не может превышать 4 Гбайт, поэтому большие модели вынужденно хранятся в отдельном файле. В macOS на платформе Apple Silicon перед первым запуском всё же придётся установить Xcode, а в Linux, возможно, понадобится обновить некоторые компоненты. Подробности и примеры готовых моделей можно найти в репозитории проекта.

NVIDIA представила сервис NeMo Retriever, позволяет компаниям дополнять данные для чат-ботов, ИИ-помощников и похожих инструментов специализированными сведениями — для получения более точных ответов на запросы. Сервис стал частью облачного семейства инструментов NVIDIA NeMo, позволяющих создавать, настраивать и внедрять модели генеративного ИИ.

RAG (Retrieval Augmented Generation), метод улучшения производительности больших языковых моделей (LLM), позволяет повысить точность и безопасность ИИ-инструментов благодаря заполнению пробелов в «знаниях» языковых моделей с помощью сведений из внешних источников. Обучение каждой модели — чрезвычайно ресурсоёмкий процесс — обычно осуществляется довольно редко, а то и вовсе единожды. При этом до следующего обновления модель не имеет доступа к полной и актуальной информации, что может привести к неточностям, ошибкам и т.н. галлюцинациям.

Источник изображения: Faisal Mehmood / Pixabay

NeMo Retriever позволяет быстро дополнить LLM свежими сведениями в виде баз данных, HTML-страниц, PDF-файлов, изображений, видео и т.п. Другими словами, базовая модель с добавлением специализированных материалов станет заметно эрудированнее и «сообразительнее». При этом данные могут храниться где угодно — как в облаках, так и на собственных серверах компаний. Технология чрезвычайно полезна, поскольку обеспечивает сотрудникам компании работу с полезными данными, закрытыми для широкой публики, при этом пользуясь всеми преимуществами ИИ.

Источник изображения: NVIDIA

В отличие от открытых RAG-инструментов, NVIDIA, по данным самой компании, предлагает готовое к коммерческому использованию решение для доступных на рынке ИИ-моделей, уже оптимизированных для RAG и имеющих поддержку, а также регулярно получающих обновления безопасности. Другими словами, корпоративные клиенты могут брать готовые ИИ-модели и дополнять их собственными данными без отдельной ресурсоёмкой тренировки.

NeMo Retriever позволит добавить соответствующие возможности универсальной облачной платформе NVIDIA AI Enterprise, предназначенной для оптимизации разработки ИИ-приложений. Регистрация разработчиков для раннего доступа к NeMo Retriever уже началась. Cadence Design Systems, Dropbox, SAP SE и ServiceNow уже работают с NVIDIA над внедрением RAG в свои внутренние ИИ-инструменты.

Компания Amazon Web Services представила интеллектуального ассистента Amazon Q на базе генеративного ИИ, предназначенного для помощи корпоративным клиентам. Поначалу Amazon Q будет использоваться для нужд разработчиков и поддержки IT-команд. Amazon Q уже доступен в виде превью, причем многие функции бесплатны. В дальнейшем AWS будет брать по $20/мес. за каждого пользователя, а версия с дополнительными функциями для ИТ-специалистов будет стоить $25/мес.

«Amazon Q может помочь вам получать быстрые и актуальные ответы на насущные вопросы, решать проблемы, генерировать контент и предпринимать действия, используя данные и опыт, найденные в информационных репозиториях, коде и корпоративных системах вашей компании», — сообщил гендиректор Amazon. Глава AWS считает, что Amazon Q реформирует множество видов деятельности. ИИ-помощник разработан с учётом 17-летнего опыта работы самой AWS и поначалу будет доступен именно внутри экосистемы AWS.

Хотя Amazon Q в первую очередь нацелен на разработчиков и ИТ-специалистов, компания планирует в конечном итоге распространить его возможности на весь корпоративный сегмент. Подобно другим ИИ-помощникам он сможет подключаться к различным источникам данных, отвечать на вопросы и составлять резюме, а также предоставлять экспертные сведения или помощь на основе внутренней информации компании. Это потенциально может сделать его конкурентом ChatGPT Enterprise от OpenAI, Copilot for 365 от Microsoft и Duet AI for Workspace от Google.

Источник изображения: AWS

Специалисты смогут получить доступ Amazon Q из консоли AWS. Q расскажет, как использовать сервисы, какие API доступны, к каким сервисам можно подключиться и как они взаимодействуют между собой. Пользователь сможет создавать запросы на естественном языке, а Q подготовит экспертный ответ со ссылками и цитатами. Так, в EC2-консоли Amazon Q даст совет, какой тип инстанса лучше всего подходит для размещения определённого типа приложений в зависимости в зависимости от потребностей клиента. А если возникла проблема с сетью, у Q можно напрямую спросить: «Почему я не могу подключиться по SSH к своему инстансу?». В этом случае помощник подключит его к сетевому анализатору, чтобы устранить неполадки с соединением.

AWS интегрировала ИИ-ассистента в поддерживаемые IDE вместе с ИИ-инструментом Amazon CodeWhisperer, так что с Q можно пообщаться непосредственно во время разработки. Например, Amazon Q может разобрать и описать исходный код незнакомого проекта или же в диалоговом режиме в Amazon CodeCatalyst поможет создать новый код, опираясь на описание необходимой функциональности и учитывая лучшие практики, а также имеющуюся кодовую базу и бизнес-сведения. Наконец, функция Amazon Q Transformation, доступная в виде превью для IntelliJ IDEA и Visual Studio Code, позволит автоматизировать обновление кода приложений с Java 8 и 11 до версии 17. А вскоре Q научится преобразовывать .NET-приложения для Windows в кросс-платформенные.

Google пожинает первые плоды уникального геотермального проекта, реализуемого совместно с компанией Fervo Energy в Неваде. Как сообщается в блоге Google, техногигант стал на шаг ближе к декарбонизации своего бизнеса.

К 2030 году Google планирует добиться нулевого углеродного выброса при энергоснабжении ЦОД и офисных кампусов компании. Два года назад Google заключила со стартапом Fervo соглашение о совместной разработке проекта геотермальной электростанции, предусматривавшего поставку 5 МВт. ИИ-решения Google должна были оптимизировать работу станции.

Заработавшая электростанция поставляет около 3,5 МВт в местные энергосети, в том числе обслуживающие и ЦОД компании. Google и Fervo подписывают соглашения о покупке энергии (PPA) — полученное электричество не обязательно поступает именно в ЦОД Google, но это помогает изменить общий баланс энергии в сетях в пользу безуглеродных источников.

Источник изображения: Google

Как заявляют в Министерстве энергетики США, к 2050 году геотермальные источники смогут выдавать до 120 ГВт или 16 % от общих потребностей страны в электричестве. При этом во многих регионах это оптимальное решение для получения «чистой» энергии, поскольку доступ к другим возобновляемым источникам ограничен — такое, например, характерно для Азиатско-Тихоокеанского региона. При этом геотермальную энергию используют относительно редко, а коммерческое применение соответствующим технологиям можно найти только в местностях где до подземного тепла весьма легко добраться.

В отличие от обычных геотермальных электростанций, Fervo применяет технологии горизонтального бурения скважин, ранее характерные только для нефтегазовой промышленности. Это позволяет добраться до источников тепла, прежде недоступных. Fervo пробурила две скважины и разместила оптоволоконные кабели, позволяющие получать данные о температуре и других характеристиках системы в режиме реального времени. Благодаря новым технологиям геотермальная электростанция занимает меньше места, чем другие проекты такого типа.

Также Google анонсировала сотрудничество с некоммерческой организацией Project InnerSpace, которая намерена ускорить внедрение электростанций такого типа. Участвуют в таких природоохранных инициативах и другие техногиганты. Например, Microsoft ещё в мае заключила соглашение о закупке 51 МВт геотермальной энергии в Новой Зеландии. Есть и примеры прямого использования энергии из таких источников дата-центрами. В Кении начато строительство ЦОД Ecocloud Data Centre на геотермальном поле, электричество будет получать как сам объект, так и другие предприятия.

Компания Allied Market Research опубликовала прогноз по глобальному рынку микросерверов до 2032 года. Аналитики полагают, что данный сегмент ждёт устойчивое развитие, что объясняется растущей потребностью в распределённых вычислениях, увеличением спроса на edge-решения и расширением Интернета вещей (IoT).

Отмечается, что по итогам 2022 года глобальные затраты на микросерверы составили $28,8 млрд. В дальнейшем ожидается значение CAGR (среднегодовой темп роста в сложных процентах) на уровне 15,8 %. Если этот прогноз оправдается, к 2032-му расходы поднимутся до $122,4 млрд, то есть, вырастут более чем в четыре раза по отношению к 2022-му.

В прошлом году, по оценкам, аппаратные компоненты обеспечили почти три пятых в общем объёме выручки на мировом рынке микросерверов. Вместе с тем до 2032 года наибольшие темпы роста будут наблюдаться в сегменте ПО с величиной CAGR около 17,8 %. Это связано с переходом к контейнеризации и проектированию микросервисов.

Источник изображения: HPE

В плане аппаратных платформ на традиционные решения, к которым относятся изделия Intel, в 2022 году пришлось более половины выручки на рынке микросерверов. В дальнейшем ожидается быстрый рост спроса на альтернативные системы (в том числе с архитектурой Arm) с показателем CAGR на уровне 19,5 % до 2032 года.

Крупные предприятия являются основными покупателями микросерверов: в 2022-м они обеспечили более двух третей от общей выручки. Вместе с тем, согласно прогнозам, в сегменте малых предприятий и среднего бизнеса будет наблюдаться самый высокий показатель CAGR — 17,7 % до 2032 года. Связано это с внедрением микросерверов в таких отраслях, как розничная торговля и гостиничный бизнес.

Сегмент облачных вычислений в 2022 году обеспечил более двух пятых выручки на рассматриваемом рынке. Самым крупным регионом сбыта является Северная Америка. Ожидается, что в Азиатско-Тихоокеанском регионе до 2032-го будет наблюдаться самое высокое значение CAGR — 19,3 %.

В январе–октябре 2023 года поставки процессоров AMD и Intel на российский рынок, по сообщению газеты «Коммерсантъ», рухнули более чем в два раза (с учётом параллельного импорта). Отчасти это связано с тем, что в сложившейся геополитической обстановке чипы отгружаются в РФ в составе готовых систем — серверов, СХД и пр.

По итогам десяти месяцев 2023-го, согласно данным IT-холдинга Fplus, в Россию поступили около 35 тыс. процессоров AMD, что на 70 % меньше по сравнению с показателем за аналогичный период прошлого года. При этом в денежном выражении поставки упали на 98 % — до 372 млн руб. Отгрузки изделий Intel на российский рынок в январе–октябре 2023 года составили 178 тыс. шт/ на 3,2 млрд руб. Падение по сравнению с прошлогодними значениями зафиксировано на отметке 64 % и 62 % соответственно. При этом Fplus подчёркивает, что «небольшая часть процессоров ввозится в страну под другим кодом, поэтому в поставках не отображается».

Источник изображения: AMD

Участники рынка связывают тенденцию с несколькими факторами, передаёт «Коммерсантъ». Крупные российские производители IT-оборудования, такие как Yadro, «Аквариус» и Fplus, на фоне санкций закупили большое количество компонентов, излишки которых теперь продают другим компаниям. На сокращение поставок также повлияли инфляция и увеличение ставок по кредитам. Кроме того, в апреле из реестра Минпромторга были исключены несколько десятков компаний, которые выпускали оборудование на зарубежных CPU. Вместе с тем некоторые корпоративные пользователи искусственно продлевают жизненный цикл оборудования.

В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

Компания Omdia обнародовала предварительную статистику по мировому серверному рынку в 2023 году. Аналитики отмечают, что отрасль претерпевает трансформацию, что объясняется стремительным развитием технологий ИИ, растущей потребностью в системах со специализированными ускорителями и пр.

Специалисты Omdia называют наблюдающуюся тенденцию гипергетерогенными вычислениями (hyper heterogeneous computing). Речь идёт об увеличении спроса на серверы, которые оборудованы аппаратными компонентами для ускорения выполнения определённых задач. Это могут быть сопроцессоры для инференса, например, изделия NeuReality или карты для ускорения обработки сервисов, скажем, Nebulon Medusa2.

Источник изображения: Microsoft

По оценкам Omdia, в 2023 году глобальные поставки серверов в штучном выражении рухнут на 17–20 % по сравнению с прошлым годом. Вместе с тем из-за роста стоимости систем в связи с добавлением дополнительных аппаратных компонентов общая выручка поднимется на 6–8 %.

Аналитики полагают, что в свете развития гипергетерогенных вычислений к 2027 году на CPU и специализированные сопроцессоры будет приходиться более 30 % расходов дата-центров на оборудование по сравнению с менее чем 20 % десятью годами ранее. Если рассматривать сегмент GPU-серверов, то Microsoft и Meta✴ Platforms являются ведущими заказчиками: ожидается, что эти компании к концу 2023-го получат более 150 тыс. изделий NVIDIA H100. Это в три раза больше по сравнению с объёмом закупок Google, Amazon и Oracle.

Источник: Omdia (via aibusiness.com)

В отчёте Omdia также отмечается, что спрос на GPU-системы со стороны гиперскейлеров настолько высок, что традиционные поставщики в лице Dell, Lenovo и HPE попросту не в состоянии выполнять заказы на поставки серверов с ускорителями H100 из-за дефицита этих изделий. Время ожидания для клиентов может достигать 36–52 недель.

Из-за необходимости использования более мощных серверов операторам ЦОД приходится тратить больше денег на инфраструктуру электропитания и охлаждения. Так, выручка от стоечных средств распределения питания подскочила на 17 % в I полугодии 2023-го, а расходы на системы охлаждения увеличились на 7 % в годовом исчислении. При этом объём сегмента прямого жидкостного охлаждения вырастет на 80 % в нынешнем году.

Компания Biostar представила материнскую плату Birpl-Pat для индустриального сектора. Новинка может применяться при создании интеллектуальных платформ Интернета вещей (AIoT), систем автоматизации, edge-устройств и пр. Эксплуатироваться решение может в широком температурном диапазоне, который простирается от -40 до +85 °C.

Плата выполнена в компактном формате с размерами 148 × 102 мм. Допускается установка процессоров Intel Raptor Lake-P, например, чипа i5-1345URE (2Р + 8Е; 12 потоков; 1,4–4,6 ГГц; 15 Вт). Присутствует интегрированный графический контроллер Intel Iris Xe Graphics.

Источник изображения: Biostar

В оснащение входят два слота SO-DIMM для модулей DDR5-4800 суммарным объёмом до 64 Гбайт, порт SATA-3, звуковой кодек Realtek ALC887 и двухпортовый сетевой адаптер Intel I226V (2.5GbE). Есть коннектор M.2 key-M 2242/2260/2280 для SSD с интерфейсом PCIe x4, разъём M.2 key-E 2230 (USB 2.0 + PCIe x1) для комбинированного модуля Wi-Fi/Bluetooth и коннектор M.2 key-B 3042/3052 (PCIe + USB 3.0) для модема 4G/5G (плюс слот для SIM-карты).

Интерфейсный блок содержит по два порта USB 3.2 Gen2 Type-A, USB 3.2 Gen2 Type-C и RJ-45, коннекторы HDMI 2.0 и DP 1.4. Через разъёмы на плате можно использовать четыре последовательных порта, два порта USB 2.0, интерфейсы LVDS/eDP и пр. Заявлена совместимость с Windows 10 Pro/IoT Enterprise. Плата подходит для применения в устройствах, которые эксплуатируются на открытом воздухе.

Инвестиционный фонд Digital 9 Infrastructure (D9) из Великобритании, как сообщает ресурс Datacenter Dynamics, заключил соглашение о продаже своей доли в исландском операторе дата-центров Verne Global. Покупателем выступила частная инвестиционная компания Ardian, базирующаяся во Франции.

Фонд D9, находящийся под контролем Triple Point Investment Management, приобрёл Verne Global осенью 2021 года: сумма сделки составила приблизительно $320 млн. Verne Global оперирует комплексом ЦОД мощностью 24 МВт на территории бывшего объекта НАТО в Кеблавике на полуострове Рейкьянес в юго-западной Исландии.

Источник изображения: Verne Global

Под брендом Verne фонд D9 объединил финские дата-центы Ficolo и лондонские площадки Volta. Кроме того, на этапе строительства находится ЦОД мощностью приблизительно 8 МВт. Оператор Verne также планировал реализовать пятилетний проект по расширению мощности своего кампуса в Исландии до более чем 96 МВт: капитальные затраты в рамках данной инициативы оценивались в $483,6 млн.

Однако в 2023 году у D9 возникли серьёзные финансовые сложности: долг продолжал расти, а стоимость акций резко снизилась. Фонд изначально хотел продать миноритарную долю в Verne, но акционеры настаивали на полной продаже. Условия соглашения с Ardian, а также стоимость сделки не раскрываются. Для передачи активов необходимо получение разрешений со стороны регулирующих органов. Ожидается, что процесс будет завершён к концу I квартала 2024 года.

«Мы очень рады стать частью платформы Ardian, у которой есть команда с глубоким опытом в области цифровой инфраструктуры и которая поможет ускорить наши планы развития в скандинавских странах», — отметил Доминик Уорд (Dominic Ward), генеральный директор Verne Global.