Стало известно, что компания OpenAI вела переговоры с разработчиками чипов, включая Broadcom, по поводу создания нового серверного ИИ-ускорителя. Сообщивший об этом ресурс The Information утверждает, что данная инициатива, которую возглавил руководитель OpenAI Сэм Альтман (Sam Altman), является частью более широкого плана по увеличению вычислительной мощности компании для разработки ИИ, преодолению дефицита ИИ-ускорителей и снижению зависимости от NVIDIA. На фоне этих сообщений акции Broadcom выросли на 3 %.

По словам источников The Information, компания наняла несколько сотрудников Google, участвовавших в создании ИИ-ускорителей TPU. Примечательно, что Broadcom работала с Google над созданием TPU, а это означает, что у компании есть опыт разработки чипов для обработки ИИ-приложений. И у неё есть подразделение, которое занимается созданием кастомных ASIC.

«Миру нужно больше инфраструктуры ИИ — больших мощностей, энергии, ЦОД и т. д. — чем в настоящее время планируют построить, — сказал ранее Альтман. — OpenAI постарается помочь!». В настоящее время доля рынка ИИ-чипов NVIDIA оценивается от 70 % до 95 % рынка, а это означает, что компании, занимающиеся ИИ, находятся в полной зависимости от неё с точки зрения доступа к вычислениям. Если OpenAI удастся создать свой ИИ-ускоритель, то ей больше не нужно будет всецело полагаться на NVIDIA.

Источник изображения: Broadcom

Если бы такой чип был создан, его производство началось бы не раньше 2026 года, сообщил один из источников, поскольку отдельные детали всё ещё прорабатываются, включая вопросы упаковки и доступности памяти. Альтман вёл переговоры с южнокорейскими компаниями Samsung и SK Hynix о поставках HBM и обсуждал планы по производству чипов, сообщил The Information со ссылкой на информированные источники. Кроме того, Альтман общался с TSMC по поводу возможности выпуска нового чипа, а также увеличения поставок ИИ-ускорителей NVIDIA для его компании.

OpenAI не стала подтверждать факты, изложенные в публикации The Information, но и не опровергла её. Представитель компании заявил, что «OpenAI ведёт постоянные переговоры с представителями отрасли и правительства о расширении доступа к инфраструктуре, необходимой для обеспечения широкой доступности преимуществ ИИ».

Ускорители собственной разработки есть у Amazon (Trainium и Inferentia), Google (TPU), Microsoft (Maia), Meta✴ (MTIA), а также Tesla (D1). Однако все эти компании всё равно массово скупают ускорители NVIDIA для работы над ИИ или для предоставления их своим клиентам. И всё возрастающая стоимость оборудования их пока не останавливает, хотя новейший суперускоритель NVIDIA GB200 NVL72, как ожидается, будет стоить $3 млн.

Семейство одноплатных компьютеров Orange Pi 5 пополнилось новой моделью, получившей название Orange Pi 5 Max. Изделие подходит для создания устройств с функциями ИИ и поддержкой видео в формате 8К: это могут быть edge-системы, оборудование машинного зрения, VR-продукты и пр.

В основу Orange Pi 5 Max положен 8-нм процессор Rockchip RK3588: он содержит по четыре ядра Cortex-A76 (2,4 ГГц) и Cortex-A55 (1,8 ГГц), а также графический блок Arm Mali-G610 с поддержкой OpenGL ES1.1/2.0/3.2, OpenCL 2.2 и Vulkan 1.2. Имеется NPU (INT4/INT8/INT16/FP16) производительностью до 6 TOPS.

Источник изображений: Orange Pi

Объём памяти LPDDR5 может составлять 4, 8 или 16 Гбайт. Возможна установка чипа eMMC вместимостью 32, 64, 128 или 256 Гбайт. Плюс к этому имеются слот microSD и коннектор M.2 M-Key для NVMe SSD (PCIe 3.0 х4). В оснащение входят сетевой контроллер 2.5GbE (Realtek RTL8125BG), адаптеры Wi-Fi 6E и Bluetooth 5.3/BLE (AP6611), звуковой кодек ES8388.

Одноплатный компьютер оборудован двумя интерфейсами HDMI 2.1 с поддержкой видео 8К (60 кадров в секунду), гнездом RJ-45 для сетевого кабеля, двумя портами USB 3.0 и двумя портами USB 2.0, 3,5-мм аудиогнездом, а также коннектором USB Type-C для подачи питания. Упомянута 40-контактная колодка GPIO, интерфейсы MIPI-DSI и MIPI-CSI (×2).

Изделие имеет размеры 89 × 57 мм. Говорится о совместимости с Orange Pi OS (Android или Arch Linux), Ubuntu, Debian и Android 12. Цена версии Orange Pi 5 Max с 8 Гбайт ОЗУ составляет около $95, с 16 Гбайт — $125.

Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific, Northern Data, Hut 8 и Applied Digital.

ИИ-стартап Илона Маска (Elon Musk) xAI отказался от планов по расширению сотрудничества с Oracle. Как пишет The Wall Street Journal, во вторник миллиардер сообщил в соцсети X, что xAI прекратил переговоры с облачным провайдером о сделке на $10 млрд по поводу расширения аренды вычислительных мощностей, поскольку стартап сам построит «самый мощный кластер для обучения [ИИ-моделей] в мире с большим запасом».

Сообщивший ранее о срыве сделки ресурс The Information рассказал, что многолетнее соглашение об аренде у Oracle запланированного к строительству суперкомпьютера на чипах NVIDIA уже было на стадии подписания, но переговоры зашли в тупик из-за того, что Маска не устроили сроки строительства, предложенные Oracle. Oracle же заявила об отсутствии доступа к адекватному источнику энергии для работы ИИ-суперкомпьютера в выбранном xAI регионе.

Источник изображения: xAI

В итоге Маск заявил, что «самый мощный суперкомпьютер в мире» будет построен стартапом в Мемфисе (штат Теннесси, США) и начнёт работу осенью 2025 года. Ранее Маск сообщил, что в течение следующих нескольких месяцев xAI развернёт кластер из 100 тыс. ускорителей NVIDIA H100 с жидкостным охлаждением, а летом следующего года запустит ещё один кластер из 300 тыс. ускорителей NVIDIA B200.

Как отметил ресурс Data Center Dynamics, xAI уже арендует у Oracle около 16 тыс. ускорителей NVIDIA, что делает его одним из крупнейших клиентов провайдера облачных услуг. Стартап также использует для работы сервисы AWS и резервные мощности в ЦОД соцсети X (Twitter). Oracle также предоставляет свою ИИ-инфраструктуру Microsoft и OpenAI.

В ассортименте Orange Pi, по сообщению ресурса CNX Software, появился вычислительный модуль CM5, представляющий собой аналог Raspberry Pi CM4. Новинка может применяться для создания различных устройств под управлением Orange Pi OS (Arch), Ubuntu, Debian и Android 12.

В основу изделия положен процессор Rockchip RK3588S (против Broadcom BCM2711 у Raspberry Pi CM4). Чип объединяет восемь ядер: квартеты Cortex-A76 и Cortex-A55 с тактовой частотой до 2,4 и 1,8 ГГц соответственно. Есть графический ускоритель Arm Mali-G610 MP4 и нейропроцессорный блок (NPU) с производительностью до 6 TOPS. Поддерживается декодирование видеоматериалов 8Kp60 H.265, VP9, AVS2, 8Kp30 H.264 AVC/MVC, 4Kp60 AV1, 1080p60 MPEG-2/-1, VC-1, VP8.

Источник изображений: CNX Software

Модуль может комплектоваться 2, 4, 8 или 16 Гбайт памяти LPDDR4x, а также флеш-накопителем eMMC вместимостью 32, 64, 128 или 256 Гбайт. Реализована поддержка следующих интерфейсов: 2 × SATA (один совмещён с USB 3.0, другой — с PCIe 2.0), SD, HDMI 2.1 или eDP 1.3, MIPI DSI (4 линии и 2 линии), MIPI CSI (4 линии), USB 2.0 (×3), USB 3.0 Type-C (DP 1.4 Alt Mode), 1GbE, PCIe 2.0 x1 (×2), SDIO 3.0 (например, для Wi-Fi 5 и Bluetooth 5.0), I2S, PDM, SPDIF, UART, I2C, SPI, PWM, GPIO. Размеры составляют 55 × 40 × 1,6 мм, масса — 12 г.

Кроме того, предусмотрены три 100-контактных коннектора для подключения к вспомогательной интерфейсной плате. Она оборудована слотом microSD, разъёмом HDMI 2.1, портом 1GbE RJ-45 и двумя портами 2.5GbE RJ-45 (контроллер Realtek RTL8125BG PCIe), разъёмами USB 3.0 и USB 2.0 и пр. Габариты — 90 × 66 мм, масса — 57,5 г. Питание (5 В / 5 A) подаётся через коннектор USB Type-C.

Цена Orange Pi CM5 варьируется от $20 до $120 в зависимости от объёма оперативной памяти (в конфигурации с флеш-чипом eMMC вместимостью 32 Гбайт).

Компания MSI представила очередной мини-компьютер размером с ладонь — MS-C918. Новинка рассчитана на применение в офисе, для обеспечения работы цифровых вывесок, конференц-систем и др.

Новинка оснащена четырёхъядерным процессором Intel N100, до 4 Гбайт оперативной памяти LPDDR5 и 128 Гбайт постоянной eMMC с предустановленной ОС Windows 11 IoT Enterprise. Мини-ПК получил да порта HDMI 2.0, включая один с поддержкой HDMI CEC, гигабитным Ethernet-интерфейсом, Wi-Fi 6E и Bluetooth 5.2, а также тремя портами USB 3.2/2.0.

Источник изображения: MSI

Спецификации:

• SoC: Intel N100 (Alder Lake-N): 4C/4T, до 3,4 ГГц, кеш 6 Мбайт, 24 EU Intel UHD (до 750 МГц), TDP 6 Вт;
• ОЗУ: до 4 Гбайт LPDDR5-4800 (один канал);
• ПЗУ: eMMC до 128 Гбайт; слот MicroSD с поддержкой карт до 2 Тбайт;
• Видео: 2х HDMI 2.0 (до 4К@60);
• Аудио: 3,5-мм аудиовыход, вывод цифрового аудио через HDMI;
• Сеть: 1GbE RJ45 (Realtek RTL8111H-CG), Wi-Fi 6E и Bluetooth 5.2;
• USB: 2 × USB 3.2 (10 Гбит/с), 1 × USB 2.0;
• Безопасность: модуль fTPM 2.0;
• Прочее: кнопка включения, LED-индикатор питания, слот для кенсингтонского замка, защитный таймер;
• Питание: 18 В DC;
• Габариты: 80 × 80 × 36 мм (высота 40,7 мм с учётом резиновых ножек);
• Масса: 290 г;
• Условия работы: t° от 0 до +40°C, отн. влажность 10–90 % без обр. конденсата;

Источник изображения: MSI

Возможен монтаж с помощью VESA-креплений. По умолчанию компьютер оснащается 64-бит Windows 11 IoT Enterprise версии 22H2 с поддержкой в течение минимум 10 лет. В самой компании характеризуют мини-ПК как «небольшую промышленную коробочку», хотя на работу в действительно жёстких промышленных средах и за пределами помещений она не рассчитана.

ИИ-стартап Character.AI провёл переговоры с несколькими IT-гигантами, передаёт The Information. По слухам, компания обсуждала возможности сотрудничества с Google, Meta✴ и контролируемой Илоном Маском (Elon Musk) xAI.

Основанная бывшими сотрудниками Google компания уже привлекла $150 млн на создание чат-ботов, имитирующих поведение героев аниме, игр и др. На прошлой неделе компания представила функцию Character Call, обеспечивающую голосовое общение с ИИ-аватарами, готовыми ответить на запрос пользователя. Предполагается, что это добавит популярности сервисам компании.

Если бы стартапу удалось заключить сделку с одним из крупных игроков вроде Google или xAI, он получил бы доступ к огромным вычислительным ресурсам, а в ответ поделился бы интеллектуальной собственностью, связанной со своими передовыми разработками. По сведениям The Information, компания обсуждала заключение аналогичной сделки о совместном участии в исследованиях и с Meta✴ Platforms.

Источник изображения: Character.AI

Пока потенциальные участники сделки, включая Character.AI, не ответили на запросы журналистов. Некоторые эксперты полагают, что у компании слишком мало собственных вычислительных ресурсов, поэтому ей неизбежно пришлось бы прибегнуть к помощи игроков покрупнее. В индустрии это уже привычная практика. Так, Alibaba Cloud предлагает стартапам ИИ-мощности в обмен на долю в компании, а различные программы поддержки начинающих компаний в области ИИ нередко предполагают «выплаты» именно облачными ресурсами, а не живыми деньгами.

UPD 03.08.2024: Google наняла основателей Character.AI и лицензировала ИИ-модели компании.

Компания OpenAI, по сообщению ресурса Datacenter Dynamics, наняла еще одного бывшего сотрудника Tesla и Google для развития своей вычислительной инфраструктуры. Несмотря на использование облака Microsoft Azure, OpenAI развивает собственное направление ЦОД, в связи с чем расширяет штат специалистов в соответствующей области.

В OpenAI перешел Реза Хиабани (Reza Khiabani), который ранее в течение почти двух лет работал в Tesla в качестве инженера-теплотехника. Он, в частности, помогал в создании системы охлаждения для ИИ-суперкомпьютера Dojo, для которого планируется построить специальный дата-центр. Однако с реализацией проекта возникли сложности.

До прихода в Tesla Хиабани проработал почти девять лет в Google, из которых основную часть времени выполнял обязанности технического менеджера, архитектора тепловых систем и технического руководителя команды по разработке СЖО для ИИ-ускорителей семейства Cloud TPU. Он курировал проектирование ЦОД, тепловой дизайн TPU и «разработку машстабных систем жидкостного охлаждения».

Источник изображения: Google

В OpenAI Хиабани войдёт в техническую команду. Чем именно ему предстоит заниматься, не уточняется. Но можно предположить, что его работа снова будет связана с решениями СЖО для дата-центров, ориентированных на ресурсоёмкие приложения ИИ.

OpenAI активно нанимает бывших специалистов Tesla и Google. В частности, ранее ИИ-компания назначила бывшего руководителя Google TPU Ричарда Хо (Richard Ho) главой отдела аппаратного обеспечения. В OpenAI также перешли ветеран Google Тодд Андервуд (Todd Underwood) и старший инженер-программист команды Tesla Dojo Клайв Чан (Clive Chan).

Компания InspireSemi объявила о разработке чипа Thunderbird на открытой архитектуре RISC-V для ИИ-нагрузок. Это изделие легло в основу специализированной карты расширения с интерфейсом PCIe, которая, как утверждается, подходит для решения широкого спектра задач.

Чип Thunderbird содержит 1536 кастомизированных 64-битных суперскалярных ядер RISC-V, а также высокопроизводительную память SRAM. Говорится о наличии ячеистой сети с малой задержкой для меж- и внутричиповых соединений. Кроме того, предусмотрены блоки ускорения определённых алгоритмов шифрования.

Источник изображения: InspireSemi

Идея заключается в том, чтобы объединить универсальность и возможности программирования традиционных CPU с высокой степенью параллелизма GPU. Изделие ориентировано на НРС-приложения, но при этом поддерживает исполнение программ общего назначения. InspireSemi называет новинку «суперкомпьютерным кластером на кристалле». Точно так же назвала свои ИИ-ускорители Esperanto Technologies. Именно её чипы ET-SoC-1, по-видимому, впервые объединили более 1 тыс. ядер RISC-V. Впрочем, сама Esperanto позиционировала их как гибкие и энергоэффективные решения для инференса.

В случае Thunderbird четыре могут быть объединены на одной карте PCIe, что в сумме даёт 6144 ядра RISC-V. Более того, заявлена возможность масштабирования до 256 чипов, связанных с помощью высокоскоростных трансиверов. Таким образом, количество ядер может быть доведено до 393 216.

Чип обеспечивает производительность до 24 Тфлопс (FP64) при энергетической эффективность 50 Гфлопс/Вт. Для сравнения: NVIDIA A100 обладает быстродействием 19,5 Тфлопс (FP64), а NVIDIA H100 — 67 Тфлопс (FP64). Суперскалярные ядра поддерживают векторные и тензорные операции и форматы данных с плавающей запятой смешанной точности. Однако о совместимости с Linux ничего не говорится. Среди возможных областей применения названы ИИ, НРС, графовый анализ, блокчейн, вычислительная гидродинамика, сложное моделирование в области энергетики, изменений климата и пр.

На этой неделе китайский производитель процессоров Loongson не только представил новые 64-ядерные серверные процессоры 3C6000 на базе собственной архитектуры LoongArch, но и выложил свежий список ПО, портированного на данную архитектуру. В нём оказалась и продукция Lenovo, обратил внимание ресурс The Register.

Всего новый список включает 53 разработчика ПО и 105 продуктов. В случае Lenovo упомянуты три серверных решения семейства Wentian: облачная платформа WxCloud 3.0, HCI-платформа WxStack 8.0 и платформа виртуализации WxSphere 8.0. В случае последней говорится, что это решение подходит для импортозамещения VMware.

Естественно, все эти решения ориентированы на китайский рынок, где под давлением американских санкций происходит переход на отечественные программные и аппаратные платформы, местами в принудительном порядке. Для западных рынков Lenovo всё так же предлагает решения VMware.

Источник изображения: Lenovo

Что касается Loongson, то её решения хотя и отстают по возможностям и производительности от продукции AMD и Intel, находят всё большее применение в Китае, который всеми силами стремиться добиться независимости от западных технологий. Например, ранее компания сообщила, что её процессоры появились в СХД местного вендора Chuji, которые предлагает HDD- и SSD-хранилища в различных форм-факторах.