Стартап Etched, основанный в 2022 году выпускниками Гарварда, анонсировал самый быстрый, по его словам, ИИ-ускоритель Sohu. Секрет высокой производительности очень прост — Sohu представляет собой узкоспециализированный 4-нм ASIC, который умеет работать только с моделями-трансформерами. При этом в длинном анонсе новинки обещана чуть ли не революция в мире ИИ.

Etched прямо говорит, что делает ставку на трансформеры, и надеется, что не прогадает. Данная архитектура ИИ-моделей была создана в недрах Google в 2017 году, но сама Google распознать её потенциал, по-видимому, вовремя не смогла. Сейчас же, по словам Etched, практически все массовые ИИ-модели являются именно трансформерами, а стремительно набирать популярность этот подход начал всего полтора года назад с выходом ChatGPT, хотя в Etched «предугадали» важность трансформеров ещё до выхода детища OpenAI.

Источник изображений: Etched

Etched в целом справедливо отмечает, что подавляющее большинство ИИ-ускорителей умышленно создаётся так, чтобы быть достаточно универсальными и уметь работать с различными типами и архитектурами ИИ-моделей. Это ведёт к взрывному росту транзисторного бюджета и уменьшению общей эффективности. Так, по словам Etched, загрузка ускорителя на базе GPU работой на практике составляет около 30 %, а у Sohu она будет на уровне 90 %.

Тут есть некоторое лукавство, потому что Etched в основном говорит о «больших» ускорителях, ориентированных и на обучение тоже, тогда как Sohu предназначен исключительно для инференса. На практике же бывают и гибридные подходы. Например, у AWS есть не только Trainium, но Inferentia. Meta✴ использует чипы NVIDIA для обучения, но для инференса разрабатывает собственные ускорители MTIA. Cerebras практически отказалась от инференса, а Groq — от обучения моделей. Корректнее было бы сравнить именно инференс-ускорители, пусть даже никто из упомянутых Etched конкурентов не ориентирован исключительно на трансформеры.

Также стартап критикует громоздкую программную экосистему для современного генеративного ИИ, к тому же не всегда открытую. Важность оптимизации ПО хороша видна на примере NVIDIA TensorRT-LLM. Но крупным компаниям этого мало, они готовы вкладывать немало средств в глубокую оптимизацию, чтобы ещё чуть-чуть повысить производительность. Дело доходит до выяснения того, у какого регистра задержка меньше при работе с каким тензорным ядром, говорит Etched. Стартап обещает, что его заказчикам не придётся заниматься такими изысканиями — весь программный стек будет open source. Впрочем, на примере AMD ROCm видно, что открытость ещё не означает мгновенный успех у пользователей.

Технические характеристики Sohu не раскрываются. Явно говорится лишь о наличии 144 Гбайт HBM3e. Обещанная производительность сервера с восемью ускорителями Sohu составляет 500 тыс. токенов в секунду для Llama 70B: FP8 без разреженности, параллелизм на уровне модели, 2048 токенов на входе и 128 токенов на выходе. Иными словами, один такой сервер Sohu заменяет сразу 160 ускорителей NVIDA H100, говорит Etched. А вот про масштабируемость своих платформ компания пока ничего не говорит. Зато хвастается, что первые заказчики уже зарезервировали Sohu на десятки миллионов долларов.

Сопроцессоры DPU уже нельзя назвать какой-то экзотикой. Их разрабатывают многие компании, преимущественно американские. Несмотря на растущее давление со стороны западных стран, не собирается проигрывать в этой гонке и Китай.

Разработчик сопроцессоров и программно определяемых ускорителей из КНР, стартап Yusur, работающий в союзе с Китайской Академии Наук уже шесть лет, представил третье поколение DPU под названием K2-Pro. При этом, по словам компании, уже налажено массовое производство новинки.

Первый DPU Yusur K1 был представлен ещё в 2019 году. И это была «проба пера», проверка самой возможности создания собственного DPU, способного ускорять работу сети, СУБД и ИИ. Чип использовал 55-нм техпроцесс, обеспечивал обработку 2 млн запросов SQL в секунду и имел производительность порядка 1 Топс.

Источник: Yusur

Уже в 2022 году был представлен полноценный DPU Yusur K2. Созданный с использованием 28-нм техпроцесса, он уже имел пару собственных интерфейсов 100GbE, мог обрабатывать 10 млн запросов SQL и развивал мощность 15 Топс. K2-Pro имеет схожие характеристики, но, как сообщает глава Yusur, на 30% экономичнее предшественника. Что касается сетевой производительности, то речь идёт об обработке до 80 млн пакетов в секунду при совокупной пропускной способности интерфейсов 200 Гбит/с.

Архитектура K2-Pro. Источник: Yusur

Технически в основе DPU Yusur серии K лежит программно-определяемая архитектура KPU с набором инструкций собственной разработки, работающая под управлением программной платформы HADOS, сочетающей в себе операционную систему, набор движков и API для реализации самых различных функций, а также все необходимые средства разработки. Поддерживается совместимость с P4, что упрощает разработку сетевых приложений для данной архитектуры.

Экосистема HADOS. Источник: Yusur

Также в составе K2-Pro имеется квартет управляющих ядер и набор движков, отвечающих за поддержку сетевых интерфейсов, разгрузку ряда сетевых операций, криптографии, SR-IOV, RDMA и NVMe-oF. В состав DPU входит BMC-контроллер на базе OpenBMC. Есть и два набора по 16 линий PCIe 3.0.

Планы Yusur относительно разработки следующих поколений DPU. Источник: Yusur

Планы по дальнейшему развитию данной серии DPU весьма серьёзные: в следующем поколении, K3, вычислительная мощность должна вырасти в 10 раз, с 15 до 150 Топс. В поколении K4 производительность как минимум утроится, а сетевая часть будет включать уже четыре интерфейса 200GbE.

Конкретных сроков исполнения своих планов Yusur не приводит, однако серьёзные намерения КНР в этой сфере очевидны. Представитель Китайской инженерной академии, профессор Чжэн Вэйминь (Zheng Weimin) отметил, что КНР обязана покончить с монополией на иностранные чипы класса DPU, дабы обеспечить суверенность и независимость в сфере ИТ-технологий.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о подписании соглашения с французским национальным агентством высокопроизводительных вычислений (GENCI) о размещении второго в Европе суперкомпьютера экзафлопсного класса.

Напомним, первым европейским HPC-комплексом с производительностью более 1 Эфлопс станет Jupiter, который расположится в Юлихском исследовательском центре (FZJ) в Германии. В создании системы участвуют NVIDIA, ParTec, Eviden и SiPearl. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Машина будет развёрнута на базе модульного ЦОД. Ввод в эксплуатацию запланирован в 2024 году.

Второй в Европе экзафлопсный суперкомпьютер получил имя Alice Recoque) — в честь французского учёного, компьютерного инженера и специалиста по компьютерной архитектуре. Она работала над созданием мини-компьютеров в 1970-х годах и руководила исследованиями, связанными с ИИ.

Мини-компьютер Mitra-15, разработанный под руководством Алисы Рекок (Фото: Damien.b / Wikipedia)

Стоимость создания машины оценивается в €544 млн. Управление суперкомпьютером возьмёт на себя Французская комиссия по альтернативным источникам энергии и атомной энергии (CEA). Комплекс будет смонтирован на территории Брюйер-ле-Шатель, к юго-западу от Парижа. Для размещения и эксплуатации машины выбран французско-нидерландский консорциум Жюля Верна.

Известно, что в основу суперкомпьютера ляжет модульная энергоэффективная архитектура. По мере необходимости в состав системы могут добавляться дополнительные узлы на базе GPU или квантовых процессоров. Комплекс, в частности, будет построен на Arm-чипах SiPearl Rhea2, которые в настоящее время находятся в разработке. Не исключается также применения высокопроизводительных RISC-V процессоров EPI EPAC.

Запуск Alice Recoque предварительно намечен на 2026 год, но может затянуться до 2027–2028 гг. Система будет доступна академическим организациям, государственным структурам и промышленным предприятиям. Использовать её планируется для выполнения ресурсоёмких задач в области ИИ и НРС.

NVIDIA, по сообщению Reuters, подписала соглашение с катарской телекоммуникационной компанией Ooredoo Group о поставках ИИ-оборудования в дата-центры на Ближнем Востоке. Это первый крупномасштабный проект NVIDIA в данном регионе. Финансовые условия сделки не раскрываются. Какие именно продукты NVIDIA будет поставлять, не уточняется, но, например, упоминаются ИИ-ускорители на основе GPU.

Соглашение распространяется на дата-центры Ooredoo в Катаре, Алжире, Тунисе, Омане, Кувейте и на Мальдивах. Старший вице-президент NVIDIA по телеком-бизнесу Ронни Васишта (Ronnie Vasishta) подчёркивает, что закупаемое оборудование позволит Ooredoo предоставлять заказчикам услуги по развёртыванию приложений на основе генеративного ИИ.

Источник изображения: NVIDIA

«Благодаря этому соглашению наши B2B-клиенты получат доступ к сервисам, которые конкуренты, вероятно, не смогут предложить в течение следующих 18–24 месяцев», — заявил глава Ooredoo Азиз Алутман Фахру (Aziz Aluthman Fakhroo). Ooredoo инвестирует $1 млрд в наращивание мощностей региональных ЦОД. К имеющимся 40 МВт добавятся ещё 20–25 МВт, а к концу текущего десятилетия этот показатель, как ожидается, будет утроен. В настоящее время Ooredoo Group имеет 26 действующих дата-центров в Катаре, Кувейте, Омане, Ираке и Тунисе.

Нужно отметить, что Вашингтон разрешает экспорт некоторых решений NVIDIA на Ближний Восток, но накладывает ограничения на поставки наиболее передовых чипов компании. Связано это с «углублением взаимоотношений» Китая с некоторыми странами региона. Между тем многие облачные компании и ЦОД-операторы намерены реализовать или уже реализуют проекты на Ближнем Востоке. Так, в ОАЭ и Саудовской Аравии активно наращивают присутствие и американские, и китайские гиперскейлеры.

Агентству Reuters стало известно о совместной работе китайской компании ByteDance, владеющей популярным видеосервисом TikTok, и американского производителя чипов Broadcom над созданием усовершенствованного ИИ-ускорителя. По словам источников Reuters, это 5-нм ASIC, на который не будут распространяться экспортные ограничения США.

Также сообщается, что производством чипа будет заниматься TSMC. Вероятно, его выпуск начнётся в следующем году. Как сообщил источник, работа над чипом идёт полным ходом, но проектирование ещё не завершено. ByteDance и Broadcom являются партнёрами как минимум с 2022 года. ByteDance покупала у американской компании 5-нм чипы Tomahawk, а также коммутаторы Bailly для ИИ-кластеров, указано в публичных заявлениях Broadcom.

Сотрудничество с Broadcom в деле разработки ИИ-ускорителя позволит ByteDance сократить затраты и обеспечить стабильные поставки высокопроизводительных чипов, утверждают источники Reuters. Для ByteDance, владеющей также китайской версией TikTok под названием Douyin, и ещё рядом популярных приложений, включая сервис чат-ботов, похожий на ChatGPT, под названием Doubao с 26 млн пользователей, крайне важно иметь достаточный запас ИИ-ускорителей.

Источник изображения: Broadcom

По словам источника, ByteDance выделила в прошлом году $2 млрд на закупку ИИ-ускорителей. В частности, она успела приобрести неназванные объёмы NVIDIA A100 и H100, которые были доступны до вступления в силу первого раунда санкций США, а также чипы A800 и H800, которые со временем также попали под ограничения. ByteDance также приобретала в прошлом году чипы Huawei Ascend 910B, утверждают информированные источники.

Особое внимание Bytedance уделяет набору квалифицированных кадров в сфере ИИ. На веб-сайте компании в настоящее время размещены сотни вакансий, связанных с полупроводниками, в том числе 15 для разработчиков микросхем ASIC. Кроме того, по словам одного из источников, Bytedance переманивает высокопоставленных специалистов у китайских производителей ИИ-чипов.

Компания OpenAI, создатель чат-бота ChatGPT, объявила о заключении соглашения о поглощении стартапа Rockset — разработчика специализированной СУБД, которая пригодится в работе с ИИ. Информации об ориентировочной стоимости сделки нет. Rockset была учреждена около восьми лет назад выходцами из Facebook✴.

Основателями Rockset являются Венкат Венкатарамани (Venkat Venkataramani) и Дхруба Бортакур (Dhruba Borthakur), занимающие должности генерального и технического директоров соответственно. В ходе «посевной» программы было привлечено $3 млн. Затем были осуществлены раунды Series A, В и В Extended на $18,5 млн, $40 млн и $37 млн соответственно. Кроме того, выполнено долговое финансирование на $7 млн. Таким образом, в общей сложности Rockset получила на развитие $105,5 млн.

Источник изображения: Rockset

Инструменты Rockset, как утверждается, позволяют пользователям, разработчикам и предприятиям лучше использовать имеющиеся данные и получать доступ к информации в реальном времени. В результате может быть повышена эффективность ИИ-приложений. Rockset также ведёт разработки в области векторных баз данных, которые обычно используются для поддержки векторного поиска — визуального, семантического и мультимодального. Такие базы помогают ускорить разработку продуктов на базе ИИ и упростить эксплуатацию соответствующих рабочих нагрузок.

В рамках сделки Rockset станет частью OpenAI, а решения стартапа будут интегрированы в системы OpenAI. Существующие клиенты Rockset в краткосрочной перспективе не ощутят существенных изменений.

Fujitsu представила свою стратегию в области ИИ, в рамках которой она планирует уделять основное внимание не разработке генеративного ИИ (GenAI), а совершенствованию платформы, которая упростит предприятиям настройку своих собственных ИИ-решений, пишет DigiTimes.

По словам японской компании, анонсированная в начале июня платформа Fujitsu GenAI Framework for enterprises предназначена для решения проблем, с которыми сталкиваются предприятия при применении генеративного ИИ, таких как сложность получения и обработки больших объёмов обучающих данных, неспособность удовлетворить разнообразные требования к стоимости и скорости обработки, а также потенциальный риск невыполнения требований законодательства или внутренних правил компаний. Эта платформа будет доступна клиентам по всему миру начиная с июля 2024 года в облаке Fujitsu Kozuchi.

Источник изображения: Fujitsu

Как сообщается, Fujitsu включила в GenAI Framework for enterprises несколько ключевых технологий: Knowledge Graph Extended Retrieval-Augmented Generation (RAG), GenAI Amalgamation и GenAI Auditing.

RAG — это широко используемый метод донастройки моделей GenAI для корпоративных приложений. Его недостатком является фрагментированное и несвязное обучение знаниям на больших объёмах данных. Например, модель может ссылаться на разные и несовместимые руководства по ремонту автомобилей или неправильно цитировать законодательные положения, путая смысл запрещённых и нерекомендуемых действий. Устранить этот недостаток поручено Fujitsu Knowledge Graph Extended RAG путём формирования графа знаний для контекстуализации обучающих данных.

Как утверждает Fujitsu, Fujitsu Knowledge Graph Extended RAG позволяет сократить объём необходимых для обучения данных на четверть. Помимо повышения эффективность обучения, технология также обеспечивает мониторинг в реальном времени результатов работы. Она предлагает поддержку логических рассуждений, позволяя легко определить, применимы ли результаты. Модель может обрабатывать более 10 млн токенов, что позволяет ей учиться на больших объёмах сложных данных и генерировать высокоточные ответы.

GenAI Amalgamation позволяет выбрать модель с наивысшей производительностью из нескольких специализированных моделей на основе входной задачи или автоматически объединяет несколько имеющихся моделей для выполнения запроса. Это позволяет пользователям легко адаптировать подходящие ИИ-модели GenAI, сокращая время, необходимое для настройки модели, и повышая эффективность работы. Наконец, технология аудита ИИ (GenAI Auditing) — первая в мире, по словам Fujitsu — позволяет объяснить, почему модель дала тот или иной ответ, что упростит её проверку на соответствие законодательству и правилам компании, а заодно позволит избавиться от галлюцинаций.

Optic Marine Group (OMS), занимающаяся прокладкой и обслуживанием подводных интернет-кабелей, объявила о скором пополнении флота компании. По данным Datacenter Dynamics, на расширение привлечено в долг RM1,35 млрд ($292,5 млн) благодаря соглашению с консорциумом «известных финансовых институтов».

OMS объявила, что финансирование позволит компании получить новые возможности в обеспечении подводных телекоммуникаций. Руководимый KKR Capital Markets консорциум включает HSBC Bank, Affin Bank Bhd, Affin Hwang Investment Bank Bhd, BDO Capital & Investment Corporation, E-Sun Commercial Bank Ltd и SinoPac Co Ltd. В прошлом году компания уже получила $400 млн от группы KKR. Основанная в 1983 году OMS базируется в малайзийском Селангоре. Сегодня компания управляет шестью суднами для прокладки и ремонта кабелей, последний ввели в эксплуатацию в 2022 году.

Источник изображения: OMS Group

Всего же в мире на плаву остаётся около 60 подобных судов, многим из которых более 30 лет. Поскольку на планете имеется более 400 подводных кабелей и спрос только растёт, дефицит кораблей может привести к задержке реализации проектов и несвоевременным ремонтам. Например, на восстановление повреждённого кабеля у берегов королевства Тонга в своё время ушло 1,5 года, причём непосредственно ремонт занял всего 8 дней.

Компания «Казахтелеком» создала совместное предприятие (СП) с азербайджанским телекоммуникационным холдингом. Datacenter Dynamics сообщает, что СП с AzerTelecom предназначено для прокладки подводного интернет-кабеля, который может стать частью более крупной магистрали.

Соглашение предусматривает вложение более $50 млн в прокладку оптоволоконных кабелей по дну Каспийского моря. Основанная в 2008 году AzerTelecom является дочерней структурой азербайджанского мобильного оператора Bakcell. Компания входит в группу NEQSOL Holding.

Стороны подписали меморандум о стратегическом сотрудничестве в 2022 году. Предполагается, что транскаспийская ВОЛС Trans-Caspian Fiber Optic Communication Line (FOCL) протянется на 370 км. Сейчас проводится тендер для поиска подрядчика, готового проложить ВОЛС. Кабельная система является частью проекта Цифрового Шелкового пути (Digital Dilk Way), в рамках которого планируется построить телекоммуникационный коридор между Европой и Азией.

Источник изображения: AzerTelecom

При этом на заседании Высшего Евразийского экономического совета (ЕАЭС) ещё в конце 2023 года было предложено проложить новую волоконно-оптическую линию связи по маршруту Россия — Казахстан — Иран, к которой может быть подключен и казахско-азербайджанский проект. Кроме того, Евросоюз планирует прокладку кабеля по дну Чёрного моря до Грузии, который также может стать частью общей системы.

В то же время Россией ведётся строительство «Новой ТрансЕврАзийской волоконно-оптической линии связи» (TEA NEXT). Она призвана связать запад и восток страны с привязками к крупнейшим городам России и получит выходы на границы Россия — Монголия, Россия — Китай, а также посадочную станцию в Находке, откуда можно будет протянуть подводный сегмент до Пусана (Южная Корея).

Участники российского рынка IT начали поднимать цены на предлагаемые решения. По данным «Коммерсанта», к лету цены выросли на 15-20 %, показатель сопоставим с изменениями за весь 2023 год в целом. В 2023 году рост цен к 2022 году составил 20 %. Отраслевые эксперты ожидают, что рост цен продолжится в III квартале. Одна из причин — намерение вернуть с 2025 года налог на прибыль на уровне 5 % — пока он является нулевым для поддержки IT-бизнеса. Кроме того, дефицит кадров привёл к росту затрат на разработку.

По информации издания, опросившего представителей рынка, к июню цены выросли на 10–20 % год к году. Например, соответствующую статистику приводит «ТеДо» (ранее PwC), а в «КРОК» говорят о 10–15 %. Аналогичные цифры приводят и другие игроки рынка. Коробочное ПО подорожало в первую очередь у крупных вендоров, а заметнее всего цены подняли создатели защитного, системного и офисного ПО. Некоторые источники добавляют, что у отдельных вендоров цены на продукты, связанные с ИБ, в некоторых случаях выросли и на 30 %.

Источник изображения: ThisisEngineering/unsplash.com

В начале года сообщалось о создании «этической комиссии» IT-ассоциаций и Минцифры для согласования случаев повышения цен. А чуть более года назад была создана хартия по ограничению роста цен. В её рамках было предложено устанавливать лимит по стоимости, исходя из цены на ту же дату годом ранее, скорректированную с учётом годового индекса потребительских цен Росстата, плюс 15 %.

По мнению некоторых экспертов сегодня рост цен во многом обусловлен новыми запросами клиентов IT-бизнеса. Если ранее речь шла лишь о пилотных внедрениях отечественного ПО на замену зарубежному, то теперь началось полномасштабное внедрение и клиенты ожидают привычного им ранее уровня возможностей и обслуживания. Впрочем, цены отчасти будет сдерживать конкуренция — многие компании и без того уже подняли их «с запасом» и теперь могут позволить себе ограничиться относительно небольшим повышением.