NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Южнокорейский стартап Rebellions представила на днях план развития своих ИИ-ускорителей. Как сообщает Business Korea, компания ускорит выпуск ИИ-чипов нового поколения, которые получат 4-нм модули памяти HBM3e производства Samsung. Samsung же будет отвечать за объединение чипов и HBM в одной упаковке.

Изначально к концу 2024 года планировалось наладить выпуск продукта Rebel Single с одним модулем памяти, но потом было решено выпустить гораздо более производительный вариант Rebel Quad с четырьмя 12-слойными (12-Hi) модулями HBM3e суммарной ёмкостью 144 Гбайт, тоже к концу текущего года. Новинка придёт на смену ускорителю ATOM, который оснащён всего лишь 16 Гбайт GDDR6.

Использование ёмкой и быстрой HBM3e-памяти считается одним из главных преимуществ Rebel Quad, по этому показателю новинки сравнимы с последними ускорители NVIDIA семейства Blackwell. При этом обещано, что новинки будут значительно энергоэффективнее решений NVIDIA и даже ускорителей Groq. Это по-прежнему серверные ускорители для обработки LLM вроде ChatGPT, но подойдут ли они для обучения ИИ-моделей, пока не уточняется.

Источник изображения: Rebellions

Сейчас Rebellions ориентируется на поставки комплексных ИИ-решений «стоечного уровня». В рамках концепуии Rebellion Scalable Design (RDS) будет предложены программно-аппаратные комплексы, которые позволят органично взаимодействовать многочисленным ускорителями и серверам с максимальной производительностью и энергоэффективностью. Речь идёт о решении, теоретически способном конкурировать с NVIDIA CUDA.

Южнокорейский стартап FuriosaAI на мероприятии анонсировал специализированный чип RNGD (произносится как «Renegade»), который позиционируется в качестве альтернативы ускорителям NVIDIA. Новинка предназначена для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.

FuriosaAI основана в 2017 году тремя инженерами, ранее работавшими в AMD, Qualcomm и Samsung. Своё первое решение компания выпустила в 2021 году: чип Warboy представляет собой высокопроизводительный ЦОД-ускоритель, специально разработанный для рабочих нагрузок компьютерного зрения. Новое изделие RNGD, как утверждает FuriosaAI, является результатом многолетних инноваций.

Чип изготавливается по 5-нм техпроцессу TSMC. ИИ-ускоритель на базе RNGD выполнен в виде карты расширения PCIe 5.0 x16. Он наделён 48 Гбайт памяти HBM3 с пропускной способностью до 1,5 Тбайт/с и 256 Мбайт памяти SRAM (384 Тбайт/с). Показатель TDP находится на уровне 150 Вт, что позволяет использовать устройство в системах с воздушным охлаждением. Для сравнения: у некоторых ускорителей на базе GPU величина TDP достигает 1000 Вт и более.

Источник изображения: FuriosaAI

Утверждается, что RNGD обеспечивает производительность до 512 Тфлопс в режиме FP8 и до 256 Тфлопс в режиме BF16. Быстродействие INT8/INT4 достигает 512/1024 TOPS. Карта позволяет эффективно запускать открытые LLM, такие как Llama 3.1 8B. Говорится, что один PCIe-ускоритель RNGD обеспечивает пропускную способность от 2000 до 3000 токенов в секунду (в зависимости от длины контекста) для моделей с примерно 10 млрд параметров. В системе можно объединить до восьми карт для работы с моделями, насчитывающими около 100 млрд параметров.

RNGD основан на архитектуре свёртки тензора (Tensor Contraction Processor, TCP), которая, как отмечается, обеспечивает оптимальный баланс между эффективностью, программируемостью и производительностью. Программный стек состоит из компрессора моделей, сервисного фреймворка, среды выполнения, компилятора, профилировщика, отладчика и набора API для простоты программирования и развёртывания. Говорится, что чипы RNGD можно настроить для выполнения практически любой рабочей нагрузки LLM или мультимодального ИИ.

Бум ИИ-систем привёл к тому, что технологические компании и их поставщики начали рассматривать в качестве места для размещения дата-центров старые электростанции и промышленные площадки. По данным Financial Times, гиперскейлеры вкладывают миллиарды долларов в строительство облачных объектов и ИИ ЦОД, но найти место с подходящей инфраструктурой и доступом к электроэнергии становится всё сложнее.

По информации экспертов по недвижимости из Cushman & Wakefield, многие рынки ЦОД ограничены в доступе не только к электричеству, но и к земельным участкам. В ответ всё больше интереса проявляется к малым рынкам и «более сложным площадкам» вроде старых электростанций. В занимающейся недвижимостью группе JLL тоже отмечают, что застройщики больших кампусов ищут новые локации, включая «инфраструктурные площадки» или электростанции. Обычно на такие объекты заглядываются гиперскейлеры вроде Microsoft, Amazon и Google.

Источник изображения: Karl Hörnfeldt/unsplash.com

В некоторых регионах США и Европы угольные станции или производственные площадки давно списаны, но по-прежнему обладают инфраструктурой, необходимой для ЦОД. Промышленные объекты обычно оснащены подходящими линиями электропередач и часто находятся возле источников воды.

Так, Microsoft намерена построить ЦОД на территории старых электростанций Eggborough и Skelton Grange возле Лидса на севере Англии и кампус ЦОД в США на месте неудавшегося завода Foxconn. Amazon тоже намерена построить кампус на месте старой станции Birchwood в штате Вирджиния (США). По данным некоторых источников, как минимум одна сделка подобного же рода обсуждается сейчас и в Европе, а Великобритании компания намерена перестроить бывший завод Ford. А в Мадриде намерены превратить в крупный ЦОД бывший завод Coca Cola. Наконец, Nautilus предлагала превратить в дата-центр бывшую бумажную фабрику в штате Мэн.

Источник изображения: Jan Huber/unsplash.com

Эксперты предупреждают, что ограничения доступа к электричеству угрожает экспансии ИИ, а недостаток других элементов инфраструктуры вроде кабельных сетей дополнительно ограничивает возможности по поиску площадок для новых дата-центров. В результате растёт интерес к более необычным местам и объектам, поскольку для тренировки ИИ-моделей не слишком важна задержка сигнала. В этом случае смена профиля объектов может оказаться неплохим вариантом. Уже отмечена активность владельцев подобных строений, заинтересованных в превращении своей собственности в ЦОД.

Например, Virtus Data Centres недавно приобрела две площадки в Берлине, часть территории ранее была солнечной электростанцией, а также старую фабрику боеприпасов в Великобритании, их планируется превратить в кампусы ЦОД к 2026 году. Недавно бывший завод приобрела в Джорджии (США) Equities Group — на площадке есть трансформаторы, вода, канализация и подведён газ. Тренд отражает и тенденции в майнинговой индустрии, где также происходит смена профиля старых объектов.

Источник изображения: Jan Huber/unsplash.com

Некоторые эксперты предупреждают, что подобное перепрофилирование может оказаться долгим, дорогим процессом с массой бюрократических препон и не всегда экономически целесообразным, особенно если объект уже отключен от всех энергетических линий и не обслуживается местными энергокомпаниями. Вернуть всё к работе довольно сложно. Специалисты по недвижимости из группы JLL сообщили, что многое зависит от специфики объекта, стоимости доработки, цен на землю и т.д.

Исследователи RMI (Rocky Mountain Institute) и вовсе предлагают объединить электростанции на ископаемом топливе с ЦОД и источниками возобновляемой энергии. Избыток последней, который нельзя передать в энергосеть из-за внешних ограничений можно использовать на месте, например, для питания ЦОД и других объектов, потребляющих много энергии. А тратиться на строительство новых линий электропередач в этом случае не придётся.

Компания Nexign (Нэксайн) обнародовала результаты исследования, посвящённого телеком-рынку России. Как сообщает пресс-служба компании, участники рынка прогнозируют его рост в ближайшие пять лет благодаря экосистемным решениям, включающим телеком-услуги и партнёрские сервисы, а также сервисы ИБ и комплексные предложения для бизнеса. Рост поддержат ИИ-системы и инвестиции в микросервисную архитектуру. Компания опросила 31 топ-менеджера крупных операторов связи России, Беларуси, Узбекистана и Таджикистана.

Опрос показал, что 57 % респондентов ожидают рост рынка связи на 5–10 %, а почти треть — более чем на 30 %. Драйверы роста вроде экосистемных предложений, технологий информационной безопасности и комплексные предложения для бизнеса (услуги связи, облачные сервисы, ИБ-сервисы, аналитика и реклама) рассматриваются как основные. При этом выручка в телеком-отрасли растёт как в России, так и во всё мире, в среднем на 15 % ежегодно.

73 % назвали главным вызовом отрасли дефицит кадров — не хватает высококвалифицированных специалистов в сфере IT и кибербезопасности, причём такая ситуация сохраняется не первый год. Для решения проблемы компании не только увеличивают зарплаты, но и автоматизируют всё больше задач с помощью ИИ. В тройке главных проблем и санкции (47 % опрошенных), а также нехватка телеком-оборудования с параллельным удорожанием (43 %).

Источник изображения: Nexign

Импортозамещение довольно хорошо получается в системах биллинга, более половины опрошенных оценивают его довольно высоко, в том числе 7 % — на 10 баллов из 10 возможных. Замена ядра сети происходит не так гладко, 23 % и вовсе оценивают его в 1 балл по шкале от 0 до 10. Другими словами, в первую очередь компании стремились заместить самые востребованные системы, а теперь фокус сместился на более специализированные решения, требующие высокой квалификации и времени на разработку. Российские решения для ядра сети уже развивается.

Источник изображения: Nexign

При этом опрошенные в основном не верят в возвращение иностранных вендоров, а 43 % из них считает, что при попытке вернуться их ждёт неудача, поскольку те «созреют» лишь к тому времени, когда рынок будет занять отечественными альтернативами. В Nexign подчёркивают, что в сегменте ядра сети большинство операторов по-прежнему используют комплексные решения Huawei и Oracle, но ситуация будет меняться «в ближайшее время».

Источник изображения: Nexign

Ключевыми технологиями, которые окажут самое сильное влияние на IT-стратегию телеком-компаний в ближайшую пятилетку, опрошенные назвали «традиционные» ИИ-системы (в т.ч. машинное обучение и предиктивную аналитику), генеративный ИИ и микросервисуню архитектуру. При этом популярная в мире технология OpenRAN в России пока не вызывает особенного интереса. Нет и 5G в числе ключевых драйверов отечественного рынка на ближайшие годы. Кроме того, хотя 43 % респондентов уверены в том, что старт 5G в стране станет новым источником выручки, 30 % в этом сомневаются.

Японская Mitsubishi Electric Corp. пытается справиться с нарастающим в мире спросом на оптические компоненты, используемые в ИИ ЦОД, передаёт Bloomberg. Компания контролирует почти половину мирового рынка устройств оптической передачи данных для ЦОД, выпуская высокоэффективные лазерные диоды, модуляторы и сборки, которые используются в трансиверах. При этом в выручке самой компании данное направление занимает очень небольшую долю.

В Bloomberg сообщают, что, например, в США, без преувеличения все гиперскейлеры так или иначе являются клиентами Mitsubishi Electric. По словам представителя компании, уже в следующем месяце Mitsubishi Electric сможет нарастить выпуск оптических компонентов на 50 % в сравнении с прошлым годом, но этого всё равно будет недостаточно, чтобы удовлетворить все получаемые запросы. Понадобится вдвое нарастить производство в сравнении с тем, на что оно будет способно в сентябре.

Высказывания официального представителя компании стали последним из признаков дефицита компонентов для ИИ-инфраструктур. По оценкам Mitsubishi Electric, спрос со стороны пятёрки первых ведущих провайдеров США «очень силён» и продолжает расти. Буквально на днях компания пообещала начать поставки образцов решения для сетей 800 Гбит/с и 1,6 Тбит/с.

Источник изображения: Mitsubishi Electric

На оптические компоненты приходится лишь малая часть бизнеса Mitsubishi Electric, выпускающей самую разную продукцию, от промышленных роботов до спутникового оборудования. Подразделение, занимающееся соответствующими полупроводниками и устройствами, принесло в прошлом финансовом году 4 % от выручки компании. В июне эксперты уже предупреждали о росте спроса на оптическое оборудование для дата-центров.

Schwarz Group, владелец немецких сетей супермаркетов Lidl и Kaufland, по сообщению газеты Financial Times, активно развивает IT-бизнес. Речь идёт о предоставлении услуг облачных вычислений и кибербезопасности корпоративным клиентам на базе подразделения Schwarz Digits.

Развёртыванием IT-сервисов Schwarz Group занялась в 2021 году, начав с системы, предназначенной для внутреннего использования. Целью было прежде всего устранение зависимости от третьих сторон. Поскольку в Германии подходящих провайдеров не было, группа стремилась, по крайней мере, использовать европейских поставщиков услуг во избежание хранения данных в других юрисдикциях. Придя к выводу, что ни один существующий провайдер не может удовлетворить её потребности, компания решила создать собственный облачный сервис — StackIT.

В 2023 году подразделение Schwarz Digits стало самостоятельной операционной структурой. Годовая выручка достигла €1,9 млрд, а штат сотрудников составляет около 7500 человек. Клиентами Schwarz Digits являются, в частности, немецкий производитель ПО корпоративного класса SAP, футбольный клуб «Бавария» и порт Гамбурга. Основным преимуществом облачных сервисов Schwarz Digits является то, что все данные клиентов обрабатываются и хранятся исключительно в Германии и Австрии, где действуют строгие законы о конфиденциальности и защите информации.

Источник изображения: Lidl

В 2023 году Schwarz Group решила заняться технологиями ИИ, приобретя миноритарную долю в немецком стартапе Aleph Alpha. Эта компания, основанная в 2019 году, занимается разработкой больших языковых моделей (LLM). Стартап делает упор на концепцию «суверенитета данных». Свои LLM фирма предлагает корпоративным заказчикам и государственным учреждениям. В конце прошлого года Aleph Alpha провела раунд финансирования на сумму более $500 млн, а одним из инвесторов стала Schwarz Group.

По словам Акселя Опперманна (Axel Oppermann), владельца немецкой IT-консалтинговой компании Avispador, внимание Schwarz Digits к облачным вычислениям, кибербезопасности и ИИ было «хорошо продуманным», поскольку все три области представляют значительный интерес для клиентов. Фактически Schwarz Digits стала серьёзным региональным конкурентом таким гигантам, как Amazon Web Services (AWS), Google Cloud и Microsoft Azure. Однако для выхода на международный уровень, по мнению Опперманна, Schwarz Digits не хватает развитой партнёрской сети.

Создание и обучение мощных ИИ-моделей может обходиться компаниям в сотни миллионов и миллиарды долларов в год. Например, OpenAI в 2024-м намерена потратить на эти цели до $7 млрд. Основная часть затрат приходится на аппаратные ресурсы, включая дорогостоящие ускорители NVIDIA. Но, как сообщает Fortune, существует ещё одна важная статья расходов, которая зачастую упускается из виду — необходимость качественной маркировки данных. Между тем именно эта работа требует всё больших финансовых вложений.

Разметка (или маркировка) — процесс идентификации необработанных данных (изображений, текстовых файлов, видео и пр.) и добавления одной или нескольких значимых и информативных меток для обеспечения контекста. Это необходимо для того, чтобы ИИ-модель могла обучаться на таких массивах информации. Разметка данных требуется для различных сценариев использования, включая машинное зрение, обработку естественного языка и распознавание речи.

Разметка уже давно используется, например, при разработке ИИ-моделей для беспилотных автомобилей. Камера фиксирует изображения людей, уличных знаков, транспортных средств и светофоров, а комментаторы-люди помечают снимки такими тегами, как «пешеход», «грузовик» или «знак остановки». Это трудоёмкий и кропотливый процесс, который отнимает много времени и требует значительных финансовых вложений. После выпуска ChatGPT в 2022 году OpenAI подверглась широкой критике за аутсорсинг такой работы: компания наняла кенийских работников менее чем за $2/час.

Источник изображения: Max Panamá / Unsplash

Нынешние универсальные большие языковые модели (LLM) проходят обучение с подкреплением на основе отзывов (RLHF). В ходе процедуры люди предоставляют качественную обратную связь или ранжируют то, что генерирует ИИ-модель. Такой подход приводит к значительному увеличению затрат. Ещё одна причина роста расходов при маркировке данных — желание компаний включить в процесс обучения корпоративную информацию, такую как сведения о клиентах или внутренние корпоративные документы.

Кроме того, маркировка данных экспертного уровня в таких областях, как юриспруденция, финансы и здравоохранение требует привлечения высококвалифицированных специалистов, оплата труда которых стоит весьма дорого. Поэтому некоторые разработчики перекладывают задачи по разметке данных на сторонние компании, например, Scale AI, которая недавно получила финансирование в размере $1 млрд.

Алекс Ратнер (Alex Ratner), генеральный директор стартапа по маркировке данных Snorkel AI, говорит, что корпоративные клиенты могут тратить миллионы долларов на маркировку и обработку информации. Такие операции в некоторых случаях отнимают до 80% времени и бюджета на ИИ. Причём для сохранения актуальности со временем данные должны периодически дополняться и обрабатываться заново.

Таким образом, разметка, наряду с необходимостью применения дорогостоящего оборудования, становится одной из основных статей расходов при обучении ИИ-моделей. Некоторые компании снижают затраты, используя синтетические данные — то есть данные, сгенерированные самим ИИ. Последние инновации в области ИИ сделали генерацию синтетических данных эффективной и быстрой, что в ряде случаев позволяет отказаться от применения массивов реальной информации. Однако в некоторых случаях это грозит «самоповторами».

Государственный инвестор Mubadala Investment Co. из Объединённых Арабских Эмиратов вложит средства в лондонского строителя и оператора ЦОД Yondr Group. По данным Bloomberg, это новейшая инвестиция одного из фондов национального благосостояния ОАЭ в сектор, который должен выиграть от стремительно растущего спроса на облачные сервисы и ИИ-технологии.

Фонд, ресурсы которого составляют $302 млрд, объявил, что его инвестиции будут способствовать росту Yondr Group, с общей зарезервированной ёмкостью 878 МВт. Подробности сделки не раскрываются, но ранееуже подписал ряд сделок, связанных с рынком ЦОД, в том числе об инвестициях в американскую Aligned Data Centers и сингапурскую Princeton Digital Group (PDG). По мнению экспертов Mubadala Investment, средние темпы прироста глобального совокупного спроса на ЦОД составят 11 % до 2032 года.

Источник изображения: Nick Fewings/unsplash.com

Операторы ЦОД довольно давно стали объектом внимания со стороны богатых инфраструктурных инвестиционных фондов. Только в текущем году в сектор инвестировано более $20 млрд. В своём регионе ОАЭ и Саудовская Аравия намерены стать ИИ-хабами в рамках попыток диверсифицировать экономику, пока полагающуюся преимущественно на продажи нефти. В результате началась гонка для строительства на Ближнем Востоке дорогих ЦОД для поддержки технологического развития.

Mubadala Investment вкладывает деньги и в другие проекты, связанные с передовыми технологиями дата-центров. В прошлом году появилась информация о том, что фонд инвестировал в разработчика систем жидкостного охлаждения CoolIT, одного из ключевых игроков рынка СЖО для ЦОД и суперкомпьютеров.

23 августа США ввели новые санкции в отношении российских IT-компаний, включая производителей электроники и разработчиков ПО, а также физических лиц. Также в санкционный список были включены компании и физлица из Азии, Европы и Ближнего Востока, чья продукция и сервисы помогают России обходить санкции, сообщается на сайте Министерства финансов США. Всего было включено порядка 400 компаний и физлиц. Из них более 190 было внесено в перечень Государственным департаментом США и около 200 — Министерством финансов США.

В санкционном перечне оказались разработчики ПО для финансового сектора — разработчики банковского софта ПАО «Диасофт» и группа компаний «Центр финансовых технологий» (ЦФТ), известная платёжной системой «Золотая Корона», а также компания «Атол», которая помимо ПО также занимается производством кассовых аппаратов. Их включение в чёрный список США объяснили намерением ограничить использование Россией международной финансовой системы.

Источник изображения: Jorge Franganillo / Pixabay

Также в санкционный перечень были включены такие российские разработчики софта, как «Галактика» (разработчик одноименной ERP-системы), «Цифра» (разработчик ПО для промышленности и IoT), «Крибрум» (разработчик платформы для сбора, хранения и анализа данных), «Базальт СПО» (разработчик Linux-платформ и системного ПО) и компании группы «Центр речевых технологий» (ЦРТ) по созданию систем в сфере биометрии, среди которых названы «ЦРТ Инновации» и «ЦРТ Софт»,

Кроме того, в перечне указаны Научно-исследовательский Институт искусственного интеллекта (AIRI), занимающийся исследованиями в области ИИ и разработавший нейронные сети, связанные с беспилотными транспортными средствами, Институт проблем искусственного интеллекта РАН (ИПИИ ФИЦ ИУ РАН) и МТС RED, «дочка» МТС, специализирующаяся на разработке решений в сфере кибербезопаности.

Как сообщает «Интерфакс», на данный момент под санкциями США, ЕС и отдельных стран находятся десятки российских ИТ-компаний, занимающихся разработкой ПО («Группа Астра», «РедСофт», «Аскон» и т.д.), решений в области информационной безопасности («Группа Позитив», «Солар», «Инфотекс» и пр.), а также производством компьютерной техники и микроэлектроники, предоставлением услуг заказной разработки ПО и услуг ЦОД.