Материалы по тегу: ии

09.07.2024 [17:02], Владимир Мироненко

IDC увеличила прогноз затрат на облачную инфраструктуру в 2024 году

Компания International Data Corporation (IDC) опубликовала результаты исследования мирового рынка облачных инфраструктур за I квартал 2024 года. Согласно оценкам IDC, за квартал, завершившийся в марте, на вычислительные мощности и хранилища по всему миру было израсходовано $54,4 млрд, что на 46 % больше показателя годичной давности.

Часть суммы была потрачена на выделенную (dedicated) инфраструктуру, которая размещается в собственных ЦОД или колокейшн-объектах, а часть на общедоступную (shared) облачную инфраструктуру. Следует отметить, что речь в данном случае идёт о продажах конечным потребителям или партнёрам по сбыту. Как полагает ресурс The Next Platform, порядка 40 % этой суммы было потрачено на ИИ-системы, большей частью на их аренду, причём в основном эти системы используют ускорители NVIDIA.

По данным IDC, из общей суммы компании потратили в I квартале 2024 года $26,3 млрд на общедоступную облачную инфраструктуру, что на 43,9 % больше, чем в прошлом году. Как отметили аналитики, на неё по-прежнему приходится наибольшая доля расходов по сравнению с выделенной инфраструктурой и необлачными расходами. В I квартале 2024 года на долю общедоступного облака пришлось 56,1 % всех расходов на инфраструктуру.

Расходы на выделенную облачную инфраструктуру выросли не столь сильно — на 15,3 % до $6,7 млрд, что ниже среднего показателя за последние 24 месяца в $7,4 млрд в квартал. В сумме расходы на всю облачную инфраструктуру, как общедоступную, так и выделенную, составили $33,0 млрд, что больше год к году на 36 %. На традиционную (необлачную) инфраструктуру было израсходовано $13,9 млрд (рост — 5,7 %).

 Источник изображений: IDC

Источник изображений: IDC

Если оценивать динамику затрат по регионам, то в основном она была положительной, за исключением Латинской Америки, продемонстрировавшей снижение на 2,8 %. Почти во всех регионах рост затрат исчисляется двузначными цифрами, за исключением Западной Европы, а также Ближнего Востока и Африки, где он составил 4,0 % и 5,3 % соответственно.

В число регионов, показавших уверенный двузначный рост расходов, вошли Азиатско-Тихоокеанский регион (исключая Японию и Китай), Япония, Центральная и Восточная Европа, США, Китай и Канада, где расходы на облачные технологии выросли год к году на 85,4 %, 53,1 %, 42,6 %, 37,0 %, 33,7 % и 16,1 % соответственно. Большая часть роста связана с крупными HPC- и ИИ-проектами, некоторые из которых в прошлом были отложены из-за проблем с поставками.

IDC также значительно повысила прогноз по затратам на 2024 год. Согласно оценкам, в этом году затраты на облачную инфраструктуру вырастут год к году на 26,1 % до $138,3 млрд. Расходы на необлачную инфраструктуру вырастут на 8,4 % до $64,8 млрд. Общедоступная облачная инфраструктура, как ожидают в IDC, покажет рост 30,4 % год к году до $108,3 млрд (предыдущий прогноз — $95,3 млрд). Затраты на выделенную облачную инфраструктуру увеличатся на 12,8 % до $30,0 млрд (ранее ожидалось $34,6 млрд).

Комментируя аналитические выкладки IDC, ресурс The Next Platform отметил, что облачная инфраструктура продолжит увеличивать долю в общих затратах на вычислительных ресурсы и СХД. Два года назад на неё приходилось 63,8 % все расходов, в прошлом году — 64,7 %, в этом году ожидается 68,1 %, а в 2028 году — 73,6 %.

Постоянный URL: http://servernews.ru/1107704
09.07.2024 [15:59], Руслан Авдеев

Да будет свет: Corning повысила прогноз продаж благодаря буму ИИ

Corning повысила прогноз продаж во II квартале 2024 года на $200 млн. Datacenter Knowledge сообщает, что во многом это обусловлено недооценённым ранее спросом на оптоволоконные соединения в дата-центрах для ИИ-задача. Теперь квартальные продажи должны достичь $3,6 млрд, тогда как ранее ожидалось, что они не превысят $3,4 млрд. Также компания прогнозирует возвращение роста выручки год к году.

Как заявили в компании, рост во многом связан с большой востребованностью новых оптоволоконных решений для генеративного ИИ. В следующие три года ожидается увеличение годовых продаж более чем на $3 млрд под влиянием «циклических факторов и долговременных трендов». Итоговые финансовые результаты II квартала будут объявлены 30 июля. На фоне этих заявлений акции Corning выросли в цене.

В компании связывают более оптимистичные прогнозы с рядом факторов, в первую очередь — успешными продажами оптоволокна для интерконнекта. Так, по данным Corning, параллельные ИИ-вычисления с помощью современных ускорителей требуют в 10 раз больше оптоволокна, чем традиционные облачные сети. Согласен расчётам компании, NVIDIA GB200 NVL72 требуется 576 волокон, то есть в 18 раз больше, чем в стойке с классическими серверными CPU.

 Источник изображения: John Adams/unsplash.com

Источник изображения: John Adams/unsplash.com

Corning является стратегическим активом для США, поскольку выпускает значительную часть оптоволокна для американских ВОЛС. Оптоволокно также является и важнейшим компонентом в самих ЦОД. А гиперскейлеры сейчас активно вкладываются в развитие инфраструктуры. Одна только Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров и рассчитывает до конца года иметь до 1,8 млн ускорителей на базе GPU, практически каждому из которых требуется собственное сетевое подключение.

По данным Synergy Research Group, количество крупных ЦОД, управляемых гиперскейлерами, достигло 992 шт. ещё в конце 2023 года. Ожидается, что ежегодно они будут вводить в строй ещё 120–130 дата-центров, а генеративный ИИ называют первоочередной причиной такого взрывного роста. Рост инвестиций в ЦОД совпадает со значительным падением трат телеком-операторов по всему миру — это отчасти сказалась на показателях вендоров от Ericsson до Crown Castle и Corning.

В результате многие вендоры стали искать новые возможности для роста. Так, Nokia назвала желание укрепиться на рынке ЦОД первоочередной причиной покупки Infinera за $2,3 млрд — это увеличит влияние компании на рынке ЦОД. Большие планы, связанные с развитием ИИ, вынашивают и в Cisco.

Тем не менее, поставщики уверены, что телеком-операторы со временем возобновят закупки оптоволокна. Пока они используют избыточные запасы, накопленные во время пандемии COVID-19, но скоро эти резервы истощатся. Кроме того, в последние месяцы ведутся переговоры о развёртывании новых широкополосных телеком-магистралей. Corning подтвердила эти ожидания, во многом связанные с масштабной государственной программой США Broadband Equity Access and Deployment (BEAD).

Постоянный URL: http://servernews.ru/1107679
09.07.2024 [14:05], Руслан Авдеев

Wells Fargo: бум ИИ ЦОД в США сыграет на руку поставщикам природного газа

Бум спроса на дата-центры, работающие с ИИ-приложениями, сулит большие выгоды энергетическим компаниям, поставляющим природный газ. По данным Datacenter Dynamics, с соответствующим прогнозом выступили эксперты Wells Fargo.

Специалисты Инвестиционного института банка (Investment Institute, WFII) уверены, что сегодня такие энергоснабжающие структуры находятся в сильной позиции, позволяющей им снабжать новые ИИ ЦОД, активно строящиеся на территории Соединённых Штатов. В марте уже сообщалось, что проект нового газопровода Mountain Valley Pipeline, реализуемого Equitrans Midstream Corp., будет способствовать буму ИИ-технологий.

Хотя большинство операторов хотели бы получать энергию для новых объектов из возобновляемых источников и всеми силами стремятся к этому, природный газ в США всё ещё удовлетворяет 43 % спроса на энергию, о чём свидетельствует статистика Управления энергетической информации страны (Energy Information Administration, EIA). Согласно докладу WFII, компании, поставляющие природный газ, поспособствуют процветанию многих современных ЦОД.

 Источник изображения: American Public Power Association/unsplash.com

Источник изображения: American Public Power Association/unsplash.com

В WFII заявляют, что возможности добычи природного газа в США и имеющиеся резервы достаточны для удовлетворения растущего спроса. Ключевым ограничением для роста пока является сопутствующая инфраструктура. Ожидается, что бенефициарами в сложившейся ситуации в первую очередь станут компании среднего уровня, им представляется возможность роста и более активного использования доступных активов, а ценность существующей газовой инфраструктуры со временем будет только расти. Эксперты ожидают, что доля природного газа в энергоснабжении США в ближайшем будущем останется стабильной, несмотря на то что в эксплуатацию вводятся всё новые источники возобновляемой энергии.

Получаемое с помощью природного газа электричество — более экобезопасная альтернатива прочим углеводородам из ископаемого топлива. По статистике EIA, при сжигании газа выбрасывается 430 г CO2 на каждый кВт∙ч. В случае с углём речь идёт об 1 кг CO2, а для нефти — уже об 1,1 кг. Впрочем, по данным Всемирной ядерной ассоциации (World Nuclear Association), это несопоставимо с выбросами, связанными с эксплуатацией солнечных элементов питания (48 г/кВт∙ч) или АЭС (12 г/кВт∙ч).

В прошлом месяце появилась информация о том, что Amazon (AWS) отправила в долгий ящик планы по перекачке природного газа в Орегон для питания своих ЦОД — это увеличило бы углеродный выброс действующих объектах, поскольку сегодня те запитаны преимущественно от ГЭС (фактического разделения нет, электричество поставляется из электрических магистралей штата).

Постоянный URL: http://servernews.ru/1107687
09.07.2024 [12:07], Руслан Авдеев

Китай намерен на треть нарастить вычислительные мощности к 2025 году, а развитию инфраструктуры ЦОД поможет даже Tesla

В ходе недавнего мероприятия Global Digital Economy Conference 2024 КНР не только раскрыла некоторые факты о национальной вычислительной инфраструктуре, но и обнародовала планы нарастить их только за 2024 год на 30 %, передаёт The Register.

Как заявил представитель Китайской академии информационных и коммуникационных технологий (China Academy of Information and Communications Technology) Ван Сяоли (Wang Xiaoli), Китай располагает более 8,1 млн стоек, а общая вычислительная мощность составила 230 Эфлопс (точность не указывается). Но уже к 2025 году она должна вырасти до 300 Эфлопс. Впервые соответствующие планы были обнародованы ещё в конце 2023 года.

Как именно Китай намерен добавить 70 Эфлопс, не уточнялось. Вопрос весьма актуальный, с учётом того, что Китаю удалось нарастить мощности со 180 Эфлопс в 2022 году лишь до 197 Эфлопс к августу 2023. Даже с учётом того, что сегодня этот показатель поднялся до 230 Эфлопс, Китаю придётся приложить немалые усилия, особенно с учётом санкций, ограничивающих поставки современных полупроводников в страну.

 Источник изображения: 尧智 林/unsplash.com

Источник изображения: 尧智 林/unsplash.com

В развитии современной инфраструктуры ЦОД сыграет роль даже Tesla. По данным СМИ, шанхайский оператор ЦОД Yovole Network использует водородную энергетику, энергохранилища, подключённые к солнечным электростанциям, непрямое испарительное охлаждение и СЖО для обеспечения работы своих дата-центров. В апреле компания начала сотрудничать с Tesla для внедрения энергохранилищ Tesla Megapack в одном из ЦОД.

Информация появилась в тот же день, когда китайские СМИ сообщили, что электротранспорт Tesla официально одобрен для закупок и использования в государственном секторе. В частности, Tesla Model Y приобрели некоторые принадлежащие государству шанхайские компании. При этом недавно тарифы на импорт китайских электромобилей подняли как в США, так и в Европе. На этом фоне китайские власти демонстративно подчёркивают, что в КНР одинаково относятся к местным и зарубежным предпринимателям, создавая им равные условия для развития бизнеса.

Конечно, на фоне санкций далеко не все иностранные компании смогут принять участие в наращивании китайских вычислительных мощностей. Каким бы образом в Китае не собирались добавить 70 Эфлопс за несколько месяцев, Пекин рассчитывает, что это поможет трансформировать экономику, позволив шире внедрять ИИ и потенциально обеспечит развитие и дополнительные доходы сельским районам, которые смогут заработать на цифровом буме.

Постоянный URL: http://servernews.ru/1107678
08.07.2024 [13:16], Владимир Мироненко

Слишком много затрат и слишком мало пользы: аналитики Goldman Sachs не уверены в будущем ИИ

Согласно данным Goldman Sachs, технологические компании планируют потратить в ближайшие годы около $1 трлн на развёртывание ИИ-технологий, включая инвестиции в ЦОД, чипы, энергетику и другую связанную инфраструктуру. Однако значительные расходы на ИИ-технологии до сих пор не принесли ничего «помимо сообщений о повышении эффективности» среди разработчиков, считают аналитики. Чего не скажешь о NVIDIA, оказавшейся главным бенефициаром бума ИИ.

Общение аналитиков Goldman Sachs с рядом экспертов показало, что мнения по поводу дальнейшего развития ИИ-рынка разделились. В частности, Дарон Аджемоглу (Daron Acemoglu), профессор Массачусетского технологического института (MIT) занял в значительной степени скептическую позицию по поводу результатов притока капитала. Он считает, что ИИ будет выполнять менее 5 % всех задач.

 Источник изображений: Goldman Sachs

Источник изображений: Goldman Sachs

По словам учёного, за этот период ИИ повысит эффективность существующих производственных процессов благодаря автоматизации определённых задач или повышению продуктивности работников, выполняющих эти задачи. Он добавил, что оценка эффективности ИИ в более короткой перспективе зависит от количества производственных процессов, на которые технология повлияет, и от того, насколько вырастет производительность или сократятся затраты за этот период времени.

Аджемоглу не думает, что в ближайшем будущем ИИ сможет повлиять на «огромное» количество задач, отметив, что большинство действий, выполняемых людьми в настоящее время, таких как производство или добыча полезных ископаемых, «многогранны и требуют взаимодействия в реальном мире». Учёный ожидает, что в ближайшие годы ИИ окажет наибольшее влияние на «чисто умственные задачи», и и оно не будет «огромным».

Согласно прогнозу Аджемоглу, ИИ позволит увеличить производительность труда в США всего на 0,5 % и поддержит общий экономический рост на 0,9 % в течение следующего десятилетия. Также Аджемоглу не считает, что планы технологических компаний по значительному увеличению объёма данных и вычислительной мощности, которые они подключают к моделям ИИ, приведут к более быстрому улучшению этих систем.

«Включение вдвое большего объёма данных с Reddit в следующую версию GPT может улучшить способность предсказывать следующее слово во время неформального разговора, но это не обязательно повысит качество обслуживания клиентов — способность службы поддержки помочь устранить проблемы», — сказал он. Качество данных также имеет решающее значение, при этом не ясно, откуда именно можно будет получать высококачественную информацию и насколько велика будет её доступность, в том числе в финансовом отношении. Он также предупредил, что нынешняя архитектура ИИ «может иметь ограничения».

В Goldman Sachs нет единого мнения относительно расходов на ИИ. Некоторые из аналитиков утверждают, что технология ещё не доказала способность решать сложные задачи, необходимые для оправдания повышенных расходов. Они также заявили, что не ожидают, что затраты на ИИ когда-либо снизятся до такой степени, что компании смогут экономически эффективно автоматизировать большую часть задач, подразумевая. Развитие ИИ, которое привела к росту индекса S&P 500 в этом году, «вряд ли сохранится».

Вместе с тем ряд аналитиков Goldman Sachs с оптимизмом смотрит в будущее, прогнозируя, что ИИ позволит оптимизировать 25 % всех рабочих процессов. Они считают нынешний рост капитальных затрат «более многообещающим», чем предыдущие циклы расходов, поскольку «лидируют действующие игроки с низкой стоимостью капитала и массивными сетями дистрибуции и клиентской базой». Согласно прогнозу этих аналитиков, ИИ позволит повысить производительность труда в США на 9 %, а экономическая активность в стране совокупно вырастет на 6,1 % в течение следующего десятилетия.

В целом в Goldman Sachs пришли к выводу, что «ИИ ещё есть место для развития, либо потому, что ИИ начинает выполнять свои обещания, либо потому, что (финансовые) пузыри лопаются очень долго». Иными словами, аналитики Goldman Sachs не исключают, что ИИ может в итоге оказаться финансовым пузырём. Ранее к похожим выводам пришли в венчурном фонде Sequoia Capital.

Постоянный URL: http://servernews.ru/1107620
07.07.2024 [19:42], Руслан Авдеев

Министерство энергетики США вложит $100 млн в создание «зелёных» энергохранилищ без использования лития

Американское министерство энергетики (DOE) намерено инвестировать $100 млн в проекты, предусматривающие применение батарей без использования лития. По данным Datacenter Dynamics, оно уже выпустило т.н. «уведомление о намерениях», предусматривающих финансирование нескольких демонстрационных энергопроектов, акцентирующих внимание на «нелитиевых» технологиях, решениях со временем разрядки 10+ часов и стационарных энергохранилищах.

Подобные системы могут стать важным элементом перехода на возобновляемые источники энергии для дата-центров и сетевых поставщиков электроэнергии, поскольку смогут помогать захватывать и сохранять солнечную или ветряную энергию и отдавать её по мере необходимости, в том числе ночью или в штиль. Кроме того, подобные технологии можно будет использовать для подпитки энергосетей в случае экстренной необходимости.

В DOE считают, что США понадобится ещё 700–900 «зелёных» ГВт для того, чтобы страна добилась нулевых выбросов к 2050 году. При этом нынешние сети уже включают кратковременные хранилища энергии, но рост мощностей возобновляемых источников может привести к ужесточению требований к системам хранения. Системы длительного хранения энергии (LDES), по мнению чиновников, должны сыграть ключевую роль в создании энергетических резервов, необходимых для обеспечения стабильности работы энергосетей.

 Источник изображения: Federico Beccari/unsplash.com

Источник изображения: Federico Beccari/unsplash.com

За финансирование отвечает Управление по демонстрации экологически чистой энергии (Office of Clean Energy Demonstrations, OCED). Предполагается поддержать от 3 до 15 проектов, которые получат $5–20 млн. Но должны найтись и частные соинвесторы, готовые вложить в каждый выбранный проект аналогичную сумму. Предполагается, что гранты помогут в развитии технологий, позволят довести опытные разработки до промышленной реализации, поспособствуют проведению практических испытаний и развитию цепочек поставок. При этом отобраны будут проекты, которые наиболее близки к стадии коммерциализации.

Промышленные аккумуляторы без лития, которые подходят для резервного питания крупных объектов, уже существуют. Недавно американский стартап Unigrid привлёк $12 млн для разработки найтрий-ионных АКБ. А ZincFive и FDK создают никель-цинковые батареи.

Постоянный URL: http://servernews.ru/1107614
07.07.2024 [08:52], Сергей Карасёв

Стартап Phaidra, разрабатывающий ИИ для эффективного управления ЦОД, привлёк $12 млн

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

 Источник изображения: Phaidra

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Постоянный URL: http://servernews.ru/1107599
06.07.2024 [23:27], Владимир Мироненко

Sequoia Capital: ИИ пока не оправдывает вложений и может превратиться в финансовый пузырь

Несмотря на масштабные инвестиции крупных технологических компаний в инфраструктуру ИИ ни одна из них не может пока похвастаться значительной отдачей от своих вложений в это направление, пишет ресурс Tom's Hardware со ссылкой на заметку венчурного фонда Sequoia Capital.

Если компания OpenAI, использующая инфраструктуру Microsoft Azure, смогла за короткое время существенно увеличить доходы с $1,6 млрд в конце 2023 года до $3,4 млрд в 2024 году, то другие ИИ-стартапы пока только пытаются подобраться к отметке в $100 млн.

В то время, как NVIDIA заработала в прошлом году $47,5 млрд на поставках оборудования для ЦОД, в основном ИИ-ускорителей, её основные клиенты, такие как AWS, Google, Meta, Microsoft и т.д., вложившие немалые средства в развёртывание ИИ-инфраструктуры, пока имеют более скромные доходы от этого направления. По данным NVIDIA, половина её доходов от поставок для ЦОД поступает от крупных провайдеров облачных услуг — поставки только Microsoft принесли ей около 22 % выручки в IV квартале 2024 финансового года.

 Источник изображения: Hennie Stander / Unsplash

Источник изображения: Hennie Stander / Unsplash

По мнению Дэвида Кана (David Cahn), аналитика Sequoia Capital, ситуация начинает приобретать сходство с финансовым пузырём. Согласно его подсчётам, компаниям ИИ-отрасли необходимо иметь доход около $600 млрд в год, чтобы оправдать расходы на свою ИИ-инфраструктуру.

К таким выводам Кан пришёл, выполнив несложные расчёты. Он удвоил прогноз текущих доходов NVIDIA, чтобы покрыть общие затраты на ИИ ЦОД, половина которых приходится на ускорители, остальное — на энергию, здания и резервные генераторы. Полученный результат он снова удвоил, чтобы обеспечить 50 % валовой прибыли для конечных потребителей ИИ-сервисов таких компаний, как AWS или Microsoft Azure, которые тоже не должны остаться внакладе.

Даже если Google, Microsoft, Apple и Meta будут ежегодно получать по $10 млрд дохода от использования ИИ, а такие компании, как Oracle, ByteDance, Alibaba, Tencent, X и Tesla — по $5 млрд, останется ещё $500 млрд затрат, которые нужно перекрыть. Кан предложил снизить ожидания быстрой прибыли от достижений в области ИИ и заняться внедрением устойчивых инноваций и созданием ценных для конечных пользователей решений. В противном случае образовавшийся пузырь на сотни миллиардов долларов может лопнуть, что приведёт к негативным последствиям для рынка.

Постоянный URL: http://servernews.ru/1107609
06.07.2024 [23:09], Владимир Мироненко

China Mobile запустила в Китае ЦОД с 4000 ИИ-ускорителей, треть из которых — отечественные

Китайская телекоммуникационная компания China Mobile объявила об официальном запуске в Пекине «интеллектуального вычислительного центра» — дата-центра площадью 57 тыс. м2, оснащённого серверами с 4 тыс. ИИ-ускорителей общей производительностью 1 Эфлопс (точность вычислений здесь и далее не указывается). Треть установленных в дата-центре ускорителей (33 %) — местного производства, сообщил ресурс China Daily.

China Mobile также сообщила, что разместила у местных компаний заказ на поставку оборудования для своих «интеллектуальных вычислительных центров» на сумму $2,6 млрд. В общей сложности China Mobile закупит в период с 2024 по 2025 год 8054 единиц оборудования для своих для ЦОД, включая 7994 ИИ-сервера вместе со вспомогательным оборудованием, а также 60 коммутаторов, сообщил ресурс Data Center Dynamics.

 Источник изображения: China Mobile

Источник изображения: China Mobile

В числе победителей тендера — Wuhan Guangxun Technology, Kunlun Technology, Huakun Zhenyu, Boyd Computer, Powerleader и Yangtze Computing. Kunlun Technology поставляет ИИ-серверы и периферийное оборудование, Huakun Zhenyu выпускает серверы на базе Arm-процессоров Huawei Kunpeng и ИИ-ускорителей Huawei Ascend, а Powerleader специализируется на выпуске серверов и ПК для корпоративного сегмента.

Ранее China Mobile сообщила, что построила крупнейший ЦОД в Хух-Хото (Внутренняя Монголия, Китай), оснащённый 20 тыс. ИИ-ускорителями общей производительностью 670 Тфлопс. В дальнейшем компания планирует построить ЦОД в Харбине (Harbin) на северо-востоке Китая и Гуйяне (Guiyang) на юге страны. Сейчас у China Mobile есть 12 «интеллектуальных» ЦОД в КНР, общая производительность которых составляет 17 Эфлопс.

Постоянный URL: http://servernews.ru/1107604
05.07.2024 [09:18], Владимир Мироненко

Потрать доллар — получи семь: ИИ-арифметика от NVIDIA

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.

«Каждый доллар, вложенный провайдером облачных услуг в ускорители, вернётся пятью долларами через четыре года», — заявил Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA на конференции BofA Securities 2024 Global Technology Conference. Он отметил, что использование ускорителей для инференса несёт ещё больше выгоды, позволяя получить уже семь долларов за тот же период.

Как сообщается, инференс ИИ-моделей Llama, Mistral и Gemma становится всё масштабнее. Для удобства NVIDIA упаковывает открытые ИИ-модели в оптимизированные и готовые к запуску контейнеры NIM. Компания отметила, что её новейшие ускорители Blackwell оптимизированы для инференса. Они, в частности, поддерживают типы данных FP4/FP6, что повышает энергоэффективность оборудования при выполнении рабочих нагрузок ИИ с низкой интенсивностью.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

Провайдеры облачных услуг планируют строительство ЦОД на пару лет вперёд и хотят иметь представление о том, какими будут ускорители в обозримом будущем. Бак отметил, что провайдерам важно знать, как будут выглядеть ЦОД с серверами на базе чипов Blackwell и чем они будут отличаться от дата-центров на Hopper. Скоро на смену Blackwell придут ускорители Rubin. Их выпуск начнётся в 2026 году, так что гиперскейлерам уже можно готовиться к обновлению дата-центров.

Как ожидается, чипы Blackwell, первые партии которых будут поставлены к концу года, будут в дефиците. «С каждым новым технологическим переходом возникает… сочетание проблем спроса и предложения», — отметил Бак. По его словам, операторы ЦОД постепенно отказываются от инфраструктуры на базе CPU, освобождая место под большее количество ускорителей. Ускорители Hopper пока остаются в ЦОД и всё ещё будут основными «рабочими лошадками» для ИИ, но вот решения на базе архитектур Ampere и Volta уже перепродаются.

Microsoft и Google сделали ставку на ИИ и сейчас работают над более функциональными большими языковыми моделями, причём Microsoft (и OpenAI) в значительной степени полагается на ускорители NVIDIA, тогда как Google опирается на TPU собственной разработки для использования в своей ИИ-инфраструктуре. Пока что самая крупная модель насчитывает порядка 1,8 трлн параметров, но по словам Бака, это только начало. В дальнейшем появятся модели с триллионами параметров, вокруг которой будут построены более мелкие и более специализированные модели. Так, свежая GPT-модель (вероятно, речь о GPT-4o) включает 16 отдельных нейросетей.

NVIDIA уже адаптирует свои ускорители к архитектуре Mixture of Experts (MoE, набор экспертов), где процесс обработки запроса пользователя делится между несколькими специализированными «экспертными» нейросетями. GB200 NVL72, по словам Бака, идеально подходит для MoE благодаря множеству ускорителей связанных быстрым интерконнектом, каждый из которых может обрабатывать часть запроса и быстро делится ответом с другими.

Постоянный URL: http://servernews.ru/1107501

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus