ИИ-инфраструктура Apple Private Cloud Compute использует не только базовую ИИ-модель собственной разработки и серверы Apple для инференса, работающие на собственных чипах Apple, но и облако Google Cloud Compute, обратил внимание ресурс HPCWire.

Сведения об ML-платформе Apple AXLearn указывают на гибридный подход к работе с ИИ, при котором Apple объединяет свои собственные серверы с возможностями Google Cloud, сообщил HPCwire, отметив, что новая инфраструктура является для Apple большим шагом вперёд. Например, Google и Microsoft, активно работают над развёртыванием ИИ ещё с конца 2022 года. Выпуск собственных систем знаменует возвращение Apple в сектор серверного оборудования после того, как в 2011 году она прекратила выпуск Xserve.

Источник изображения: Apple

Apple сообщила в своём блоге, что AXLearn использует фреймворк Google JAX и компилятор XLA и позволяет обучать модели с высокой эффективностью и масштабируемостью на различном оборудовании и облачных платформах, включая фирменные ИИ-ускорители Google TPU, а также облачные и локальные ускорители на базе GPU (конкретные модели не уточняются). У Apple есть две новые собственные ИИ-модели, одна из которых имеет 3 млрд параметров и используется для ИИ приложений на устройствах, а также более крупная LLM для запуска на серверах.

Модели, разработанные с помощью фреймворка TensorFlow, созданного Google, были обучены на TPU Google. При этом AXLearn включает оркестратор, который пока работает только с Google Cloud. Впрочем, Apple оговаривается, что «теоретически его можно расширить для работы на платформах других облачных провайдеров». Инференс же выполняется исключительно на собственных серверах компании, причём для обработки запроса пользователя каждый раз создаётся новый временный инстанс, который безвозвратно удаляется вместе с данными после завершения задачи, а для передачи информации используется сквозное шифрование.

Apple в рамках объявленного на WWDC 2024 сотрудничества c OpenAI интегрирует чат-бот ChatGPT в голосового помощника Siri, а также в другие инструменты iOS и остальных платформ. Поскольку существуют риски утечки данных на сторонней платформе, устройства Apple будут направлять запрос на разрешение пользователя отправлять данные в ChatGPT.

У компаний Microsoft и NVIDIA, по сообщению The Information, возникли разногласия по поводу использования новейших ускорителей B200 на архитектуре Blackwell. NVIDIA настаивает на том, чтобы клиенты приобретали эти изделия в составе полноценных серверных стоек, тогда как Microsoft с этим не согласна.

Отмечается, что NVIDIA, удерживающая приблизительно 98 % рынка ускорителей для ЦОД, стремится контролировать использование своих продуктов. В частности, компания накладывает ограничения в отношении дизайна ускорителей, которые партнёры создают на чипах NVIDIA.

Во время презентации Blackwell глава NVIDIA Дженсен Хуанг (Jensen Huang) неоднократно указывал на то, что теперь минимальной единицей для развёртывания должен стать суперускоритель GB200 NVL72. То есть NVIDIA призывает клиентов приобретать вместо отдельных ускорителей целые стойки и даже кластеры SuperPOD. По заявлениям компании, это позволит повысить ИИ-производительность благодаря оптимизации всех компонентов и их максимальной совместимости друг с другом. Кроме того, такая бизнес-модель позволит NVIDIA получить дополнительную выручку от распространения серверного оборудования и ещё больше укрепить позиции на стремительно развивающемся рынке ИИ.

Источник изображения: NVIDIA

Однако у Microsoft, которая оперирует огромным количеством разнообразных ускорителей и других систем в составе своей инфраструктуры, возникли возражения в отношении подхода NVIDIA. Сообщается, что вице-президент NVIDIA Эндрю Белл (Andrew Bell) попросил Microsoft приобрести специализированные серверные стойки для ускорителей Blackwell, но редмондский гигант ответил отказом. По заявлениям Microsoft, решения NVIDIA затруднят корпорации внедрение альтернативных ускорителей, таких как AMD Instinct MI300X.

Ещё один вариант OCP-стойки с СЖО (Источник изображения: Microsoft)

Дело в том, что форм-факторы стоек NVIDIA и стоек Microsoft различаются на несколько дюймов. Из-за этого могут возникнуть сложности с изменением конфигурации и модернизацией, предусматривающей использование конкурирующих компонентов. Так, Microsoft использует единую базовую платформу и для ускорителей NVIDIA, и для ускорителей AMD. Microsoft эксплуатирует вариант стоек OCP и старается максимально унифицировать инфраструктуру своих многочисленных дата-центров. NVIDIA, в конце концов, согласилась с доводами Microsoft и пошла на уступки, но это, похоже, не последнее подобное разногласие между компаниями.

Компания AMD, по сообщению ресурса Wccftech, отклонила просьбу стартапа Tiny Corp о сравнительном испытании ИИ-ускорителей Instinct MI300X в бенчмарке MLPerf, который предлагает тесты для множества разных сценариев, в том числе для задач машинного зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

Tiny Corp является разработчиком фреймворка Tinygrad для нейросетей. Кроме того, стартап проектирует компактные компьютеры Tinybox, ориентированные на выполнение ИИ-задач. В зависимости от типа используемых ускорителей (AMD или NVIDIA) производительность достигает 738 или 991 Тфлопс (FP16). Цена — $15 тыс. и $25 тыс. соответственно.

Не так давно Tiny Corp предложила AMD предоставить ускорители Instinct MI300X для нового этапа тестов в MLPerf. Однако разработчик чипов по каким-то причинам отказался это сделать, дав крайне уклончивый ответ. «Наше предложение было отклонено. Они [компания AMD] не говорят чётко "нет", используя вместо этого не несущие смысловой нагрузки слова вроде "партнёрство" и "сотрудничество"», — отмечается в сообщении Tiny Corp.

Источник изображения: AMD

Высказываются предположения, что нежелание AMD участвовать в тестах MLPerf может быть связано с заявлениями компании о превосходстве ускорителей Instinct MI300X над изделиями конкурентов. Фактическая оценка производительности в MLPerf может подорвать эти утверждения. Впрочем, в тестах MLPerf отказываются участвовать и другие игроки рынка, например, Groq.

Так или иначе, на сегодняшний день чипы NVIDIA остаются безоговорочными лидерами в бенчмарке MLPerf. Вместе с тем единственным конкурентом для них в этом тесте выступают изделия Intel Gaudi. Изделия Intel не дотягивают по производительности до решений NVIDIA, но компания делает упор на стоимость своих продуктов и даже публично назвала цены на ускорители Gaudi, что для данной индустрии случай крайне редкий.

На этой неделе на платформе YouTube появился видеоролик блогера Брэда Слоана (Brad Sloan), посвящённый строительству новых объектов гигафабрики Tesla в Техасе (Gigafactory Texas), включая ЦОД, где будет размещён ИИ-кластер на базе суперкомпьютера Dojo. В соцсети X глава Tesla Илон Маск (Elon Musk) заявил, что уже в этом году энергопотребление этой системы составит 130 МВт, а через 18 месяцев этот показатель вырастет до 500 МВт и данный кластер станет крупнейшим в мире.

Строительство ЦОД стартовало в октябре прошлого года. Хотя компания не стала предавать гласности график строительства и намеченные сроки завершения, пока всё идёт не так, как планировалось Маском. В частности, есть сложности с доставкой материалов в Остине. Также наблюдаются задержки со строительством под площадкой дата-центра туннеля для передвижения электрических пикапов Cybertruck, за которое несёт ответственность основанная Маском компания Boring Company.

Источник изображений: Brad Sloan/YouTube

После посещения площадки Маск уволил директора по строительной инфраструктуре проекта, а также провёл кадровые перестановки. Также сообщается, что миллиардер отложил и даже отменил некоторые проекты Tesla, чтобы направить все строительные ресурсы на этот объект.

Илон Маск уточнил в комментариях, что ИИ-кластер будет использовать не только чипы собственной разработки Tesla D1, но и ускорители NVIDIA, а также других поставщиков, хотя ранее он говорил, что в основу суперкомпьютера Dojo лягут только фирменные ускорители Tesla. Как сообщается, затраты Tesla на проект Dojo в этом году составят более $1 млрд. Маск уверен, что ИИ ускорит обучение систем автономного вождения электромобилей и разработку инновационных технологий для роботизированных автомобилей.

Вместе с тем, Маск уделяет большое внимание строительству стартапом xAI «крупнейшего в мире» кластера ускорителей в Северной Дакоте. С его помощью он планирует расширить возможности чат-бота Grok благодаря совершенствованию больших языковых моделей, стоящих за ним. Недавно Маск подтвердил передачу ускорителей NVIDIA H100, ранее заказанных Tesla, социальной сети X и ИИ-стартапу xAI. Это вызвало вопросы у акционеров Tesla по поводу того, какой проект на самом деле является приоритетным для Илона Маска. Для xAI, в частности, планируется создать систему с 300 тыс. NVIDIA B200.

В ходе конференции ISC 2024 компания Samsung, по сообщению HPC Wire, намекнула на разработку некоего чипа на открытой архитектуре RISC-V. Предполагается, что это изделие будет использоваться при решении задач, связанных с ИИ и НРС.

На одном из продемонстрированных южнокорейским производителем слайдов упоминается изделие CPU/ИИ-ускоритель на базе RISC-V («RISC-V CPU/AI accelerator from Samsung»). О чём именно идёт речь, сказать трудно. Возможно, Samsung проектирует процессор RISC-V с нейромодулем для ускорения ИИ-операций. С другой стороны, это может быть самостоятельный чип, предназначенный для работы в связке с ИИ-ускорителем. Например, Google уже использует RISC-V процессоры SiFive вместе со своим TPU.

Источник изображения: Samsung / HPC Wire

Отмечается, что слайд был показан на сессии ISC 2024, посвящённой инициативе UXL Foundation (Unified Acceleration Foundation). Целью данного проекта является создание универсального открытого ПО, которое позволит разработчикам ИИ-решений отказаться от CUDA и использовать ускорители других производителей. В состав UXL входят Intel, Qualcomm, Samsung, Arm и Google.

На слайде также упоминается модель параллельного программирования в контексте вычислений в памяти. Данная концепция позволяет повысить производительность, в том числе при обучении ИИ-моделей. Ранее Samsung и AMD представили экспериментальный ИИ-суперкомпьютер, скрестив «вычислительную» память HBM-PIM и ускорители Instinct MI100. Кроме того, Samsung работает над похожей концепцией PNM (processing-near-memory), которая будет использоваться в модулях памяти CXL.

Samsung также работает над собственными ИИ-ускорителями Mach-1, которые уже заказала ведущая южнокорейская интернет-компания Naver. По заявлениям Samsung, изделие Mach-1 позволяет выполнять инференс больших языковых моделей (LLM) даже с маломощной памятью. Таким образом, есть вероятность, что новый RISC-V-процессор Samsung сможет работать в связке с ИИ-ускорителями компании для максимизации производительности.

Компания Meta✴, по сообщению The Register, провела исследование, результаты которого говорят о том, что ошибки в работе ИИ-систем могут возникать из-за аппаратных сбоев, а не только по причине несовершенства алгоритмов. Это может приводить к неточным, странным или просто плохим ответам ИИ.

Говорится, что аппаратные сбои способны провоцировать повреждение данных. Речь идёт, в частности, о так называемом «перевороте битов» (bit flip), когда значение ячейки памяти может произвольно меняться с логического «0» на логическую «1» или наоборот. Это приводит к появлению ложных значений, что может обернуться некорректной работой ИИ-приложений. Одной из причин ошибок является космическое излучение, причём с ростом плотности размещения ресурсов его влияние нарастает. Впрочем, в современных комплексных системах такие ошибки по разным причинам могут возникать на любом из этапов хранения, передачи и обработки информации.

Ошибка в одном бите одного параметра существенно меняет ответ ИИ (Источник: Meta✴)

Такие необнаруженные аппаратные сбои, которые не могут быть выявлены и устранены «на лету», называют тихими повреждениями данных (Silent Data Corruption, SDC). Подобные ошибки могут провоцировать изменения ИИ-параметров, что, в конечном счёте, приводит к некорректному инференсу. Утверждается, что в среднем 4 из 1000 результатов инференса неточны именно из-за аппаратных проблем. «Растущая сложность и неоднородность платформ ИИ делает их всё более восприимчивыми к аппаратным сбоям», — говорится в исследовании Meta✴. При этом изменение одного бита может привести к тому, что ошибки будут расти как снежный ком.

Для оценки возможных неисправностей предлагается ввести новую величину — «коэффициент уязвимости параметров» (Parameter Vulnerability Factor, PVF). PVF показывает вероятность того, как повреждение конкретного параметра в конечном итоге приведёт к некорректному ответу ИИ-модели Эта метрика, как предполагается, позволит стандартизировать количественную оценку уязвимости модели ИИ к возможным аппаратным сбоям. Показатель PVF может быть оптимизирован под различные модели и задачи. Метрику также предлагается использовать на этапе обучения ИИ и для выявления параметров, целостность которых надо отслеживать.

Производители аппаратного оборудования также принимают меры к повышению надёжности и устойчивости работы своих решений. Так, NVIDIA отдельно подчеркнула важность RAS в ускорителях Blackwell. Правда, делается это в первую очередь для повышения стабильности сверхкрупных кластеров, простой которых из-за ошибок обойдётся очень дорого.

Группа компаний «Аквариус» сообщила о том, что на заводе в Твери произведена первая партия отечественных коммутаторов корпоративного класса серии AQ-N3000. Данная платформа, как утверждается, создана для трансформации типовой сетевой инфраструктуры в гибридную производственную среду, где рабочее место не фиксировано в пространстве, а доступ к информационным ресурсам осуществляется с любого устройства.

На сегодняшний день в семейство входят четыре модели Aquarius AQ-N3000-48P4Y2Q, Aquarius AQ-N3000-48T4Y2Q, Aquarius AQ-N3000-24P4Y2Q и Aquarius AQ-N3000-24T4Y2Q. Первые две оснащены 48 портами 1GbE, две другие — 24.

Все коммутаторы оборудованы четырьмя портами 10/25G SFP28 и двумя разъёмами 40G QSFP. Старшие версии обеспечивают производительность до 456 Гбит/с, младшие — до 408 Гбит/с. Модели AQ-N3000-48P4Y2Q и AQ-N3000-24P4Y2Q поддерживают технологию PoE с бюджетом мощности 2 × 1080 Вт и 2 × 380 Вт соответственно.

Источник изображения: «Аквариус»

Новинки оснащены двумя блоками питания с возможностью горячей замены. Для охлаждения применяются четыре вентилятора. Есть консольный порт RJ-45 и порт OOB 1GbE RJ-45. Диапазон рабочих температур — от 0 до +45 °C. Коммутаторы имеют габариты 44 × 440 × 440 мм, а масса в зависимости от модификации варьируется от 7,0 до 8,4 кг.

«Аквариус» планирует в ближайшее время внести устройства в реестр телекоммуникационного оборудования российского происхождения Минпромторга. Уже запущен портал технической документации, где пользователи смогут получить всю необходимую информацию об изделиях и ОС коммутаторов Aquarius Network Operating System (AqNOS). Сервис предлагает свободный доступ к актуальным версиям технической документации AqNOS, руководству пользователя, справочникам команд, дизайн-инструкциям и пр. Кроме того, через портал можно будет получить доступ к онлайн-демонстрации оборудования и службе технической поддержки.

«Запуск первой партии коммутаторов — важный шаг не только для компании, но и IT-рынка в целом, поскольку это позволит удовлетворить высокий спрос заказчиков на доверенное телекоммуникационное оборудование для построения ведомственных и корпоративных сетей связи. Наша ключевая задача как производителя сегодня — наладить производство, максимально возможно локализовав технологические операции в РФ», — отмечает президент группы компаний «Аквариус».

Oracle объявила о планах инвестировать более $1 млрд в течение десяти лет в облачную и ИИ-инфраструктуру в Испании. Эти инвестиции позволят Oracle запустить в стране третий облачный регион, который будет размещён в Мадриде, пишет ресурс Data Center Dynamics. Впрочем, на фоне инвестиций других гиперскейлеров вложения Oracle довольно скромны.

Новый регион позволит перенести нагрузки в облако Oracle Cloud Infrastructure (OCI) с соблюдением требований местного законодательства, включая Закон о цифровой операционной устойчивости ЕС (Digital Operational Resilience Act, DORA), и требований европейских надзорных органов, таких как Европейская служба банковского надзора (European Banking Authority, EBA), Европейское управление страхования и пенсионного обеспечения (European Insurance and Occupational Pensions Authority, EIOPA).

Хостинг-партнёром запланированного облачного региона будет Telefónica España. Директор по эксплуатации, сети и ИТ Telefónica España заявил, что компания продолжает миграцию части своей критически важной инфраструктуры в облако Oracle, «чтобы быть более гибкими в предоставлении инновационных продуктов и услуг клиентам по всему миру». Первый облачный регион Oracle в Испании был открыт в 2022 году.

Источник изображения: Juan Gomez / Unsplash

Будущий облачный регион Oracle в Мадриде поможет организациям государственного и частного сектора страны перенести все типы рабочих нагрузок в облако, модернизировать свои приложения и внедрять инновации с использованием данных, аналитики и ИИ, говорит компания. Как отметил ресурс CIO News Southeast Asia, Oracle — единственный гиперскейлер, способный предоставлять технологии ИИ и полный набор из более чем 100 облачных сервисов в выделенных, публичных и гибридных облачных средах в любой точке мира.

Ранее в этом месяце Microsoft открыла в Испании свой первый облачный регион Spain Central, который тоже размещён в Мадриде, и партнёром компании тоже стала Telefónica España. Регион был запущен в рамках проекта компании по цифровой трансформации государственного и коммерческого сегментов Испании стоимостью $2,1 млрд. После этого Microsoft объявила о намерении инвестировать €6,69 млрд ($7,16 млрд) в строительство новых ЦОД в Арагоне.

Amazon намерена вложить в расширение своего облачного подразделения в Испании €15,7 млрд ($16,9 млрд). У Google также имеет облачный регион в этой стране, размещённый в Мадриде, который был открыт в мае 2022 года. В ноябре этого же года компания договорилась с немецким разработчиком энергетической инфраструктуры ib vogt о поставках энергии из возобновляемых источников для питания дата-центров и офисов на территории Испании.

Стартап Cerebras Systems Inc., выпускающий передовые ИИ-чипы и конкурирующий с NVIDIA, по слухам, подал регуляторам США документы для выхода на биржу Nasdaq. По данным Silicon Angle, IPO должно состояться позже в 2024 году.

Компания выпускает специализированные и весьма производительные ИИ-чипы размером с кремниевую пластину. У NVIDIA немного конкурентов на мировом рынке, но Cerebras — как раз из их числа. Новейший флагманский чип компании WSE-3 был анонсирован в марте, ему предшествовала модель WSE-2, дебютировавшая в 2021 году. Ожидается, что WSE-3 станет доступен до конца текущего года.

Источник изображения: Cerebras

Cerebras говоит, что WSE-3 имеет в 52 раза больше ИИ-ядер, чем ускоритель NVIDIA H100. Чип будет доступен в составе модуля CS-3 размером с небольшой холодильник с интегрированной системой охлаждения и блоком питания. WSE-3 имеет пиковое быстродействие 125 Пфлопс в разреженных FP16-вычислениях. В компании утверждают, что таких характеристик более чем достаточно для конкуренции с лучшими ускорителями NVIDIA, а её чипы не только быстрее, но и энергоэффективнее.

Статус компании, похоже, действительно способной конкурировать NVIDIA, должен привлечь внимание инвесторов. Например, с началом эры ИИ акции NVIDIA выросли почти на порядок, поэтому не исключено, что и Cerebras ожидает впечатляющий успех. По имеющимся данным, Cerebras уведомила регуляторов в Делавэре, где компания официально зарегистрирована, о намерении предложить в ходе ожидающегося раунда инвестиций привилегированные акции с большой скидкой.

Хотя в самой Cerebras не комментируют слухи об IPO, Bloomberg сообщил, что компания выбрала Citigroup в качестве ведущего банка для первичного листинга. В Bloomberg отмечают, что IPO состоится не раньше II половины 2024 года, а руководство рассчитывает на оценку не менее $4 млрд, которую компания получила после последнего раунда финансирования серии F, позволившего привлечь $250 млн в 2021 году.

Компания Google пообещала инвестировать в три собственных кампуса ЦОД дополнительные $2,3 млрд. Datacenter Dynamics сообщает, что дата-центры расположены в Огайо — в Нью-Олабани и Ланкастере, а ещё один строится в Коламбусе. IT-гигант уже потратил с 2019 года на инфраструктуру в штате $4,4 млрд.

Пока не раскрывается, как средства будут распределяться между объектами и кампусами. Местные власти подчёркивают, что дополнительные денежные вливания превращают Центральный Огайо в важный технологический хаб на территории США.

Впервые Google начала осваивать площадки в Огайо в 2019 году, начав строить дата-центр в Нью-Олбани стоимостью $600 млн. В том же году компания выделила ещё $1 млрд на строительство ЦОД в Коламбусе и Ланкастере, а в 2021 году запланировано расширение площадки в Нью-Олбани. Наконец, в 2023 году Google инвестировала в штате дополнительные $1,7 млрд.

Источник изображения: Matthew Bornhorst/unsplash.com

В число клиентов ЦОД в Огайо входят Nationwide, Huntington Bancshares, Victoria's Secret, и Wendy's, а также власти штата. В прошлом году Google заключила соглашение с EDP Renewables North America о реализации проектов, связанных с солнечной энергетикой на 500 МВт, большая часть которых приходится как раз на Огайо.

В 2023 Amazon (AWS) анонсировала инвестиции $7,8 млрд в дата-центры в том же штате, а ранее в текущем году компания приобрела около 95 га в местном округе Пикавэй для дальнейшей экспансии на рынке ЦОД. Собственные планы по развитию в штате имеет и Microsoft — компания рассматривает строительство здесь ЦОД в Коламбусе, округе Ликинг и Нью-Олбани.