Dell и Meta✴ предложили совместную разработку для повышения эффективности работы компаний в области генеративного ИИ, основанную на использовании большой языковой модели Meta✴ Llama 2 и инфраструктуры Dell.

Запуск таких приложений генеративного ИИ, как чат-боты, виртуальные помощники, в том числе для написания кода, предполагает обучение моделей на собственных данных компаний. Однако решения в публичных облаках хотя и удобны, часто имеют определённые ограничения, включая риски безопасности, связанные с суверенитетом данных, а также непредсказуемые затраты и проблемы с соблюдением регуляторных требований.

Источник изображения: Dell

Локальное развёртывания открытых больших языковых моделей (LLM) вроде Llama 2 обеспечивает клиентам предсказуемые затраты и полный контроль над своими данными, снижая риск для безопасности и утечки интеллектуальной собственности, а также обеспечивая соответствие нормативным требованиям, говорит Dell. Решения Dell Generative AI Solutions вместе с Dell Validated Design for Generative AI предлагают клиентам готовый, предварительно протестированный программно-аппаратный, специально созданный для работы с генеративным ИИ.

Источник изображения: Dell

Теперь же Dell в сотрудничестве с Meta✴ расширила свой портфель предложений для работы с генеративным ИИ — клиентам доступно упрощённое развёртывание и тюнинг ИИ-моделей Meta✴ Llama 2 от Meta✴ в локальной среде. Решение Dell Validated Design for Generative AI вместе с Llama 2 предоставляет компаниям готовую инфраструктуру, ПО и сервисы Dell для оптимизации развёртывания и управления локальными ИИ-проектами. Llama 2 протестирована и проверена Dell, в том числе при работе с (SFT), LoRA и p-tuning на моделях с 7, 13 и 70 млрд параметров

Благодаря руководству по развёртыванию и настройке компании смогут быстро запустить свою ИИ-инфраструктуру и использовать Llama 2 с большей предсказуемостью. В частности, доступны анализ использования памяти, задержек и эффективности LLM. «Наша цель — стать предпочтительным поставщиком локальной инфраструктуры для клиентов, развёртывающих Llama 2, и предоставить нашим клиентам лучшие в своём классе генеративные решения ИИ», — сообщила компания. Аппаратная основа включает серверы PowerEdge XE9680, а также PowerEdge R760xa (с NVIDIA L40S).

Компания Meta✴ опубликовала отчёт о работе в III четверти 2023 финансового года, которая была завершена 30 сентября. Говорится, что капиталовложения в серверы, дата-центры и сетевую инфраструктуру в годовом исчислении сократились приблизительно на треть, что объясняется прежде всего пересмотром и приостановкой ряда крупных ЦОД-проектов.

За трёхмесячный период Meta✴ получила выручку в размере $34,15 млрд, что на 23 % больше прошлогоднего результата. Чистая прибыль при этом взлетела на 164 % — с $4,40 млрд до $11,58 млрд. Прибыль в пересчёте на одну ценную бумагу составила $4,39 против $1,64 в III квартале 2022-го.

Источник изображения: Meta✴

В свете сложившейся макроэкономической ситуации и стремительного развития рынка ИИ Meta✴ инициировала масштабную трансформацию. В конце 2022 года компания объявила о пересмотре архитектуры своих дата-центров с прицелом на ИИ и СЖО. С тех пор были приостановлены около десятка проектов по всему миру. Meta✴ также сообщила о сокращении расходов на ЦОД на $4 млрд и об отказе от дальнейшего внедрения инференс-чипов собственной разработки в пользу ускорителей NVIDIA.

По итогам закрытого квартала капвложения Meta✴ в ЦОД и серверы оказались на отметке $6,8 млрд, тогда как годом ранее этот показатель равнялся $9,52 млрд. Компания ожидает, что её капитальные затраты в 2023 году в целом составят $27–$29 млрд, а не $27–$30 млрд, как предполагалось ранее. В 2024 году это значение окажется в диапазоне от $30 до $35 млрд: планируемый рост будет обусловлен инвестициями в серверы, включая оборудование, не связанное с ИИ, и в дата-центры.

По состоянию на 30 сентября 2023 года численность штата Meta✴ в глобальном масштабе составляла 66 185 сотрудников. Это на 24 % меньше, нежели годом ранее.

Возглавляемый Meta✴ проект Amitié с участием ряда других телеком-компаний подошёл к завершению первой стадии и готов к реализации следующего этапа. Как сообщает Datacenter Dynamics, 400-Тбит/c трансатлантический кабель протяжённостью 6800 км, соединяющий Францию и США, готов к коммерческому применению. Изначально строительство Amitié анонсировали в 2020 году, кабель должны были ввести в строй ещё в прошлом году.

Фактически работы по прокладке завершились ещё в июле, но официальный ввод в эксплуатацию состоялся только сейчас. Amitié объединяет 16 оптоволоконных пар. Посадочные станции расположены в Линне близ Бостона (принадлежит дочерней структуре Meta✴ — Edge USA), в Буде (Англия), в также дата-центре Equinix в Бордо (Франция). Meta✴ имеет наибольшую долю в проекте (80 %), а в число партнёров входят Aqua Comms, Microsoft и Vodafone.

Оператором станции в Бордо является телеком-провайдер Orange, владеющий частями кабеля протяжённостью до 22,2 км, тянущимися от побережья Франции. Известно, что компании принадлежит право на использование двух оптоволоконных пар кабеля. По словам представителей Orange, комбинация кабелей Amitié и Dunant обеспечила Франции размещение в сердце межконтинентальных обменов информацией — между Европой и Соединёнными Штатами, а также Азией и Африкой.

Источник изображения: IntelligentVisualDesing/pixabay.com

Задержка при прохождении сигнаоа от Бордо до Нью-Йорка составляет 34 мс. Для сравнения, принадлежащий Google трансатлантический кабель Dunant может предложить 38 мс. В 860 километрах от побережья Франции и 650 километрах от берегов Великобритании имеется дополнительный блок управления, позволяющий эффективно менять настройки передачи сигнала между отдельными посадочными станциями, переключаясь между длинами волн или волокнами.

Компания Kioxia на мероприятии Open Compute Project (OCP) Global Summit анонсировала SSD семейства LD2-L, предназначенные для дата-центров. На базе новинок могут формироваться массивы большой ёмкости.

Изделия выполнены в форм-факторе EDSFF E1.L с толщиной 9,5 мм. Для обмена данными служит интерфейс PCIe 3.0 (спецификация NVMe 1.4b). В серию LD2-L вошли две модификации — вместимостью 15,36 и 30,72 Тбайт.

Заявленная скорость последовательного чтения информации у обоих устройств достигает 3500 Мбайт/с, скорость последовательной записи — 2700 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) приводится только для режима произвольного чтения данных блоками по 4 Кбайт — на уровне 210 тыс.

Источник изображения: Kioxia / OCP Summit

Отмечается, что в стоечное шасси типоразмера 1U могут быть установлены до 32 накопителей LD2-L. В результате, суммарная вместимость составит 983,04 Тбайт. Такая СХД, по заявлениям Kioxia, сможет обеспечить пропускную способность до 100 Гбайт/с при чтении информации.

Изделия LD2-L не могут похвастаться рекордной производительностью — у самой Kioxia есть более быстрые серверные SSD с интерфейсами PCIe 4.0 и PCIe 5.0. Вместо этого новинки призваны обеспечить максимальную плотность хранения данных в системах формата 1U.

Компания Swissbit анонсировала SSD серии N5200, предназначенные для использования в дата-центрах и корпоративных серверах. Изделия выполнены с применением чипов флеш-памяти 3D NAND eTLC, а для подключения применяется интерфейс PCIe 4.0 х4 (спецификация NVMe 1.4).

Устройства предлагаются в двух вариантах исполнения: в SFF-формате с коннектором SFF-8639 U.2 и в версии EDSFF E1.S с коннектором SFF-TA-1006 E1.S. Причём во втором случае доступны модификации толщиной 5,5; 9,5 и 15 мм.

Вместимость, вне зависимости от типоразмера, составляет 1,92; 3,84 и 7,68 Тбайт. Скорость последовательного чтения информации достигает 7000 Мбайт/с (6900 Мбайт/с у изделий E1.S), скорость последовательной записи — 4200 Мбайт/с. Показатель IOPS на операциях произвольного чтения — до 1 350 000, на операциях произвольной записи — до 450 000 (190 000 у решений E1.S).

Источник изображений: Swissbit

Конструкция включает буфер DDR4 DRAM. Устройства могут выдерживать более одной полной перезаписи в сутки (показатель DWPD) на протяжении пяти лет. Диапазон рабочих температур простирается от 0 до +70 °C. Величина MTBF превышает 2,5 млн часов. Среднее заявленное энергопотребление — 14,5 Вт.

Среди прочего упомянута поддержка TCG OPAL 2.01 / AES-256, функций Secure Boot и Crypto Erase, средств защиты от сбоев электропитания. Поставки SSD серии N5200 уже начались.

Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Корпорация IBM сообщила о том, что в сервисе watsonx.ai появится большая языковая модель Llama 2 с 70 млрд параметров, которую компании Meta✴ и Microsoft анонсировали в июле нынешнего года. Ранний доступ к платформе уже предоставляется избранным клиентам и партнёрам.

Напомним, watsonx.ai является одним из компонентов более комплексной инфраструктуры watsonx, призванной помочь компаниям интегрировать ИИ в свой бизнес. Система watsonx.ai предназначена для создания новых базовых моделей, генеративного ИИ и машинного обучения. Отмечается, что появление Llama 2 в watsonx.ai является результатом сотрудничества между IBM и Meta✴ в области открытых инноваций для ИИ. Это, в частности, работа над проектами open source, такими как PyTorch и Presto.

Источник изображения: pixabay.com

Новая инициатива также поддержит стратегию IBM по предоставлению как собственных, так и сторонних моделей ИИ. В настоящее время в watsonx.ai разработчики могут использовать модели от IBM и сообщества Hugging Face, которые предварительно обучены для поддержки ряда задач обработки естественного языка (NLP), включая ответы на вопросы, создание и обобщение контента, классификацию и извлечение текста.

В целом, доступность Llama 2 в watsonx.ai станет ещё одним этапом программы IBM по развитию генеративного ИИ. В планы также входят выпуск AI Tuning Studio, дополнительных моделей ИИ в watsonx.ai и пр.

Компания Seagate, по сообщению ресурса StorageReview, на FMS'23 продемонстрировала SSD корпоративного класса Nytro 5060, предназначенные для работы с ресурсоёмкими приложениями. Накопители найдут применение на площадках гиперскейлеров и в дата-центрах. Устройства используют интерфейс PCIe 5.0. Говорится о применении контроллера Phison X Series Gen5, который пока не задействован ни в одном коммерчески доступном SSD.

Seagate предложит версии Nytro 5060 в двух вариантах исполнении — E3.S и U.2. Упомянута поддержка двупортовой и однопортовой конфигураций. Кроме того, заказчики смогут выбирать между версиями с 1 и 3 DWPD. Это позволит достичь оптимального баланса между производительностью, долговечностью и совокупной стоимостью владения — в зависимости от типа выполняемых задач.

Изображение: Seagate

Вместимость Nytro 5060 варьируется от 1,6 до 30 Тбайт. Заявленная скорость последовательного чтения информации достигает 13 000 Мбайт/с, скорость последовательной записи — 10 000 Мбайт/с. Прочие технические характеристики SSD и сроки начала их продаж не раскрываются.

Компания ScaleFlux представила платформу для вычислительных SSD ещё в 2021 году, а сейчас компания анонсировала обновленную версию накопителей CSD 3000 с увеличенной ёмкостью. Сама по себе платформа CSD 3000 достаточно производительна — она имеет интерфейс PCIe 4.0, 16 каналов для подключения флеш-памяти, восемь ядер ARM Cortex-A53, а также массив различных дополнительных ускорителей.

Обновлённые CSD 3000 в форм-факторе E1.S получили «сырую» ёмкость 16 Тбайт, но компания-разработчик заявляет о 24 Тбайт эффективного пространства для хранения. Как показывают опубликованные ScaleFlux результаты тестов, в зависимости от типа данных коэффициент сжатия может варьироваться от скромных 1,17:1 для Stable Diffusion до более чем 2,5:1 для LLM, а для систем сегментации изображений этот показатель достигает внушительных 5,54:1.

Источник изображений здесь и далее: ScaleFlux

Компания продолжает вести работы над улучшением Flash Translation Layer, ведёт сотрудничество с системными интеграторами, а также говорит о разработке вычислительных накопителей в новых форм-факторах ещё большего объёма с интерфейсом PCIe 5.0. Сейчас программное обеспечение накопителей оптимизируется главным образом для использования с различными ИИ-системами.

Впрочем, как напоминает Blocks & Files, пока по показателю ёмкости ScaleFlux отстаёт от Solidigm, предлагающей SSD объёмом 61,44 Тбайт, или Pure Storage с её модулями DFM объёмом до 75 Тбайт. Не стоит забывать и о модулях IBM FLashCore с «сырой» ёмкостью 38,4 Тбайт, но с возможностью компрессии вплоть до 3:1.

Компания Micron Technology анонсировала доступность первых партий CXL-модулей расширения памяти CZ120 для своих партнёров. Новые модули соответствуют стандарту CXL 2.0 Type 3 и имеют двухканальную архитектуру. Они выполнены в форм-факторе E3.S 2T (PCI Express 5.0 x8) и представлены в вариантах ёмкостью 128 и 256 Гбайт.

Заявленная пропускная способность новых модулей благодаря фирменной двухканальной архитектуре составляет 36 Гбайт/с (впрочем, это может быть опечатка). В качестве сценариев применения своих новинок Micron называет ситуации, где из-за возросших нагрузок требуется всё больший объём памяти, например, для работы с ИИ или in-memory задачами — с восемью модулями CZ120 можно дополнительно получить до 2 Тбайт RAM. Также новинки должны заинтересовать гиперскейлеров.

Источник изображений здеь и далее: Micron Technology

Но дело не только в объёмах — CZ120 выручит и там, где требуется дополнительная пропускная способность. В варианте с восемью модулями это означает дополнительные 256 Гбайт/с. CXL-модули несколько проигрывают в латентности традиционным DIMM, но «штраф» в этом случае не больше, нежели один переход в NUMA-системе.

В настоящее время компания тесно сотрудничает с Intel в деле валидации модулей CZ120 на платформе Xeon Sapphire Rapids, которая в полном объёме поддерживает лишь CXL 1.1, но не 2.0. Также новинки показали отличный результат на платформе AMD EPYC 9754 (Bergamo) в тестах TPC-H, сообщил представитель AMD.

Стоит отметить, что Micron не первой освоила DRAM-модули CXL 2.0 — ещё в мае Samsung представила свои модули объёмом 128 Гбайт в форм-факторе E3.S, всего год спустя после анонса первых в мире CXL-модулей DDR5. Свои E3.S-решения также представили SK hynix и ADATA, а Astera Labs и Montage Technology предложили экспандеры в форм-факторе плат расширения.