Компания Samsung Electronics, по сообщению Bloomberg, сформировала лабораторию, специалистам которой предстоит заняться разработкой чипов следующего поколения для ИИ-приложений. Новое подразделение получило название Samsung Semiconductor AGI Computing Lab: его офисы будут располагаться в Южной Корее и США.

Главной задачей лаборатории является проектирование полупроводниковых чипов, способных справляться с высокими вычислительными нагрузками, связанными с развитием так называемого «общего искусственного интеллекта» (Artificial General Intelligence, AGI). Речь идёт о системах, которые по возможностям смогут как минимум не уступать человеческому мозгу, а, возможно, и превосходить его.

Источник изображения: pixabay.com

Современные ИИ-модели функционируют в рамках набора данных, на которых производилось обучение. Концепция AGI, в свою очередь, предполагает, что ИИ-система может выполнять задачи, для которых она изначально не обучалась. Такие модели должны обладать достаточной степенью самосознания и способностью осваивать новые навыки без вмешательства человека. Иными словами, AGI — это универсальный ИИ, способный решать сложные задачи, применяя обобщенные когнитивные способности. Фактически такая нейросеть может стать полноценной альтернативой человеческому мозгу.

Однако для поддержания работы AGI потребуются чипы нового поколения, обладающие необходимой производительностью при сравнительно небольшом энергопотреблении. Для достижения таких характеристик Samsung планирует переосмыслить все аспекты архитектуры процессоров, включая память, интерконнект и даже упаковку.

На первом этапе новая лаборатория сосредоточится на разработке чипов для больших языковых моделей (LLM) с упором на инференс. Руководителем Samsung Semiconductor AGI Computing Lab назначен Дон Хёк Ву (Dong Hyuk Wu), который ранее занимал должность старшего инженера-программиста Google.

Компания Samsung Electronics объявила о разработке первых в отрасли чипов высокопроизводительной памяти HBM3E в виде 12-ярусных стеков общей ёмкостью 36 Гбайт. Изделия ориентированы на применение в системах ИИ с большой вычислительной нагрузкой.

Новые чипы Samsung HBM3E обеспечивают пропускную способность до 1280 Гбайт/с. По этому показателю, как утверждается, решения более чем на 50 % превосходят доступные на рынке 8-слойные стеки HBM3.

Источник изображения: Samsung

При изготовлении чипов Samsung применяет технологию термокомпрессии в комплексе с диэлектрической плёнкой. В результате, суммарная высота полученных 12-слойных изделий эквивалентна высоте 8-слойных. Samsung добилась наименьших в отрасли зазоров в стеке — всего 7 мкм, а также устранила пустоты между слоями. Это позволило поднять плотность вертикальной компоновки более чем на 20 % по сравнению с 8-слойными продуктами HBM3.

Кроме того, при производстве стеков Samsung использует между слоями памяти контактные выступы разного размера. Небольшие выступы служат для передачи сигналов, тогда как более крупные улучшают отвод тепла. Такой подход, по заявлениям Samsung, также способствует снижению доли брака.

В целом, как утверждается, внедрение 12-слойной памяти HBM3E по сравнению с 8-слойными изделиями даёт возможность увеличить скорость обучения ИИ-моделей на 34 %, тогда как количество одновременно обслуживаемых пользователей систем инференса может вырасти в 11,5 раз. Пробные поставки новых чипов уже начались, а массовое производство намечено на I половину 2024 года.

Нужно отметить, что буквально на днях компания Micron объявила о начале массового производства 8-слойной памяти HBM3E на 24 Гбайт с пропускной способностью более 1,2 Тбайт/с. Кроме того, Micron уже в марте начнёт распространять образцы 12-ярусных чипов HBM3E ёмкостью 36 Гбайт.

Samsung, канадская телекоммуникационная компания Telus и облачная платформа Amazon Web Services (AWS) объявили о создании первой в Северной Америке системы виртуального роуминга. Предполагается, что новая архитектура по сравнению с традиционными подходами позволит повысить надёжность связи и обеспечить более высокую скорость для абонентов, находящихся за пределами домашнего региона.

Традиционно роуминговый трафик (голосовые вызовы, данные и SMS) маршрутизируется через страну нахождения оператора, с которым у абонента заключён договор на обслуживание. Однако такая схема может приводить к задержкам соединения и снижению общей производительности.

Новая технология предусматривает использование виртуализированных роуминговых шлюзов в облачных регионах AWS по всему миру. В результате, трафик абонентов Telus больше не требуется маршрутизировать через Канаду — он обрабатывается ближайшим к пользователю дата-центром AWS. Это значительно повышает доступность и производительность мобильных сервисов, включая интернет-подключение через сотовую сеть.

Фото: JESHOOTS.COM / Unsplash

Новая платформа базируется на технологии Cloud-native Core разработки Samsung для обработки мобильных данных и ng-voice для голосовых вызовов. Облачное ядро разработано с прицелом на гибкость и масштабируемость. Предложенное решение позволяет оптимизировать производительность и, в конечном итоге, повысить качество услуг для пользователей. Испытания виртуализированных роуминговых шлюзов начнутся в I квартале 2024 года.

Компании Samsung Electronics и Vodafone в сотрудничестве с AMD объявили о совершении первого в отрасли соединения в сети радиодоступа с архитектурой Open RAN на базе оборудования с процессорами EPYC. Целью эксперимента стала оценка производительности, энергоэффективности и совместимости решений партнёров. Пропускная способность сети превысила 1 Гбит/с при применении многопользовательского оборудования.

Эксперимент был успешно проведён в научно-исследовательской лаборатории Samsung в Корее. Участники проекта использовали совместимый с O-RAN софт виртуализации Samsung (vRAN). Были задействованы специализированные телеком-серверы Supermicro, оборудованные процессорами AMD EPYC 8004 Siena, которые как раз и ориентированы на подобные задачи. Кроме того, применялась контейнерная платформа Wind River Studio CaaS (Container-as-a-Service).

Концепция Open RAN, как ожидается, позволит радикально сократить расходы операторов связи на инфраструктуру благодаря использованию облачного ПО и оборудования от различных поставщиков вместо проприетарных систем какого-то одного производителя. Впрочем, на практике даже O-RAN сети нередко строятся на оборудовании одного поставщика.

Источник изображения: Samsung

Отмечается, что Samsung стала стратегическим партнёром Vodafone в рамках внедрения концепции Open RAN по модернизации устаревших сетей и развитию экосистемы нового типа в июне 2021 года. С тех пор стороны расширяют сотрудничество. А в сентябре 2023-го Samsung объявила о сотрудничестве с AMD для продвижения 5G vRAN. У Intel есть специализированные процессоры Xeon EE со встроенным ускорителем vRAN Boost.

Компания Samsung Electronics в партнёрстве с Red Hat впервые в отрасли успешно проверила работу памяти Compute Express Link (CXL) в реальной пользовательской среде. Это открывает путь для внедрения CXL в существующих дата-центрах для выполнения ресурсоёмких задач, таких как генеративный ИИ, средства автономного вождения и in-memory базы данных.

Интерконнект CXL, основанный на интерфейсе PCIe, обеспечивает высокоскоростную передачу данных с малой задержкой между хост-процессором и между такими устройствами, как серверные ускорители, буферы памяти и интеллектуальные IO-блоки. Технология позволяет повысить эффективность серверных платформ при одновременном снижении эксплуатационных расходов.

Источник изображения: Samsung

В рамках сотрудничества с Red Hat компания Samsung оптимизировала работу своей памяти CXL на платформе Red Hat Enterprise Linux (RHEL) 9.3. Специалисты проверили распознавание памяти, а также опробовали операции чтения и записи в средах Red Hat KVM и Podman. Полученные результаты говорят о том, что клиенты могут использовать память Samsung CXL в своих ЦОД без необходимости внесения дополнительных изменений в существующее оборудование.

Это, как утверждается, важная веха в интеграции аппаратного и программного обеспечения для создания открытой экосистемы с целью внедрения высокоскоростной памяти следующего поколения. Компании Samsung и Red Hat приступили к разработке руководства RHEL 9.3 CXL Memory Enabling Guide, которое поможет заказчикам в создании вычислительных систем с памятью CXL.

Отмечается, что Samsung сотрудничает с дата-центрами и поставщиками облачных услуг по всему миру, чтобы лучше удовлетворять их потребность в высокоскоростной памяти большой ёмкости. Меморандум о взаимопонимании (MOU) с Red Hat компания Samsung подписала в мае 2022 года. Партнёрство охватывает широкий спектр решений, включая NVMe-накопители и собственно память CXL.

Одна из крупнейших южнокорейских интернет-компаний Naver и местный гигант Samsung, по сообщению ресурса BusinessKorea, разработали специализированный ИИ-чип, который, как утверждается, обладает гораздо более высокой энергетической эффективностью по сравнению с другими аналогичными продуктами на коммерческом рынке. Ранее Naver из-за дефицита NVIDIA H100 вынужденно перешла на использование Intel Xeon в некоторых ИИ-задачах.

Подробностей об изделии не слишком много. Известно, что пока оно реализован посредством FPGA. Для снижения энергопотребления задействована память LPDDR, но её тип и объём не раскрываются. По имеющимся данным, новинка Samsung и Naver показывает приблизительно восьмикратный выигрыш в энергопотреблении по отношению к ускорителю NVIDIA H100. При этом не называются показатели быстродействия, а поэтому судить о производительности в расчёте на 1 Вт затрачиваемой энергии пока не представляется возможным.

Источник изображения: pixabay.com

Представители Naver, как отмечает ресурс DigiTimes, говорят, что конкурирующие ИИ-решения обычно используют 16-бит представление чисел, тогда как новый продукт Samsung и Naver оперирует 4-бит значениями, благодаря чему и достигается улучшение общих показателей. На создание изделия ушёл приблизительно год — Samsung и Naver сотрудничают над проектом с декабря 2022-го. Планируется, что новые чипы будут использоваться для поддержания работы масштабной ИИ-модели Naver HyperCLOVA X объёмом более 200 млрд параметров.

Компания Samsung Electronics в ходе ежегодного мероприятия Memory Tech Day сообщила о начале поставок образцов микросхем памяти HBM3E нового поколения с кодовым названием Shinebolt. Утверждается, что изделия Shinebolt обеспечивают прирост производительности примерно на 50 % по сравнению с чипами HBM3E предыдущего поколения (Icebolt). Пропускная способность в расчёте на контакт достигает 9,8 Гбит/с против 6,4 Гбит/с у Icebolt.

Источник изображения: Samsung

Таким образом, общая пропускная способность микросхем Shinebolt составляет до 1,228 Тбайт/с. Это позволяет использовать память в высоконагруженных системах, обрабатывающих приложения генеративного ИИ и машинного обучения. С целью повышения плотности компоновки и улучшения тепловых характеристик Samsung оптимизировала свою технологию непроводящей пленки (NCF): это позволило минимизировать зазоры между слоями чипа и максимизировать теплопроводность. Samsung планирует производить 12-ярусные чипы Shinebolt с максимальной ёмкостью 36 Гбайт.

Среди других продуктов, представленных компанией Samsung на мероприятии Memory Tech Day, — 32-гигабитные чипы DDR5 DRAM, первая в отрасли память GDDR7 с пропускной способностью 32 Гбит/с и архитектура PBSSD для создания решений «петабайтного класса».

На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

На конференции Flash Memory Summit компания Samsung анонсировала ряд новинок. Среди них новые серверные накопители с интерфейсом PCIe 5.0, SSD ёмкостью 256 Тбайт, а также платформа PBSSD, предназначенная для создания систем хранения данных петабайтного класса.

Так, компания объявила о завершении работ над серией серверных SSD PM9D3a в форм-факторе SSF с интерфейсом PCIe 5.0. Они получили 8-канальный контроллер флеш-памяти. В сравнении с PM9A3 скорость последовательного чтения выросла в 2,3 раза, а случайной записи — более чем вдвое (400 тыс. IOPS). Поначалу максимальная ёмкость новинок будет составлять 7,68 Тбайт и 15,36 Тбайт, но в первой половине 2024 года появятся модели объёмом 3,84 Тбайт и 30,72 Тбайт. Заявленный уровень MTBF составляет 2,5 млн часов. Также говорится о расширенных функциях телеметрии и отладки.

Источник изображений здесь и далее: Samsung

Также Samsung создала SSD ёмкостью 256 Тбайт на базе QLC NAND, которые используют максимальный на сегодня уровень интеграции флеш-памяти. Такие накопители придутся по нраву гиперскейлерам, в том числе потому, что вопросам энергоэффективности компания уделила особое внимание: согласно тестам Samsung, один такой 256-Тбайт диск потребляет в семь раз меньше энергии, нежели массив из восьми 32-Тбайт накопителей.

Наконец, одним из самых интересных и важных стал анонс новой архитектуры PBSSD. Как описывает её сама Samsung, PBSSD представляет собой сверхвысокоплотное решение петабайтного класса с хорошей масштабируемостью. Платформа, в частности, наделена функцией Traffic Isolation, которая изолирует потоки данных при множественном доступе к накопителю, позволяя сохранить для разных нагрузок заданные для них уровни задержки и производительности.

Также будет реализована фирменная технология Flexible Data Placement (FDP), совместно разработанная Samsung и Meta✴ и уже ратифицированная консорциумом NVMe. FDP позволяет хосту определять, какие данные можно сгруппировать и записать вместе, чтобы снизить нагрузку на накопитель, улучшить предсказуемость его поведения, повысить общую производительность и снизить TCO. Первые тесты показали эффективность FDP на реальных нагрузках гиперскейлеров. ПО для работы с FDP будет открытым.

Чем активнее внедряются ИИ-системы, тем важнее становится роль памяти HBM и DDR5, а в особенности её энергоэффективность. Так, в крупномасштабных системах на базе NVIDIA A100 на долю памяти может приходиться до 40 % потребляемой энергии. Неудивительно, что крупные производители памяти объединяют свои усилия с академическими кругами, чтобы разработать более экономичную память нового поколения.

В частности, Samsung на базе CXL и 12-нм техпроцесса уже разработала чипы DDR5 ёмкостью 16 Гбайт, который на 23 % экономичнее в сравнении с аналогичными чипами предыдущего поколения. В содействии с Сеульским национальным университетом (Seoul National University) Samsung продолжает вести работы по дальнейшему снижению энергопотребления. Сам университет также ведёт исследования в этом направлении и уже разработал новую технологию DRAM Translation Layer. Ожидается, что её внедрение поможет снизить энергопотребление DRAM ещё на 31,6 %.

Источник: SK Hynix

Не отстаёт от Samsung и другой крупный производитель устройств памяти, компания SK Hynix. Она представила новое поколение LPDDR5X, в котором применен техпроцесс High-K Metal Gate (HKMG). Благодаря материалу с оптимизированной диэлектрической проницаемостью удалось впятеро повысить заряд в ячейке, снизив при этом токи утечки. В итоге новая память LPDDR5X от SK Hynix может похвастаться на 33 % более высокой производительностью при 20 % экономии в энергопотреблении, в сравнении с предыдущим поколением.