Тензорный процессор TSP, разработанный стартапом Groq, был анонсирован ещё осенью 2019 года и его уже нельзя назвать новым. Тем не менее, как сообщает Groq, TSP всё ещё является достаточно мощным решением для инференса больших языковых моделей (LLM).

Теперь Groq позиционирует своё детище как LPU (Language Processing Unit) и продвигает его в качестве идеальной платформы для запуска больших языковых моделей (LLM). Согласно имеющимся данным, в этом качестве четырёхлетний процессор проявляет себя весьма неплохо. Groq открыто хвастается своим преимуществом над GPU, но в последних раундах MLPerf участвовать не желает.

Источник изображений здесь и далее: Groq

В своё время Groq разработала не только сам тензорный процессор, но и дизайн ускорителя на его основе, а также продумала вопрос взаимодействия нескольких TSP в составе вычислительного узла с дальнейшим масштабированием до уровня мини-кластера. Именно для такого кластера и опубликованы свежие данные о производительности Groq в сфере LLM.

Система разработки, содержащая в своём составе 640 процессоров Groq TSP, была успешно использована для запуска модели Meta✴ Llama-2 с 70 млрд параметров. Как показали результаты тестов, модель на данной платформе работает с производительностью 240 токенов в секунду на пользователя. Для адаптации и развёртывания Llama-2, по словам создателей Groq, потребовалось всего несколько дней.

В настоящее время усилия Groq будут сконцентрированы на адаптации имеющейся платформы в сфере LLM-инференса, поскольку данный сектор рынка растёт быстрее, нежели сектор обучения ИИ-моделей. Для LLM-инференса важнее умение эффективно масштабировать потоки небольших блоков (8–16 Кбайт) на большое количество чипов.

В этом Groq TSP превосходит NVIDIA A100: если в сравнении двух серверов выиграет решение NVIDIA, то уже при 40 серверах показатели латентности у Groq TSP будут намного лучше. В распоряжении Groq имеется пара 10-стоечных кластеров с 640 процессорами, один из которых используется для разработки, а второй — в качестве облачной платформы для клиентов Groq в области финансовых услуг. Работает система Groq и в Аргоннской национальной лаборатории (ALCF), где она используется для исследований в области термоядерной энергетики.

В настоящее время Groq TSP производятся на мощностях GlobalFoundries, а упаковка чипов происходит в Канаде, но компания работает над вторым поколением своих процессоров, которое будет производиться уже на заводе Samsung в Техасе.

Параллельно Groq работает над созданием 8-чипового ускорителя на базе TSP первого поколения. Это делается для уплотнения вычислений, а также для более полного использования проприетарного интерконнекта и обхода ограничений, накладываемых шиной PCIe 4.0. Также ведётся дальнейшая оптимизация ПО для кремния первого поколения.

Простота и скорость разработки ПО для платформы Groq TSP объясняется историей создания этого процессора — начала Groq с создания компилятора и лишь затем принялась за проектирование кремния с учётом особенностей этого компилятора. Перекладывание на плечи компилятора всех задач оркестрации вычислений позволило существенно упростить дизайн TSP, а также сделать предсказуемыми показатели производительности и латентности ещё на этапе сборки ПО.

При этом архитектура Groq TSP вообще не предусматривает использования «ядер» (kernels), то есть не требует блоков низкоуровневого кода, предназначенного для общения непосредственно с аппаратной частью. В случае с TSP любая задача разбивается на набор небольших инструкций, реализованных в кремнии и выполняемых непосредственно чипом.

Компилятор Groq позволяет визуализировать и предсказывать энергопотребление с точностью до наносекунд. Источник: Groq

Предсказуемость Groq TSP распространяется и на энергопотребление: оно полностью профилируется ещё на этапе компиляции, так что пики и провалы можно спрогнозировать с точностью вплоть до наносекунд. Это позволяет добиться от платформы более надёжного функционирования, избежав так называемой «тихой» порчи данных — сбоев, происходящих в результате резких всплесков энергетических и тепловых параметров кремния.

Энергопотребление Groq TSP поддаётся тонкой настройке на уровне программного обеспечения. Источник: Groq

Что касается будущего LLM-инференса, то Groq считает, что этой отрасли есть, куда расти. В настоящее время LLM дают ответ на запрос сразу, и затем пользователи могут уточнить его в последующих итерациях, но в будущем они начнут «рефлексировать» — то есть, «продумывать» несколько вариантов одновременно, используя совокупный результат для более точного «вывода» и ответа. Разумеется, такой механизм потребует больших вычислительных мощностей, и здесь масштабируемая и предсказуемая архитектура Groq TSP может прийтись как нельзя более к месту.

Многопоточность давно никого не удивляет, ведь большинство современных процессоров поддерживают выполнение минимум двух потоков на ядро, а у IBM есть и ядра с восемью потоками. Но на конференции Hot Chips 2023 компания Intel продемонстрировала нечто принципиально новое в этом смысле — 8-ядерный RISC-процессор, способный одновременно выполнять до 528 потоков, да ещё и с интегрированным оптическим интерконнектом.

Новинка во всех отношениях любопытная: 66 аппаратных потоков на ядро, довольно объёмный кеш первого уровня (192 Кбайт совокупно для инструкций и данных), 4 Мбайт сверхбыстрой SRAM, а также интегрированные фотонные модули, обеспечивающие оптический интерконнект между несколькими процессорами в системе.

Источник изображений здесь и далее: Intel via ServeTheHome

Поводом для разработки столь необычного процессора стало участие Intel в программе DARPA HIVE, подразумевающей создание эффективных решений для применения в крупномасштабных системах графовой аналитики петабайтного масштаба. По энергоэффективности в такого рода задачах новый чип продемонстрировал тысячекратное превосходство над традиционными архитектурами.

Уникальный чип произведён с использованием 7-нм техпроцесса TSMC с 15 слоями металлизации, использует тайловую (чиплетную) компоновку и несёт на борту блоки с интегрированной кремниевой фотоникой Ayar Labs. Состоит новинка из 27,6 млрд транзисторов (1,2 млрд транзисторов на ядро) и имеет площадь 316 мм². В демонстрируемой версии использована упаковка BGA c 3275 контактами.

Архитектура процессорных ядер — RISC с фиксированной длиной команд. При этом сами ядра реализованы довольно необычно, поскольку каждое ядро содержит как многопоточные конвейеры (16 потоков на конвейер), так и быстрые однопоточные, с восьмикратно более высокой производительностью. Имеется кастомный контроллер DDR5, контроллер PCI Express 4.0 x8, а также 32 высокоскоростных AIB-порта.

Последние как раз и реализуются за счёт чиплетов с интегрированной фотоникой. 32 оптических канала на процессор обеспечивают пропускную способность интерконнекта на уровне 1 Тбайт/с, а топология HyperX допускает масштабирование на уровне более 1 млн процессоров. При этом теплопакет одного чипа составляет всего 75 Вт.

Внутренний межъядерный интерконнект использует меш-сеть с топологией 2D и 16 специальных маршрутизаторов, обеспечивающих высокую I/O-производительность за пределами кристалла. Эти маршрутизаторы работают на частоте 1 ГГц при напряжении 0,75В, имеют задержку всего 4 такта при ширине соединения 25 байт и пропускную способность 64 Гбайт/с на соединение.

Помимо самого процессора, Intel разработала и OCP-шасси, несущее на борту 16 таких процессоров, 512 Гбайт DRAM и оптическую сеть с производительностью до 16 Тбайт/с в каждом направлении. Благодаря наличию 32 высокоскоростных оптических каналов, в пределах стойки возможно подключение по схеме каждый-с-каждым, не требующая применения дополнительных коммутаторов.

Intel не только продемонстрировала работоспособность систем на базе новых процессоров, но и опубликовала результаты тестирования оптического интерконнекта между двумя демонстрационными системными платами. Задержка при этом не превышает 5 нс. Логически общение ядер в соседствующих процессорах ничем не отличается от внутрипроцессорного, хотя и имеет несколько более высокие задержки. При этом обеспечивается практически линейное масштабирование.

Также известны электрические характеристики: в 75-Вт пакете больше половины приходится на фотонику, и лишь 21 % — на вычислительные ядра. Ещё 16 % потребляет контроллер памяти, остальное приходится на тактовые генераторы, маршрутизаторы и внутренний интерконнект.

При разработке и создании этого уникального процессора Intel пришлось решить ряд технических проблем, в частности, обеспечить надёжное и точное подключение оптических волокон, в том числе в процессе сборки чипа. Для обеспечения приемлемого выхода годных чипов в новинке применен ряд специально разработанных для этого материалов.

Компания Positive Technologies сообщила о выпуске новой версии системы анализа защищённости кода приложений — PT Application Inspector 4.5.

Особенностью комплекса PT Application Inspector является гибридный подход, сочетающий статический (Static application security testing, SAST), динамический (Dynamic application security testing, DAST) и интерактивный (Interactive application security testing, IAST) анализ, а также анализ сторонних компонентов ПО (Software composition analysis, SCA). Система работает со множеством платформ и языков, включая С/C++/C#, PHP, Java, .NET, SAP ABAP, HTML/JavaScript и SQL, а также со всеми типами уязвимостей приложений, включая SQLi, XXS и XXE. Решение выявляет уязвимости как в исходном коде, так и в работающем ПО, позволяет устранить их на ранней стадии, поддерживает процесс безопасной разработки DevSecOps.

Источник изображения: ptsecurity.com

В новой версии PT Application Inspector 4.5 появилась возможность интеграции c популярными средами разработки Visual Studio Code и IntelliJ IDEA. Помимо этого, код в системе анализа теперь можно просматривать в Web IDE. Модуль не требует установки дополнительного ПО и при этом позволяет пользователям получить все преимущества работы с кодом в IDE. Также в программном комплексе появился сканирующий агент для ОС семейства Linux. Благодаря этому все компоненты продукта могут быть развёрнуты на рабочих Linux-станциях, что актуально для государственных организаций, использующих отечественные операционные системы на базе ядра Linux.

Помимо этого, в PT Application Inspector 4.5 появилась возможность подключить базу данных пользователей под управлением СУБД PostgreSQL для хранения параметров проектов и сканирований. Также в новой версии продукта была усовершенствована работа с Docker-контейнерами. В числе прочих изменений: возможность переключения интерфейса на тёмную тему и новый инструмент для создания правил поиска уязвимостей по шаблонам. Собственные правила помогают расширять базу знаний, находить новые и релевантные для конкретного пользователя типы уязвимостей.

Минцифры РФ, по сообщению газеты «Коммерсантъ», подготовило ряд новых нормативных актов, регламентирующих работу хостинг-провайдеров. Изменения нацелены на повышение уровня безопасности, а также на защиту IT-инфраструктур от взломов и утечек конфиденциальных данных.

В соответствии с предлагаемыми требованиями компании, оказывающие в числе прочего услуги виртуального размещения сайтов, будут обязаны подключиться к государственной системе обнаружения, предупреждения и ликвидации последствий компьютерных атак ГосСОПКА (контролируется ФСБ).

При выявлении кибератак, в частности, DDoS, проводимых через ресурсы, размещенные у хостинг-провайдера, он должен их заблокировать в течение 12 часов. По требованию уполномоченных органов хостинг-провайдеры должны будут предоставлять в ГосСОПКА идентификаторы опасных ресурсов: на выполнение таких запросов отводится четыре часа. В общей сложности в нормативных актах Минцифры предусмотрены 10 пунктов, которых раньше не было.

Источник изображения: pixabay.com

В ведомстве отмечают, что требования распространяются на всех игроков рассматриваемого рынка. Минцифры также подготовило проект постановления правительства, в соответствии с которым хостинг-провайдеры должны принимать участие в учениях по отключению Рунета от глобальной сети.

Фото: Scott Rodgerson / Unsplash

Участники отрасли говорят, что, с одной стороны, реализовать новые требования будет несложно, поскольку у большинства провайдеров уже установлено необходимое оборудование для фильтрации трафика и блокировки запрещённых ресурсов. С другой стороны, это может привести к росту стоимости услуг для конечных пользователей.

Акты Минцифры, как отмечает газета «Ведомости, предусматривают также, что Роскомнадзор (РКН) создаст специальный реестр провайдеров хостинга и будет отвечать за его ведение. Для включения в этот список компании должны будут направлять уведомление в ведомство — на рассмотрение заявки отводится 10 рабочих дней.

Кроме того, провайдеры должны уведомлять Роскомнадзор о начале деятельности не позднее чем за 10 рабочих дней до её старта через личный кабинет на сайте регулятора. Те компании, которые не попадут в реестр РКН, не смогут оказывать услуги. Требования вступят в силу 1 декабря 2023-го. Хостинг-провайдеры, уже осуществляющие деятельность, должны сообщить об этом в Роскомнадзор не позднее 15 декабря текущего года.

Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

ПАО «Мобильные телесистемы» (МТС) объявило о запуске оптоволоконной линии (ВОЛС), связывающей материковую Россию с островом Русский. Как сообщает РИА «Новости», новая линия расширит возможности как корпоративных клиентов, так и абонентов. Результатом строительства стало увеличение ёмкости местной сети и скорости мобильного интернета, а также повышение отказоустойчивости местных телеком-систем.

Протяжённость новой ВОЛС, исходящей из владивостокского ЦОД МТС, превышает 38 км, причём 3100 м линии проходит внутри конструкции вантового моста, соединяющего остров с материком. На острове оптоволокно заходит во все 23 корпуса Дальневосточного федерального университета (ДВФУ). Появление ВОЛС на территории университета обеспечит доступ цифровым сервисам на новом технологическом уровне.

Источник изображения: 15290004/pixabay.com

Ожидается, что развитие телекоммуникационной сети будет способствовать цифровой трансформации территории. Дело не ограничится обеспечением связи для ДВФУ, бизнеса и других структур. На территории острова Русский намерены внедрять новые решения, входящие в экосистему МТС. Как сообщают представители компании, в частности, речь идёт об умном видеонаблюдении с сопутствующей видеоаналитикой, а также внедрении инфраструктуры Интернета вещей, облачных технологий и системы мониторинга транспорта.

Компания AMD объявила об организации массового выпуска «адаптивных» однокристальных систем (SoC) серии Versal HBM, которые могут применяться в составе облачных платформ, ИИ-решений, а также на периферии. Как отражено в названии, изделия оснащены высокоскоростной памятью HBM (High-Bandwidth Memory).

Применены чипы HBM2e. Утверждается, что по сравнению с существующими решениями Versal Premium SoC, оборудованными памятью DDR4, достигается шестикратное увеличение пропускной способности и сокращение энергопотребления приблизительно на 65 % в расчёте на бит.

Источник изображения: AMD

Для разработчиков, экспериментирующих с Versal HBM, компания AMD выпустила комплект VHK158 Evaluation Kit. Решение наделено 32 Гбайт памяти HBM, двумя слотами DDR4-3200 DIMM, интерфейсами PCIe 5.0 x8 и PCIe 4.0 x16. В качестве процессора приложений задействован чип с двумя вычислительными ядрами Arm Cortex-A72.

Плата VHK158 Evaluation Kit располагает слотом microSD, трансиверами 112G PAM4, разъёмами QSFP28 и QSFP-DD, коннектором FMC+. Заявленная пропускная способность памяти HBM достигает 819,2 Гбайт/с. Габариты составляют 247 × 220 мм. Диапазон рабочих температур простирается от 0 до +45 °C. Стоит комплект приблизительно $15 тыс.

Компания Cisco, по сообщению ресурса The Register, приняла решение отказаться от дальнейшего развития семейства гиперконвергентных решений Hyperflex. Объясняется это «растущими потребностями клиентов и изменившейся рыночной динамикой».

Cisco называет Hyperflex «дата-центром в коробке». Эти продукты объединяют серверы, СХД, необходимую сетевую инфраструктуру и платформу виртуализации. Решения совместимы с Oracle Database, SAP HANA, Microsoft SQL Server, с виртуальными средами VMware, Citrix и Microsoft.

Источник изображения: Cisco

В Cisco не стали вдаваться в подробности относительно сворачивания проекта Hyperflex, отметив лишь, что компания действует в интересах клиентов, партнёров и сотрудников. При этом в Cisco подчёркивают, что корпорация «по-прежнему привержена упрощению работы гибридного мультиоблака». Cisco пообещала пятилетнюю поддержку и обслуживание текущих заказчиков Hyperflex. Cisco продолжит принимать заказы на оборудование HyperFlex и сопутствующее ПО до 12 марта 2024 года, а отгрузки планируется завершить до 10 июня 2024-го.

Решение Cisco может создать сложности для клиентов, которые используют гипервизор VMware ESXi на базе HyperFlex. Дело в том, что Cisco не будет сертифицировать будущие версии ESXi для работы на своем оборудовании. Поэтому заказчикам придётся либо запускать неподдерживаемый код, либо использовать аппаратное обеспечение HyperFlex в качестве обычных серверов Cisco UCS (Unified Computing System).

Между тем недавно Cisco сообщила о заключении партнёрского соглашения с Nutanix для ускорения развертывания гибридных мультиоблачных сред. Речь идёт о создании наиболее полного в отрасли гиперконвергентного решения для IT-модернизации и трансформации бизнеса.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-систем, сообщила о том, что её массив AI400X2 NVMe показал высокие результаты в ИИ-бенчмарке MLPerf Storage v0.5 при выполнении задач сегментации изображений и обработки естественного языка.

Платформа AI400X2 совмещает параллельную файловую систему с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз.

В частности, в тесте MLPerf Storage v0.5 при использовании одного узла AI400X2 продемонстрирована пропускная способность на уровне 16,2 Гбайт/с. Утверждается, что этого достаточно для обслуживания 40 высокопроизводительных ИИ-ускорителей. В многоузловой конфигурации скорость передачи данных достигает 61,6 Гбайт/с, что позволяет поддерживать работу до 160 ускорителей ИИ.

Источник изображения: DDN

DDN заявляет, что продемонстрированные в бенмарке MLPerf Storage v0.5 показатели говорят о повышении эффективности СХД приблизительно на 700 % в расчёте на каждый узел по сравнению с конкурирующими локальными решениями.

Отмечается, что возможность поддерживать ИИ-нагрузки и большие языковые модели с высоким уровнем эффективности и масштабируемости, одновременно минимизируя энергопотребление и занимаемую площадь ЦОД, имеет решающее значение при внедрении передовых приложений и сервисов.

Одна из крупнейших нефтяных компаний России «Газпром нефть» объявила о запуске в партнёрстве с VK Cloud облачной платформы, обеспечивающей виртуальную инфраструктуру для совместной работы разработчиков компании и её технологических партнёров над созданием новых ИТ-решений.

Новая платформа, созданная на базе Private Cloud от VK, предлагает вычислительные ресурсы и инструменты для работы с данными, включая разработки в области ИИ. Как сообщается, на платформе уже развёрнута система управления нормативно-справочной информацией. Переход на новую ИТ-инфраструктуру более чем вдвое повысил эффективность использования вычислительных мощностей «Газпром нефти» — в среднем с 30 до 70 %, сообщается в пресс-релизе.

Источник изображения: «Газпром нефть»

По словам «Газпром нефти», в компании используются сотни технологических продуктов, а также активно разрабатываются и внедряются новые цифровые решения, для тестирования и масштабирования которых необходимы не только высокие вычислительные мощности, но и безопасная виртуальная среда. А совместно с технологическими партнёрами «Газпром нефть» создаёт и развивает новые продукты и сервисы, которые, будут полезны и востребованы на растущем отечественном ИТ-рынке, заявила компания.