Калифорнийский стартап Rivos, основанный в 2021 году, сообщил о проведении раунда финансирования Series-A3, в ходе которого на развитие привлечено более $250 млн. Ключевым инвестором стала фирма Matrix Capital Management. Кроме того, средства предоставили Intel Capital, Dell Technologies Capital, MediaTek и др.

Rivos занимается разработкой чипов на открытой архитектуре RISC-V для приложений ИИ и больших языковых моделей (LLM). Изделия планируется изготавливать на предприятии TSMC с применением 3-нм технологии. Предполагается, что такие решения станут менее дорогой альтернативой ускорителям NVIDIA. Привлеченные средства стартап направит на ускорение разработки чипов и коммерциализацию решений. При этом ориентировочные сроки начала массового производства таких изделий пока не раскрываются.

Источник изображения: pixabay.com

На сегодняшний день Rivos раскрывает лишь общую информацию о характеристиках своих чипов. В их состав войдёт узел Data Parallel Accelerator и вычислительные ядра с архитектурой RISC-V. Узлы чипа получат доступ к памяти DDR DRAM и HBM. Rivos также предоставит набор специальных программных инструментов для своих чипов. С их помощью разработчики смогут развёртывать и обучать модели ИИ. По имеющейся информации, Rivos нацеливается на приложения ИИ, которые смогут работать с PyTorch и JAX.

Широко анонсированная программа импортозамещения в области ИТ-технологий хотя и приносит свои плоды, но сталкивается с серьёзными проблемами. Тем не менее, российские производители стараются освоить и использовать современные архитектуры и технологии. Так, компания Delta Computers представила первый в России OCP-сервер, работающий с процессорами Intel Xeon Sapphire Rapids и Emerald Rapids.

Новинка, получившая имя Delta Serval, поддерживает установку двух CPU. А стандартное шасси 2OU вмещает два узла, так что в максимальной конфигурации можно получить сразу 256 ядер. Поддержка наиболее современных процессорами Intel позволяет использовать Serval в самых высоконагруженных сценариях — для крупномасштабных баз данных, ИИ и HPC. А соседство в одной OCP-стойке с Delta Sprut, который допускает установку 8 двухслотовых ускорителей или же 16 однослотовых, ещё больше расширяет возможности Serval.

С точки зрения базовых технических характеристик всё аналогично другим решениям с разъёмом LGA 4667. Поддерживается установка 60-ядерных Sapphire Rapids и 64-ядерных Emerald Rapids с TDP до 350 Вт. Доступно 32 слота дя модулей памяти DDR5-4800/5200/5600 суммарный объёмом до 8 Тбайт.

Источник изображений: Delta Computers

В качестве основной шины используется PCI Express 5.0: один слот OCP 3.0 + либо пара x16 (HHHL), либо один x16 и два x8 (все HHHL). Возможна установка либо восьми U.2 NVMe SSD высотой 7 мм, либо четырёх высотой 15 мм. Выведены порты USB 3.0, mini-VGA и 1GbE RJ45.

Есть у Delta Serval и важное отличие от западных решений — он работает под управлением разработанных собственными силами Delta BIOS и Delta BMC. Это позволяет гарантировать дополнительный уровень безопасности. Обе прошивки включены в реестр Минцифры РФ, а Delta BMC сертифицирована ФСТЭК на соответствие четвёртому уровню доверия. Сам Delta Serval уже внесён в реестр радиоэлектронной продукции Министерства промышленности и торговли Российской Федерации.

Некоммерческий проект MLCommons, занимающийся созданием и поддержкой бенчмарков, широко используемых в ИИ-индустрии, анонсировал новую разработку, передаёт Silicon Angle. Речь идёт об инструменте, позволяющем оценивать безопасность ИИ-систем. Консорциум объявил о создании соответствующей рабочей группы AIS в конце 2023 года.

AI Safety v0.5 находится на стадии proof-of-concept и позволяет оценивать большие языковые модели (LLM), стоящие за современными чат-ботами, анализируя ответы на запросы из «опасных категорий». Необходимость в появлении такого инструмента давно назрела, поскольку технологию оказалось довольно легко использовать в неблаговидных и даже опасных целях. Например, ботов можно применять для подготовки фишинговых атак и совершения других киберпреступлений, а также для распространения дезинформации и разжигания ненависти.

Источник изображения: Nguyen Dang Hoang Nhu / Unsplash

Хотя измерить безопасность довольно сложно с учётом того, что ИИ используется в самых разных целях, в MLCommons создали инструмент, способный разбираться с широким спектром угроз. Например, он может оценивать, как бот отвечает на запрос о рецептах изготовления бомбы, что отвечать полиции, если пойман за созданием взрывного устройства и т.п. Каждая модель «допрашивается» серией тестовых запросов, ответы на которые потом подлежат проверке. LLM оценивается как по каждой из категорий угроз, так и по уровню безопасности в целом.

Бенчмарк включает более 43 тыс. промтов. Методика позволяет классифицировать угрозы, конвертируя ответы в понятные даже непрофессионалам характеристики, вроде «высокий риск», «умеренно-высокий риск» и т.д. Представители организации заявляют, что LLM чрезвычайно трудно оценивать по ряду причин, но ИИ в любом случае нуждается в точных измерениях, понятных людям и имеющих прикладное значение.

Источник изображения: Jason Goodman / Unsplash

Работа над бенчмарком продолжается, всего идентифицированы 13 опасных категорий, но только семь из них пока оцениваются в рамках исходного проекта. Речь идёт о темах, связанных с насильственными и ненасильственными преступлениями, оружием массового уничтожения, суицидами и др., ведётся разработка и для новых категорий — всё это позволит создавать более «зрелые» модели с низким уровнем риска. В будущем планируется оценивать не только текстовые модели, но и системы генерации изображений.

Бенчмарк AI Safety v0.5 уже доступен для экспериментов и организация надеется, что исходные тесты сообществом позволят выпустить усовершенствованную версию v1.0 позже в текущем году. В MLCommons заявляют, что по мере развития ИИ-технологий придётся иметь дело не только с известными опасностями, но и новыми, которые могут возникнуть позже — поэтому платформа открыта для предложений новых тестов и интерпретации результатов.

Роскомнадзор начал блокировать доступ к облачной платформе Amazon Web Services (AWS), а также службам ряда хостинговых компаний, включая GoDaddy. Причина — нарушение так называемого закона «о приземлении», который был принят 1 июля 2021 года.

Указанный закон (№236-ФЗ) предусматривает, что иностранные IT-компании с ежедневной аудиторией в России 500 тыс. человек и более обязаны открыть представительство на территории РФ, зарегистрировать личный кабинет на сайте Роскомнадзора и разместить на своей площадке электронную форму для обратной связи с российскими гражданами или организациями.

За неисполнение перечисленных требований предусмотрены различные меры воздействия — вплоть до полной блокировки ресурсов. В конце 2023 года Роскомнадзор оштрафовал ряд иностранных хостинг-провайдеров за неисполнение закона «о приземлении»: в их число вошли AWS, GoDaddy, Kamatera, Network Solutions, WPEngine и др. Однако с тех пор эти компании нарушения не устранили, и теперь их сервисы в России заблокированы.

Источник изображения: pixabay.com

В частности, 25 марта регулятор ограничил работу хостинг-провайдера Kamatera, 27 марта — WPEngine, 29 марта — HostGator.com. Далее последовала блокировка Network Solutions — 1 апреля, DreamHost — 3 апреля, Bluehost — 5 апреля, Ionos — 8 апреля, DigitalOcean — 10 апреля. Наконец, 12 апреля были заблокированы ресурсы GoDaddy, а 15 апреля — сервисы AWS. В отношении указанных провайдеров действуют «полное ограничение доступа к информационному ресурсу иностранного лица» и «запрет на поисковую выдачу». Перечисленные компании зарегистрированы в США.

Вместе с тем Роскомнадзор пока не ограничил доступ к сервисам Hetzner Online GmbH и FastComet, которые также входят в перечень иностранных провайдеров хостинга, подлежащих «приземлению» в России.

Папский Католический университет Чили (UC Chile) объявил о вводе в эксплуатацию НРС-комплекса Geryon 3 на аппаратной платформе Intel. Суперкомпьютер предназначен прежде всего для решения задач в области астрономии, но будет также применяться и в других сферах — от физики до биологии.

Проект по созданию Geryon 3 реализован при финансовой поддержке Центра передовых исследований в области астрофизики и связанных с ней технологий (CATA). Стоимость НРС-системы составляет $367,5 тыс. Суперкомпьютер смонтирован в Институте астрофизики в Сантьяго (UC Institute of Astrophysics), где занимает площадь приблизительно 36 м². Отмечается, что появление Geryon 3 знаменует собой важную веху в развитии вычислительных мощностей для астрофизических исследований в Чили.

В состав комплекса входят 12 узлов с процессорами Xeon Gold 6448H поколения Sapphire Rapids. Чипы объединяют 32 ядра (64 потока) с тактовой частотой 2,4–4,1 ГГц. Каждый узел содержит 512 Гбайт оперативной памяти. В общей сложности задействованы 768 ядер и 6,14 Тбайт памяти. Говорится об использовании специально разработанной системы охлаждения (подробности не раскрываются) и других технических решений, включая средства стабилизации питания.

Источник изображения: UC Chile

К 2030-м годам Чили будет обладать самыми развитыми в мире возможностями астрономических наблюдений. К существующим научным инструментам добавятся новые обсерватории, такие как Гигантский Магелланов телескоп (GMT), Европейский чрезвычайно большой телескоп (E-ELT) и обсерватория Веры Рубин. Для обработки поступающих данных потребуются значительные вычислительные ресурсы. Например, обсерватория Веры Рубин получит самую мощную в мире цифровую камеру для оптической астрономии с разрешением 3200 Мп, которая будет фотографировать небо южного полушария каждые три–четыре ночи, формируя около 1000 гигантских изображений за цикл.

Хотя основным предназначением Geryon 3 являются астрономические исследования, суперкомпьютер также будет применяться для обработки огромных объёмов данных в таких областях, как горное дело, возобновляемые источники энергии, биогенетика или лесное хозяйство. Ресурсы будут доступны как академическому, так и промышленному сектору.

Компания Palo Alto Networks сообщила о выявлении критической уязвимости нулевого дня в своих межсетевых экранах под управлением Pan-OS. Брешь, которую обнаружили специалисты по информационной безопасности Volexity, уже эксплуатируется киберпреступниками.

Проблема, описанная в бюллетене CVE-2024-3400, получила максимальный рейтинг опасности — 10 баллов из 10. Уязвимость позволяет неаутентифицированному злоумышленнику выполнить произвольный программный код с root-привилегиями на устройстве и затем получить доступ в IT-инфраструктуру организации.

Источник изображения: Palo Alto Networks

Дыра содержится в устройствах, использующих Pan-OS 10.2, Pan-OS 11.0 и Pan-OS 11.1. Проблема затрагивает VPN-инструмент под названием GlobalProtect. По данным Palo Alto Networks, хакеры могут воспользоваться уязвимостью только в том случае, если в брандмауэре на базе Pan-OS активирована функция телеметрии.

Брешь может использоваться для получения полного контроля над межсетевым экраном и последующего проникновения в сеть жертвы. Иными словами, уязвимый брандмауэр может служить точкой входа для последующей кражи данных или, например, внедрения вредоносного ПО.

Источник изображения: pixabay.com

Palo Alto Networks отмечает, что ей «известно об ограниченном количестве атак, использующих эту уязвимость». Отмечается, в частности, что дыру эксплуатирует киберпреступник (или группа злоумышленников) под ником UTA0218. Говорится, что попытки взломы устройств через данную брешь осуществляются как минимум с 26 марта 2024 года. По оценкам, в настоящее время во всем мире эксплуатируются около 82 тыс. уязвимых межсетевых экранов Palo Alto Networks.

Специалисты Palo Alto Networks уже занимаются разработкой патча — он будет выпущен в ближайшее время. Между тем исключить возможность атаки через CVE-2024-3400 можно, отключив функцию телеметрии устройства. Клиенты с подпиской Threat Prevention уже могут применить соответствующую блокировку.

Центр технической ИТ-поддержки (ЦТИТП) объявил о запуске Центра компетенций по миграции с IBM DB2 на СУБД Tantor. Специалисты помогут отечественным заказчикам в осуществлении процесса импортозамещения ПО при сохранении бесперебойной эксплуатации IT-систем, построенных на зарубежных решениях.

В сложившейся обстановке многие иностранные разработчики ПО покинули российский рынок, в связи с чем возникла необходимость замещения импортных платформ отечественными альтернативами. Это касается и сферы СУБД.

IBM DB2 — семейство систем управления реляционными базами данных. Эти платформы наделены ИИ-функциями, помогающими управлять как структурированной, так и неструктурированной информацией в локальных и мультиоблачных средах. В свою очередь, СУБД Tantor разработана компанией «Тантор Лабс» (входит в «Группу Астра») на основе PostgreSQL. Решение зарегистрировано в «Реестре российского ПО».

В рамках поддержки российских клиентов специалисты нового Центра компетенций осуществляют экспертное сопровождение процесса перехода от DB2 к PostgreSQL, включая анализ, планирование и реализацию. Стратегия миграции формируется с учётом специфики бизнеса заказчика. При этом гарантированы минимальные риски и простота интеграции. Обеспечиваются сохранность данных и оптимальные сроки реализации проекта. Кроме того, Центр предлагает компаниям-клиентам обучение персонала и консультации по использованию PostgreSQL.

Источник изображения: «Тантор Лабс»

«СУБД Tantor в связке с платформой мониторинга и администрирования не только закрывает потребности в СУБД, но и позволяет сделать процесс миграции прозрачным, а соответственно, более быстрым и качественным. Мы стараемся помочь нашим партнёрам и клиентам перейти на российский софт с минимальными затратами и максимальным эффектом», — говорит Вадим Яценко, генеральный директор «Тантор Лабс».

Суд присяжных в США, по сообщению Datacenter Dynamics, признал облачную платформу Amazon Web Services (AWS) виновной в нарушении патентов чикагской компании Kove. За незаконное использование чужих технологий на AWS наложен штраф в размере $525 млн.

Претензии Kove связаны с тем, что ответчик нарушил права на разработки, связанные с системами и методами управления хранилищем данных, а также с поиском и извлечением информации. По заявлениям Kove, AWS без разрешения применяет соответствующие технологии в сервисах S3 и DynamoDB. В 2023 году Kove направила аналогичный иск против Google — это дело в настоящее время находится на стадии рассмотрения.

Источник изображения: pixabay.com

Kove подала иск против AWS в декабре 2018 года. В материалах дела упомянуты три американских патента Kove — №7,814,170, №7,103,640 и №7,233,978. Изобретателями значатся доктор Джон Овертон (John Overton) и доктор Стивен Бейли (Stephen Bailey), причём Овертон является генеральным директором Kove. В своей жалобе истцы заявляют, что технологии Kove имеют большое значение для AWS, поскольку объём данных, хранящихся в облаке Amazon, растёт в геометрической прогрессии, а её облачные сервисы столкнулись с ограничениями в плане обработки и извлечения огромных массивов информации.

В 2020 году AWS выступила с опровержениями, отрицая нарушение рассматриваемых патентов и утверждая, что они якобы недействительны и, следовательно, не имеют исковой силы. Однако аргументы AWS не были учтены в суде, а на саму облачную платформу наложен штраф. Вместе с тем присяжные отклонили обвинения в том, что AWS нарушила патенты умышленно. Облачная платформа заявила, что не согласна с вердиктом, и сообщила о намерении подать апелляцию.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

Компания Cerebras Systems, известная своими разработками в области сверхбольших ИИ-процессоров, рассказала о третьем поколении чипов Wafer Scale Engine. В своё время компания произвела фурор, представив процессор, занимающий всю площадь кремниевой пластины (46225 мм2). В первом поколении WSE речь шла о 1,2 трлн транзисторов при 400 тыс. ядер и 18 Гбайт сверхбыстрой памяти. WSE-2 состоял из 2,6 трлн транзисторов, имел 850 тыс. ядер и 40 Гбайт интегрированной памяти.

В WSE-3 разработчики перешли на использование 5-нм техпроцесса TSMC, что позволило разместить на пластине такого же размера уже 4 трлн транзисторов, составляющих 900 тыс. ядер и 44 Гбайт SRAM. Суммарная пропускная способность набортной памяти достигает 21 Пбайт/с, а внутреннего интерконнекта — 214 Пбит/с.

Источник изображений: Cerebras

Казалось бы, выигрыш в количестве ядер по сравнению с WSE-2 не так уж велик, однако на этот раз Cerebras сделала упор на архитектуру. Если верить заявлениям разработчиков, WSE-3 практически вдвое быстрее WSE-2 при сопоставимом уровне энергопотребления (15 кВт) и той же цене: 125 Пфлопс против 75 Пфлопс в разреженных FP16-вычислениях. WSE-3 в 62 раза быстрее NVIDIA H100, хотя и сам чип WSE-3 в 57 раз больше.

WSE-3 по-прежнему требует специфического окружения. Он станет сердцем новой системы CS-3 (23 кВт), содержащей всю необходимую сопутствующую инфраструктуру, включая СЖО, подсистемы питания, а также сетевого интерконнекта Ethernet. Последний не изменился и состоит из 12 каналов со скоростью 100 Гбит/с. Для подготовки «сырых» данных по-прежнему будет использоваться внешний суперсервер. А для их хранения будут использоваться узлы MemoryX ёмкостью до 1200 Тбайт (1,2 Пбайт).

Главной задачей CS-3 станет «натаскивание» сверхбольших языковых моделей, в 10 раз превышающих по количеству параметров GPT-4 и Google Gemini. Cerebras говорит о 24 трлн параметров, причём без необходимости различных ухищрений для эффективного распараллеливания процесса обучения, что требуется в случае с GPU-кластерами. По словам компании, для обучения Megatron 175B на таких кластерах требуется 20 тыс. строка кода Python/C++/CUDA, а в случае WSE-3 потребуется лишь 565 строк на Python.

CS-3 поддерживает масштабирование вплоть до 2048 систем. Такая конфигурация вкупе с MemoryX сможет обучить модель типа Llama 70B всего за день. Первый суперкомпьютер на базе CS-3 — 8-Эфлопс Condor Galaxy 3 — будет скромнее и получит всего 64 стойки CS-3, которые разместятся в Далласе (США). В совокупности с уже имеющимися кластерами на базе CS-1 и CS-2 вычислительная мощность систем Cerebras должна достигнуть 16 Эфлопс. В сотрудничестве c группой G42 запланировано создание ещё шести систем CS-3, что в сумме позволит довести производительность до 64 Эфлопс.

Condor Galaxy 3 будет отличаться от предшественников ещё одним нововведением: в рамках сотрудничества с Qualcomm Cerebras установит в новом кластере существенное число инференс-ускорителей Qualcomm Cloud AI100 Ultra. Каждый такой ускоритель имеет 64 ядра, 128 Гбайт памяти LPDDR4x, потребляет 140 Вт и развивает 870 Топс на INT8-операциях. Причём програмнный стек полностью интегрирован, что позволит в один клик запустить обученные WSE-3 модели на ускорителях Qualcomm.

Сотрудничество Cerebras и Qualcomm носит официальный характер, его целью является оптимизация ИИ-моделей для запуска на AI100 Ultra с учетом различных продвинутых техник, таких как разреженные вычисления, спекулятивное исполнение (сочетание малых LLM для получения быстрого результата с проверкой большой LLM), использование «сжатого» формата MxFP6 для весов и других. Благодаря мощностям, предоставляемым WSE-3, цикл разработки, оптимизации и тестирования таких моделей удастся существенно ускорить, что в итоге должно обеспечить десятикратное улучшение удельной производительности новых решений.