Материалы по тегу: ии

04.09.2024 [14:32], Руслан Авдеев

За последние два года власти Китая потратили $6,1 млрд на строительство крупных кампусов ЦОД, ещё $28 млрд вложили частные инвесторы

В последние пару лет Китай вложил более $6,1 млрд в развитие сети дата-центров в стране, передаёт Reuters со ссылкой на данные недавно сформированного Национального бюро информации (National Data Bureau), которое подчиняется Национальной комиссии по развитию и реформам КНР (National Development and Reform Commission, NDRC). Ещё $28 млрд вложили частные инвесторы. Всего же, по оценкам NDRC, на развитие новой сети ЦОД может потребоваться до $63 млрд ежегодно.

По данным на конец июня 2024 года, крупные инвестиции были сделали в рамках проекта Eastern Data, Western Computing, стартовавшего в 2022 году. В его рамках предполагается строительство крупных кампусов ЦОД в западных регионах страны, где есть много доступной и дешёвой энергии, и перенос туда обработки данных из густонаселённых восточных провинций.

 Источник изображения: Becca Tapert/unsplash.com

Источник изображения: Becca Tapert/unsplash.com

Новые крупные кампусы ЦОД построены в регионе Внутренняя Монголия, провинциях Нинся, Ганьсу, Гуйчжоу, регионе Пекин-Тяньцзинь-Хэбэй, а также в дельте Янцзы и других территориях. Ожидается, что помимо «национальных вычислительных хабов» планируется строительство и десятков небольших ЦОД, уточняет уточняет DataCenter Dynamics. Всего введено в строй 1,95 млн стоек, из которых 63 % уже используются.

Китай наращивает инвестиции в свои вычислительные проекты невзирая на ужесточение санкций со стороны США. Вашингтон запретил продавать в Китай передовые чипы, а также другие компоненты и оборудование для их производства, готовятся и новые ограничения в сфере суперкомпьютеров. Представители США утверждают, что ограничения призваны помешать Китаю разработать чипы для ИИ-систем и реализовать военные программы. Также КНР обвиняют в нарушении прав человека. В числе попавших под запрет компонентов — передовые ускорители NVIDIA, а также оборудование для производства чипов, в первую очередь компании ASML из Нидерландов. Впрочем, в последнее время неоднократно сообщалось, что Китай добился больших успехов в создании собственных решений в полупроводниковой отрасли.

Постоянный URL: http://servernews.ru/1110434
04.09.2024 [08:08], Владимир Мироненко

Broadcom анонсировала VMware Cloud Foundation 9 и Tanzu Platform 10

Broadcom представила новейшую версию платформы для управления виртуальными машинами и оркестрации контейнеров VMware Cloud Foundation (VCF) 9, назвав её «будущим» своей платформы частного облака, которая ускорит переход клиентов от разрозненных ИТ-архитектур к унифицированной и интегрированной частной облачной платформе с меньшими затратами и рисками. Основной упор в новой версии сделан на создание частных облаков и, конечно же, ИИ.

Broadcom заявила, что VMware Cloud Foundation — первая в отрасли облачная платформа, сочетающая масштабируемость и гибкость публичного облака с безопасностью, устойчивостью и производительностью частного облака и низкой совокупной стоимостью владения. VCF поддержит цифровые инновации клиентов с более быстрой модернизацией инфраструктуры, унифицированным облачным опытом, а также лучшей киберустойчивостью и безопасностью, говорит Broadcom. Компания сослалась на спонсируемое ею исследование IDC, в котором сообщалось, что VCF обеспечивает в среднем на 34 % более низкие затраты на инфраструктуру, на 42 % более низкую общую стоимость эксплуатации и 564 % окупаемости инвестиций в течение трёх лет.

 Источник изображений: blogs.vmware.com

Источник изображений: blogs.vmware.com

VCF помогает организациям быстро перейти на современную и интегрированную инфраструктуру, снижая сложность и время простоя, связанные с ручной миграцией существующих сред в частную облачную платформу. С VMware Cloud Foundation 9 Broadcom добавила возможность клиентам импортировать конфигурации NSX, vDefend, Avi Load Balancer и сложные топологии хранения в существующие среды VCF, а также использовать и интегрировать старые версии существующей инфраструктуры. Этому будет способствовать новый интуитивно понятный пользовательский интерфейс — VCF 9 включает в себя портал самообслуживания с единой консолью управления (вместо десятка с лишним панелей ранее), которая упрощает операции и автоматизацию. Кроме того, компания представила VMware Cloud Foundation (VCF) Advanced Services, каталог готовых к развёртыванию решений, упрощающих работу клиентов в своих частных облачных средах.

VMware Cloud Foundation 9

Обновлений платформы целое множество. Так, расширение пула DRAM посредством NVMe SSD (CXL) в VCF 9 позволит значительно улучшить работу приложений с интенсивным использованием данных, такие как ИИ, СУБД и аналитика в реальном времени, а также сократит задержку и ускорит передачу информации, что имеет решающее значение для задач обучения и инференса. Также это позволяет масштабировать производительность без чрезмерных затрат. А удалённая репликация снимков между vSAN поддерживает глубокую историю неизменяемых снимков, сокращая время простоя и упрощая оркестрацию аварийного восстановления, в том числе в изолированных on-premise окружениях.

Также в VCF 9 включена функциональность VMware Cloud Director, благодаря чему в рамках одной платформы можно поддерживать несколько организаций или, например, групп разработки, сегментируя инфраструктуру на основе их конкретных требований к доступу, управлению рабочими нагрузками, безопасности и конфиденциальности. Кроме того, значительно упростилось создание виртуальных частных облаков (VPC), которые теперь можно формировать буквально в один клик, не занимаясь ручной настройкой VLAN и интеграцией с существующими сетями. Возможности VPC можно расшириить службами VMware vDefend и VMware Avi Load Balancer, которые также получили существенные обновления.

Например, Avi Load Balancer лучше оптимизирован для сред VCF и Kubernetes и интегрирован со службой Tanzu Application Service. По словам Broadcom, это сокращает время развёртывания с недель до минут и повышает прозрачность работы на уровне L4–L7. Kubernetes-системы получат расширенными возможности по управлению трафиком и конвейерами CI/CD.

vDefend был расширен с помощью распределённого анализа влияния правил брандмауэра и распределённой же системы IPS. Он поддерживает крупные и сложные среды, позволяя провести быструю оценку и профилирование угроз, в том числе в изолированных (air-gapped) окружениях. А в рамках Project Cypress компания готовит для vDefent интеллектуального помощника на базе генеративного ИИ, который будет проактивно находить возможные вектора атак, предлагать возможные варианты защиты, выявлять малоэффектвные политики безопасности и т.д. Пообщаться с ним можно будет на естественном языке. А гипервизор VMware может выступать в качестве датчика угроз для быстрой оценки защиты инфраструктуры.

Broadcom также сообщила об обновлении платформы VMware Private AI Foundation with NVIDIA, предназначенный для предприятий, которые хотят использовать возможности ИИ, сохраняя при этом преимущества частного облака, представляющей собой комплексное решение для безопасного и эффективного развёртывания, управления и масштабирования ИИ-приложений на базе VCF. В VCF 9 компания упростила развёртывания платформ генеративного ИИ, расширив возможности управления и мониторинга vGPU и GPU, добавив службу индексации и извлечения данных, а также службу создания ИИ-агентов.

Tanzu 10

На конференции также была представлена 10-я версия унифицированной платформы VMware Tanzu, с помощью котороый разработчики могут автоматизировать защищённые сборки контейнеров, привязывать сервисы к приложениям, развёртывать код одной командой и легко масштабировать приложения, заявила Broadcom. Tanzu 10 также автоматизирует задачи управления приложениями и платформами, такие как исправление уязвимостей, развёртывание непрерывных обновлений и применение политик.

Tanzu предоставляет ряд пакетных сервисов для VCF для автоматизированной и защищённой работы с контейнерами и данными. Новые функции включают поддержку изолированных среды, глобальный балансирощик, расширенные сетевые возможности (Avi Load Balancer), защищённые виртуальные машины, каталог образов с open source ПО. Наконец, встроенная среда разработки ИИ платформы Tanzu позволяет разработчикам создавать приложения Python без знания языка.

Решения Tanzu AI Solutions включают, в том числе, такие функции:

  • GenAI on Tanzu Platform позволяет клиентам использовать большие языковые модели (LLM) в своих приложениях, предоставляя шлюз с OpenAI-совместимыми API для запускать более чем 100 проприетарных и открытых LLM безопасным и согласованным образом.
  • Observability for GenAI отвечает за мониторинг и оценку ИИ-приложений и ответов модели. Это помогает клиентам визуализировать, тестировать и устранять неполадки в приложениях ИИ, выполняя проверки точности моделей и выявляя галлюцинации. Функция также отслеживает использование токенов, помогая контролировать расходы на использование LLM.

Поддержка VMware Private AI Foundation with NVIDIA встроена в сервис GenAI on Tanzu Platform.

Постоянный URL: http://servernews.ru/1110391
03.09.2024 [11:04], Сергей Карасёв

Стартап xAI Илона Маска запустил ИИ-кластер со 100 тыс. ускорителей NVIDIA H100

Илон Маск (Elon Musk) объявил о том, что курируемый им стартап xAI запустил кластер Colossus, предназначенный для обучения ИИ. На сегодняшний день в состав этого вычислительного комплекса входят 100 тыс. ускорителей NVIDIA H100, а в дальнейшем его мощности будут расширяться.

Напомним, xAI реализует проект по созданию «гигафабрики» для задач ИИ. Предполагается, что этот суперкомпьютер в конечном итоге будет насчитывать до 300 тыс. новейших ускорителей NVIDIA B200. Оборудование для платформы поставляют компании Dell и Supermicro, а огромный дата-центр xAI расположен в окрестностях Мемфиса (штат Теннесси).

«В эти выходные команда xAI запустила кластер Colossus для обучения ИИ со 100 тыс. карт H100. От начала до конца всё было сделано за 122 дня. Colossus — самая мощная система обучения ИИ в мире», — написал Маск в социальной сети Х.

 Источник изображения: WebProNews

Источник изображения: WebProNews

По его словам, в ближайшие месяцы вычислительная мощность платформы удвоится. В частности, будут добавлены 50 тыс. изделий NVIDIA H200. Маск подчёркивает, что Colossus — это не просто еще один кластер ИИ, это прыжок в будущее. Основное внимание в рамках проекта будет уделяться использованию мощностей Colossus для расширения границ ИИ: планируется разработка новых моделей и улучшение уже существующих. Ожидается, что по мере масштабирования и развития система станет важным ресурсом для широкого сообщества ИИ, предлагая беспрецедентные возможности для исследований и инноваций.

Запуск столь производительного кластера всего за 122 дня — это значимое достижение для всей ИИ-отрасли. «Удивительно, как быстро это было сделано, и для Dell Technologies большая честь быть частью этой важной системы обучения ИИ», — сказал Майкл Делл (Michael Dell), генеральный директор Dell Technologies.

Постоянный URL: http://servernews.ru/1110369
03.09.2024 [11:02], Сергей Карасёв

Softline сообщила об отключении в РФ ряда облачных служб Microsoft с 12 сентября

12 сентября 2024 года вступают в силу новые санкции США, предусматривающие ограничение доступа российских организаций к иностранному ПО и IT-услугам. В этой связи корпорация Microsoft, по сообщению ГК Softline, распространила уведомление о прекращении предоставления ряда своих облачных сервисов Azure пользователям в РФ.

В соответствии с новыми требованиями Минфина США, утверждёнными в июне нынешнего года, запрещается без получения лицензии Минторга США предоставление лицам в РФ услуг в сфере IT-консультирования и проектирования, услуг IT-поддержки, облачных служб и предоставление ПО для управления предприятием, а также проектирования и производства.

На фоне сформировавшейся геополитической обстановки Microsoft начала ограничивать доступ к облачным продуктам на территории России с 20 марта 2024 года. Теперь перечень подпавших под ограничение продуктов и сервисов расширился. В него вошли: Azure Data Explorer, Azure Databricks, Azure Managed Grafana, Azure Operator Insights, Azure Quantum, Azure Synapse Analytics, а также Microsoft Fabric и Power BI Embedded.

 Источник изображения: pixabay.com

Источник изображения: pixabay.com

«С сегодняшнего дня, по информации от Microsoft, будет происходить плановое отключение облачных подписок, попавших под ограничения, для компаний, зарегистрированных на территории России», — говорится в сообщении Softline.

В сообщении Softline отмечается, что Microsoft запрещает дальнейшее использование перечисленных решений на территории РФ. Заказчики не смогут вносить изменения или обновления в указанном перечне ресурсов, а их применение «может повлечь терминацию тенанта». Для сохранности данных и поддержания бизнес-операций рекомендуется осуществить резервное копирование информации и перейти на отечественные продукты. Ранее Softline совместно с партнёрами предложила ряд российских облачных сервисов, которые могут стать альтернативой зарубежным платформам, ушедшим из РФ.

Постоянный URL: http://servernews.ru/1110368
02.09.2024 [18:37], Андрей Крупин

Softline получила контроль над российским производителем лазеров НТО «ИРЭ-Полюс»

Группа компаний Softline объявила о приобретении контролирующей доли в научно-техническом объединении «ИРЭ-Полюс» у международной группы IPG Photonics, базирующейся в США. Сумма сделки составила 4,5 млрд руб.

НТО «ИРЭ-Полюс» основано в 1991 году, является крупнейшим разработчиком волоконных лазеров в России (около 90 % от всех производимых лазеров в стране) и занимает 70 % российского рынка в сегментах промышленных лазеров, лазерных систем и усилителей. Компания обладает большим научно-исследовательским потенциалом и собственными производственными мощностями в РФ. Общая численность сотрудников предприятия составляет 1,1 тыс. человек, из них порядка 25 % составляют инженеры-разработчики и специалисты по поддержке IT-инфраструктуры.

Компания выпускает лазеры, сопутствующие компоненты, аксессуары и готовые решения. Это, в частности, ручные системы лазерной очистки и сварки, оптические головки, автоматизированные системы лазерной обработки, медицинские аппараты для диагностики и хирургии, а также DCI- и DWDM-платформы «Горизонт».

 Источник изображения: НТО «ИРЭ-Полюс»

Источник изображения: НТО «ИРЭ-Полюс»

В результате сделки Softline намерена расширить своё присутствие в промышленном секторе, телекоммуникационной и медицинской отраслях. В свою очередь НТО «ИРЭ-Полюс» планирует наращивать международное направление, открывая новые зарубежные рынки через партнёров Softline.

«ИРЭ-Полюс» является крупным игроком на международных рынках, нацеленным на развитие продаж в дружественных странах, говорится в пресс-релизе. Доля международных продаж НТО «ИРЭ-Полюс» в направлении медицинских лазеров составляет примерно 30 %, индустриального оборудования — 15 %. Наибольший объем экспорта приходится на страны Юго-Восточной Азии и Азиатско-Тихоокеанского региона, в частности — Индию и Китай.

Постоянный URL: http://servernews.ru/1110351
02.09.2024 [15:24], Андрей Крупин

В России теперь нельзя устанавливать новые зарубежные программно-аппаратные комплексы на объектах критической инфраструктуры

С 1 сентября 2024 года вступило в силу постановление правительства РФ, запрещающее субъектам критической информационной инфраструктуры (КИИ) приобретать иностранные программно-аппаратные комплексы (ПАК), которые не является доверенными. Полный переход на доверенные ПАК преимущественно отечественной разработки должен быть завершён к 1 января 2030 года.

Под доверенными ПАК подразумеваются устройства, сведения о которых внесены в реестр российской радиоэлектронной продукции, а программное обеспечение, используемое в составе ПАК, включено в реестры российского или евразийского ПО. Кроме того, если комплекс предназначен для использования в области информационной безопасности, то он обязан иметь сертификат ФСТЭК или ФСБ России.

По данным аналитического центра «Интерфакс-ProЗакупки», разработкой, производством, техподдержкой и сервисным обслуживанием доверенных ПАК будет заниматься АО «НПО КИС» — «Критические информационные системы» (дочерняя структура госкорпорации «Росатом»).

 Источник изображения: freepik.com

Источник изображения: freepik.com

Таким образом, программно-аппаратные решения иностранного производства будут постепенно заменяться на оборудование и софт, которые находятся в соответствующих реестрах российской радиоэлектронной продукции и отечественного ПО. Операторы КИИ смогут использовать зарубежные ПАК лишь в двух случаях: если комплексы были приобретены до 1 сентября 2024 года и если они не имеют отечественных аналогов, что подтверждается заключением Минпромторга.

Список объектов КИИ страны включает телекоммуникационные и IT-системы, а также АСУ ТП, которые используются в государственных органах, здравоохранении, на транспорте и в связи, кредитно-финансовой сфере, топливно-энергетическом комплексе и различных отраслях промышленности: атомной, оборонной, ракетно-космической, химической и других. Ответственными за импортозамещение в сфере КИИ назначены Минздрав, Минобрнауки, Минтранс, Минцифры, Минэнерго, Минпромторг, Минфин, Росреестр, «Росатом», «Роскосмос» и Центробанк.

Постоянный URL: http://servernews.ru/1110341
02.09.2024 [11:02], Сергей Карасёв

Blue Owl, Chirisa и PowerHouse сформировали СП с активами на $5 млрд по созданию ЦОД для CoreWeave

Фонды под управлением Blue Owl Capital, Chirisa Technology Parks (CTP) и PowerHouse Data Centers объявили о заключении соглашения по формированию совместного предприятия, которое займётся созданием крупномасштабных ЦОД для компании CoreWeave. На эти цели будет выделено до $5 млрд.

Стартап CoreWeave основан в 2017 году. Изначально компания занималась майнингом криптовалют, а затем переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. В настоящее время CoreWeave предоставляет специализированные облачные ИИ-решения. Компания активно развивает инфраструктуру дата-центров для ИИ.

Соглашение между Blue Owl, Chirisa и PowerHouse предусматривает быстрое развёртывание в рамках совместного предприятия дата-центров «под ключ» для нагрузок ИИ и НРС. Помимо CoreWeave, использовать такие ЦОД смогут другие гиперскейлеры и корпоративные заказчики.

 Источник изображения: CoreWeave

Источник изображения: CoreWeave

На первом этапе в 2025–2026 гг. в CoreWeave получит 120 МВт в кампусе CTP общей площадью около 14,2 га недалеко от Ричмонда (Вирджиния, США). В дальнейшем планируются строительство новых и модернизация уже существующих площадок в Нью-Джерси, Пенсильвании, Техасе, Кентукки и Неваде.

CTP, принадлежащая Chirisa Investments, была основана в конце 2022 года. Первый ЦОД компании мощностью 28 МВт в кампусе в Ричмонде, известный как CTP-01, недавно был сдан в аренду CoreWeave. Кроме того, CTP владеет площадками в Вирджинии, Иллинойсе, Вашингтоне и Нью-Джерси: на сегодняшний день доступны 46 450 м2 ЦОД-площадей, а на этапе разработки находятся мощности более 400 МВт.

В свою очередь, фирма PowerHouse, полностью принадлежащая American Real Estate Partners, в настоящее время реализует 30 проектов дата-центров, находящихся в стадии планирования или строительства. Суммарная мощность этих объектов превысит 2,3 ГВт; они расположатся в Вирджинии, Техасе, Неваде и Северной Каролине. Blue Own — управляющая компания с активами на сумму $192 млрд.

Постоянный URL: http://servernews.ru/1110317
01.09.2024 [20:15], Сергей Карасёв

Для облаков и ИИ: QCT представила серверы на процессорах Intel Xeon 6

Компания Quanta Cloud Technology (QCT) анонсировала серверы на процессорах Intel Xeon 6, ориентированные на поставщиков облачных услуг, телекоммуникационных провайдеров и операторов ЦОД. Дебютировали решения серий QuantaGrid и QuantaPlex для различных рабочих нагрузок, включая задачи ИИ и НРС.

Отмечается, что серверы QCT построены с применением модульных компонентов, для монтажа которых не требуются инструменты. Доступны варианты с воздушным и жидкостным охлаждением, различной компоновкой подсистемы хранения данных, поддержкой ускорителей одинарной и двойной ширины. Реализована возможность горячей замены отдельных узлов, таких как блоки питания и вентиляторы.

Представлены модели QuantaGrid D55X-1U и QuantaGrid D55Q-2U типоразмера 1U и 2U соответственно. Они допускают установку двух чипов Xeon 6700E (Sierra Forest) с TDP до 350 Вт. Возможна установка 32 модулей DDR5-6400 RDIMM или 16 модулей MRDIMM (до 8000 МГц). У 1U-версии конфигурация подсистемы хранения в зависимости от исполнения включает: 12 × SFF NVMe/SATA/SAS SSD, 16 × E1.S NVMe SSD, 20 × E3.S 1T NVMe или 4 × E3.S 1T NVMe + 8 × E3.S 2T CXL. Карты расширения могут монтироваться по схеме 2 × PCIe 5.0 x16 FHHL, 2 × PCIe 5.0 x16 OCP 3.0 SFF и 1 × DC-SCM или 3 × PCIe 5.0 x16 HHHL, 2 × PCIe 5.0 x16 OCP 3.0 SFF и 1 × DC-SCM.

 Источник изображений: QCT

Источник изображений: QCT

Для сервера формата 2U предусмотрены варианты с поддержкой следующих накопителей: 12 × LFF SATA/SAS HDD или 12 × SFF NVMe, 24 × SFF NVMe/SATA/SAS или 12 × E3.S 1T NVMe + 12 × E3.S 2T CXL. Допускаются различные варианты монтажа карт PCIe 5.0 x8 FHHL, PCIe 5.0 x16 FHFL и PCIe 5.0 x8 HHHL. Серверы комплектуются двумя блоками питания с сертификатом 80 Plus Titanium (до 2700 и 3200 Вт соответственно).

Кроме того, анонсированы модели QuantaGrid S55R-1U и QuantaGrid S55J-2U формата 1U и 2U с поддержкой чипов Xeon 6700 с производительными P-ядрами (Granite Rapids). Раскрываются характеристики только 1U-сервера: один процессор с TDP до 350 Вт, 16 слотов для модулей DDR5-5200 RDIMM, 12 посадочных мест для SFF-накопителей NVMe/SATA/SAS SSD, два слота PCIe 5.0 x16 FHHL + слот OCP 3.0 NIC SFF, два коннектора M.2 2230/2280 PCIe 5.0, два блока питания 80 Plus Titanium мощностью до 2000 Вт.

Дебютировали также серверы QuantaPlex S25Z-2U и QuantaPlex S45Z-2U типоразмера 2U с двумя и четырьмя узлами. Каждый узел рассчитан на один процессор Xeon 6700 с TDP до 350 Вт, 16 модулей DDR5-6400 RDIMM, а также два SSD M.2. Двухузловая версия поддерживает до трёх карт расширения PCIe 5.0 и два SFF-накопителя NVMe/SATA SSD на узел. У четырёхузловой модификации возможна установка одной карты PCIe 5.0, а также двух накопителей E1.S NVMe SSD или трёх устройств SFF NVMe SSD на узел.

Вышел 7U-сервер QuantaGrid D74H-7U для ресурсоёмких нагрузок НРС и ИИ. Он допускает установку двух процессоров Intel Xeon Emerald Rapids или Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей памяти DDR5-5600 RDIMM суммарным объёмом до 8 Тбайт. Предусмотрены отсеки для 18 SFF-накопителей NVMe SSD. Возможна установка восьми ускорителей NVIDIA H100 (SXM5). Слоты расширения выполнены по схеме 2 × PCIe 5.0 x16 OCP 3.0 SFF и 10 × PCIe 5.0 x16 OCP 3.0 TSFF. Применены шесть блоков питания 80 Plus Titanium на 4000 Вт.

Наконец, представлен высокопроизводительный сервер QuantaGrid D75E-4U  формата 4U, который, как утверждается, обеспечивает максимальную гибкость при работе с LLM, ИИ и HPC. Он оснащён двумя процессорами Intel Xeon 6 с TDP до 350 Вт и поддерживает до восьми GPU-ускорителей PCIe следующего поколения с воздушным охлаждением и TDP до 600 Вт.

Постоянный URL: http://servernews.ru/1110296
31.08.2024 [14:12], Сергей Карасёв

Cerebras Systems запустила «самую мощную в мире» ИИ-платформу для инференса

Американский стартап Cerebras Systems, занимающийся разработкой чипов для систем машинного обучения и других ресурсоёмких задач, объявил о запуске, как утверждается, самой производительной в мире ИИ-платформы для инференса — Cerebras Inference. Ожидается, что она составит серьёзную конкуренцию решениям на основе ускорителей NVIDIA.

В основу облачной системы Cerebras Inference положены ускорители WSE-3. Эти гигантские изделия, выполненные с применением 5-нм техпроцесса TSMC, содержат 4 трлн транзисторов, 900 тыс. ядер и 44 Гбайт SRAM. Суммарная пропускная способность встроенной памяти достигает 21 Пбайт/с, а внутреннего интерконнекта — 214 Пбит/с. Для сравнения: один чип HBM3e в составе NVIDIA H200 может похвастаться пропускной способностью «только» 4,8 Тбайт/с.

 Источник изображений: Cerebras

Источник изображений: Cerebras

По заявлениям Cerebras, новая инференс-платформа обеспечивает до 20 раз более высокую производительность по сравнению с сопоставимыми по классу решениями на чипах NVIDIA в сервисах гиперскейлеров. В частности, быстродействие составляет до 1800 токенов в секунду на пользователя для ИИ-модели Llama3.1 8B и до 450 токенов в секунду для Llama3.1 70B. Для сравнения, у AWS эти значения равны соответственно 93 и 50. Речь идёт об FP16-операциях. Cerebras заявляет, что лучший результат для кластеров на основе NVIDIA H100 в случае Llama3.1 70B составляет 128 токенов в секунду.

«В отличие от альтернативных подходов, которые жертвуют точностью ради быстродействия, Cerebras предлагает самую высокую производительность, сохраняя при этом точность на уровне 16 бит для всего процесса инференса», — заявляет компания.

При этом услуги Cerebras Inference стоят в несколько раз меньше по сравнению с конкурирующими предложениями: $0,1 за 1 млн токенов для Llama 3.1 8B и $0,6 за 1 млн токенов для Llama 3.1 70B. Оплата взимается по мере использования. Cerebras планирует предоставлять инференс-услуги через API, совместимый с OpenAI. Преимущество такого подхода заключается в том, что разработчикам, которые уже создали приложения на основе GPT-4, Claude, Mistral или других облачных ИИ-моделей, не придётся полностью менять код для переноса нагрузок на платформу Cerebras Inference.

Для крупных предприятий предлагается план обслуживания Enterprise Tier, который предусматривает тонко настроенные модели, индивидуальные условия и специализированную поддержку. Стандартный пакет Developer Tier предполагает подписку по цене от $0,1 за 1 млн токенов. Кроме того, имеется бесплатный доступ начального уровня Free Tier с ограничениями. Cerebras говорит, что запуск платформы откроет качественно новые возможности для внедрения генеративного ИИ в различных сферах.

Постоянный URL: http://servernews.ru/1110276
31.08.2024 [14:01], Сергей Карасёв

Softline с партнёрами предложили альтернативы зарубежным облачным сервисам, ушедшим из РФ

ГК Softline назвала ряд отечественных облачных сервисов, которые могут стать альтернативой зарубежным платформам, прекратившим обслуживать российских пользователей в условиях сформировавшейся геополитической обстановки. Речь идёт о компаниях Amazon, Microsoft и Google.

Напомним, Amazon и Microsoft начали ограничивать доступ к своим облачным продуктам на территории России с 20 марта 2024 года. Впоследствии Microsoft начала веерные остановки подписок на облачные сервисы для российских корпоративных клиентов. А Google предупредила об отключении облачного сервиса BigQuery в РФ с 9 сентября.

 Источник изображения: softline.ru

Источник изображения: softline.ru

Softline предлагает пять альтернативных продуктов отечественных разработчиков:

  • Р7-Офис. Возможен переход на «Корпоративный сервер 2024» — профессиональные онлайн- и офлайн-инструменты для работы с документами и контентом. Доступны корпоративная и открытая программы лицензирования, бесплатный доступ для средних и дошкольных образовательных учреждений, скидки для других образовательных учреждений и крупных заказчиков.
  • «ВКУРСЕ». Это отечественный разработчик защищенной онлайн-платформы для проведения совещаний, видеоконференций, обучения, вебинаров и крупных конференций. Может стать заменой для Microsoft Teams, Zoom, Google Meet. Предоставляются скидки и экспертное обучение для пользователей заказчика.
  • «Автограф». Специальное предложение от компании ООО «Графические технологии» («ГрафТех») для клиентов Softline с целью перехода с платформы Microsoft Visio. В частности, «ГрафТех» предоставляет бесплатные лицензии на «Автограф» на период до 90 дней с последующей покупкой.
  • Yandex Cloud. В рамках специального предложения при заключение контракта через Softline Yandex Cloud предлагает грант на двукратную сумму от текущего месячного потребления в Microsoft Azure, Google Cloud и AWS (но не более 1 млн руб.). Кроме того, доступно двухмесячное тестирование Yandex Cloud на двукратную сумму от месячного потребления зарубежных услуг.
  • VK WorkSpace. Решение предназначено для совместной работы команд. Доступны быстрая миграция и три месяца бесплатного использования облачной версии сервисов VK WorkSpace при переходе с Microsoft и Google и заключении контракта через Softline.
Постоянный URL: http://servernews.ru/1110280