NVIDIA сообщила, что её платформы показали самые высокие результаты во всех тестах производительности уровня ЦОД в бенчмарке MLPerf Inference v4.1, где впервые дебютировал ускоритель семейства Blackwell.

Ускоритель NVIDIA B200 (SXM, 180 Гбайт HBM) оказался вчетверо производительнее H100 на крупнейшей рабочей нагрузке среди больших языковых моделей (LLM) MLPerf — Llama 2 70B — благодаря использованию механизма Transformer Engine второго поколения и FP4-инференсу на Tensor-ядрах. Впрочем, именно B200 заказчики могут и не дождаться.

Ускоритель NVIDIA H200, который стал доступен в облаке CoreWeave, а также в системах ASUS, Dell, HPE, QTC и Supermicro, показал лучшие результаты во всех тестах в категории ЦОД, включая последнее дополнение к бенчмарку, LLM Mixtral 8x7B с общим количеством параметров 46,7 млрд и 12,9 млрд активных параметров на токен, использующую архитектуру Mixture of Experts (MoE, набор экспертов).

Источник изображения: NVIDIA

Как отметила NVIDIA, MoE приобрела популярность как способ привнести большую универсальность в LLM, поскольку позволяет отвечать на широкий спектр вопросов и выполнять более разнообразные задачи в рамках одного развёртывания. Архитектура также более эффективна, поскольку активируются только несколько экспертов на инференс — это означает, что такие модели выдают результаты намного быстрее, чем высокоплотные (Dense) модели аналогичного размера.

Также NVIDIA отмечает, что с ростом размера моделей для снижения времени отклика при инференсе объединение нескольких ускорителей становится обязательными. По словам компании, NVLink и NVSwitch уже в поколении NVIDIA Hopper предоставляют значительные преимущества для экономичного инференса LLM в реальном времени. А платформа Blackwell ещё больше расширит возможности NVLink, позволив объединить до 72 ускорителей.

Источник изображения: NVIDIA

Заодно компания в очередной раз напомнила о важности программной экосистемы. Так, в последнем раунде MLPerf Inference все основные платформы NVIDIA продемонстрировали резкий рост производительности. Например, ускорители NVIDIA H200 показали на 27 % большую производительность инференса генеративного ИИ по сравнению с предыдущим раундом. А Triton Inference Server продемонстрировал почти такую же производительность, как и у bare-metal платформ.

Наконец, благодаря программным оптимизациям в этом раунде MLPerf платформа NVIDIA Jetson AGX Orin достигла более чем 6,2-кратного улучшения пропускной способности и 2,5-кратного улучшения задержки по сравнению с предыдущим раундом на рабочей нагрузке GPT-J LLM. По словам NVIDIA, Jetson способен локально обрабатывать любую модель-трансформер, включая LLM, модели класса Vision Transformer и, например, Stable Diffusion. А вместо разработки узкоспециализированных моделей теперь можно применять универсальную GPT-J-6B модель для обработки естественного языка на периферии.

Компания Synergy Research Group обнародовала результаты исследования мирового облачного рынка во II квартале 2024 года. Глобальные затраты на услуги облачной инфраструктуры (включая IaaS, PaaS и частные сервисы) достигли $79 млрд. Расходы за 12 месяцев (к концу июня) составили примерно $297 млрд.

Тройка лидеров в мировом масштабе остаётся неизменной: это компании Amazon (AWS), Microsoft и Google с долями 32 %, 23 % и 12 % соответственно. Далее следуют Alibaba, Oracle и Salesforce.

Отмечается, что с географической точки зрения Amazon, Microsoft и Google лидируют во всех регионах мира, кроме Китая. В КНР в тройку ведущих облачных провайдеров входят Alibaba, Tencent и China Telecom, за которыми следуют Huawei, China Unicom и China Mobile. Такая картина объясняется геополитическими факторами, из-за которых западные поставщики облачных услуг ограничены в своих возможностях на китайском рынке. В Европе, Азиатско-Тихоокеанском регионе (за исключением опять же КНР) и других частях мира в рейтинг крупнейших облачных провайдеров также входят IBM, Oracle, NTT и Fujitsu (см. таблицу).

Источник изображения: Synergy Research Group

В исследовании говорится, что США остаются крупнейшим рынком облачных услуг. Далее следует Китай, который значительно опережает другие страны, включая Японию, Великобританию, Германию и Индию. Сообща США, Китай, Азиатско-Тихоокеанский регион и Европа занимают более 90 % мирового рынка облачных сервисов.

Synergy Research Group отмечает, что вместе Amazon, Microsoft и Google оперируют глобальной сетью из более чем 560 дата-центров. Только во II квартале 2024 года эти компании вложили свыше $48 млрд в развитие ЦОД-инфраструктуры: большая часть средств пошла на строительство, оснащение и обновление объектов и связанных с ними сетей.

NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Компания Microsoft объявила о намерении провести специальную встречу Windows Security Summit, посвящённую недавнему глобальному сбою ОС Windows, связанному с багом в защитном ПО компании CrowdStrike. По данным Microsoft, на мероприятии 10 сентября будут обсуждаться меры по усилению кибербезопасности и защите критической инфраструктуры с партнёрами, включая CrowdStrike.

Microsoft намерена разработать меры, предотвращающие повторение недавних событий — по имеющимся сведениям, пострадало не менее 8,5 млн компьютеров под управлением Windows, а ущерб составил миллиарды долларов. Особенно крупные претензии имеются у авиакомпании Delta Air Lines, работа которой была почти парализована.

Помимо этой и других авиакомпаний, пострадали IT-системы медицинских организаций, железнодорожных компаний и других объектов критически важной инфраструктуры. Только ущерб компаний из рейтинга Fortune 500 составил порядка $5,4 млрд, не считая бизнесов помельче, прибегавших к отчаянным и необычным мерам для восстановления работоспособности.

Источник изображения: Majid Rangraz/unsplash.com

Microsoft даст поставщикам решений для защиты конечных точек площадку для дискуссии по вопросу предотвращения подобных инцидентов в будущем. Будет обсуждаться создание более безопасных систем защиты — причиной катастрофы с ПО CrowdStrike стало то, что во время тестирования обновлений был пропущен баг. Microsoft винит в произошедшем евробюрократов, в своё время заставивших компанию предоставить сторонним разработчикам доступ к ядру операционной системы.

По данным анонимного источника в Microsoft, участники встречи, вероятно, будут обсуждать возможность работы их приложений в первую очередь в пользовательском пространстве, имеющем меньше привилегий в сравнении с уровнем ядра. Microsoft пообещала рассказать о достигнутых решениях и договорённостях после завершения саммита.

Schwarz Group, владелец немецких сетей супермаркетов Lidl и Kaufland, по сообщению газеты Financial Times, активно развивает IT-бизнес. Речь идёт о предоставлении услуг облачных вычислений и кибербезопасности корпоративным клиентам на базе подразделения Schwarz Digits.

Развёртыванием IT-сервисов Schwarz Group занялась в 2021 году, начав с системы, предназначенной для внутреннего использования. Целью было прежде всего устранение зависимости от третьих сторон. Поскольку в Германии подходящих провайдеров не было, группа стремилась, по крайней мере, использовать европейских поставщиков услуг во избежание хранения данных в других юрисдикциях. Придя к выводу, что ни один существующий провайдер не может удовлетворить её потребности, компания решила создать собственный облачный сервис — StackIT.

В 2023 году подразделение Schwarz Digits стало самостоятельной операционной структурой. Годовая выручка достигла €1,9 млрд, а штат сотрудников составляет около 7500 человек. Клиентами Schwarz Digits являются, в частности, немецкий производитель ПО корпоративного класса SAP, футбольный клуб «Бавария» и порт Гамбурга. Основным преимуществом облачных сервисов Schwarz Digits является то, что все данные клиентов обрабатываются и хранятся исключительно в Германии и Австрии, где действуют строгие законы о конфиденциальности и защите информации.

Источник изображения: Lidl

В 2023 году Schwarz Group решила заняться технологиями ИИ, приобретя миноритарную долю в немецком стартапе Aleph Alpha. Эта компания, основанная в 2019 году, занимается разработкой больших языковых моделей (LLM). Стартап делает упор на концепцию «суверенитета данных». Свои LLM фирма предлагает корпоративным заказчикам и государственным учреждениям. В конце прошлого года Aleph Alpha провела раунд финансирования на сумму более $500 млн, а одним из инвесторов стала Schwarz Group.

По словам Акселя Опперманна (Axel Oppermann), владельца немецкой IT-консалтинговой компании Avispador, внимание Schwarz Digits к облачным вычислениям, кибербезопасности и ИИ было «хорошо продуманным», поскольку все три области представляют значительный интерес для клиентов. Фактически Schwarz Digits стала серьёзным региональным конкурентом таким гигантам, как Amazon Web Services (AWS), Google Cloud и Microsoft Azure. Однако для выхода на международный уровень, по мнению Опперманна, Schwarz Digits не хватает развитой партнёрской сети.

Создание и обучение мощных ИИ-моделей может обходиться компаниям в сотни миллионов и миллиарды долларов в год. Например, OpenAI в 2024-м намерена потратить на эти цели до $7 млрд. Основная часть затрат приходится на аппаратные ресурсы, включая дорогостоящие ускорители NVIDIA. Но, как сообщает Fortune, существует ещё одна важная статья расходов, которая зачастую упускается из виду — необходимость качественной маркировки данных. Между тем именно эта работа требует всё больших финансовых вложений.

Разметка (или маркировка) — процесс идентификации необработанных данных (изображений, текстовых файлов, видео и пр.) и добавления одной или нескольких значимых и информативных меток для обеспечения контекста. Это необходимо для того, чтобы ИИ-модель могла обучаться на таких массивах информации. Разметка данных требуется для различных сценариев использования, включая машинное зрение, обработку естественного языка и распознавание речи.

Разметка уже давно используется, например, при разработке ИИ-моделей для беспилотных автомобилей. Камера фиксирует изображения людей, уличных знаков, транспортных средств и светофоров, а комментаторы-люди помечают снимки такими тегами, как «пешеход», «грузовик» или «знак остановки». Это трудоёмкий и кропотливый процесс, который отнимает много времени и требует значительных финансовых вложений. После выпуска ChatGPT в 2022 году OpenAI подверглась широкой критике за аутсорсинг такой работы: компания наняла кенийских работников менее чем за $2/час.

Источник изображения: Max Panamá / Unsplash

Нынешние универсальные большие языковые модели (LLM) проходят обучение с подкреплением на основе отзывов (RLHF). В ходе процедуры люди предоставляют качественную обратную связь или ранжируют то, что генерирует ИИ-модель. Такой подход приводит к значительному увеличению затрат. Ещё одна причина роста расходов при маркировке данных — желание компаний включить в процесс обучения корпоративную информацию, такую как сведения о клиентах или внутренние корпоративные документы.

Кроме того, маркировка данных экспертного уровня в таких областях, как юриспруденция, финансы и здравоохранение требует привлечения высококвалифицированных специалистов, оплата труда которых стоит весьма дорого. Поэтому некоторые разработчики перекладывают задачи по разметке данных на сторонние компании, например, Scale AI, которая недавно получила финансирование в размере $1 млрд.

Алекс Ратнер (Alex Ratner), генеральный директор стартапа по маркировке данных Snorkel AI, говорит, что корпоративные клиенты могут тратить миллионы долларов на маркировку и обработку информации. Такие операции в некоторых случаях отнимают до 80% времени и бюджета на ИИ. Причём для сохранения актуальности со временем данные должны периодически дополняться и обрабатываться заново.

Таким образом, разметка, наряду с необходимостью применения дорогостоящего оборудования, становится одной из основных статей расходов при обучении ИИ-моделей. Некоторые компании снижают затраты, используя синтетические данные — то есть данные, сгенерированные самим ИИ. Последние инновации в области ИИ сделали генерацию синтетических данных эффективной и быстрой, что в ряде случаев позволяет отказаться от применения массивов реальной информации. Однако в некоторых случаях это грозит «самоповторами».

23 августа США ввели новые санкции в отношении российских IT-компаний, включая производителей электроники и разработчиков ПО, а также физических лиц. Также в санкционный список были включены компании и физлица из Азии, Европы и Ближнего Востока, чья продукция и сервисы помогают России обходить санкции, сообщается на сайте Министерства финансов США. Всего было включено порядка 400 компаний и физлиц. Из них более 190 было внесено в перечень Государственным департаментом США и около 200 — Министерством финансов США.

В санкционном перечне оказались разработчики ПО для финансового сектора — разработчики банковского софта ПАО «Диасофт» и группа компаний «Центр финансовых технологий» (ЦФТ), известная платёжной системой «Золотая Корона», а также компания «Атол», которая помимо ПО также занимается производством кассовых аппаратов. Их включение в чёрный список США объяснили намерением ограничить использование Россией международной финансовой системы.

Источник изображения: Jorge Franganillo / Pixabay

Также в санкционный перечень были включены такие российские разработчики софта, как «Галактика» (разработчик одноименной ERP-системы), «Цифра» (разработчик ПО для промышленности и IoT), «Крибрум» (разработчик платформы для сбора, хранения и анализа данных), «Базальт СПО» (разработчик Linux-платформ и системного ПО) и компании группы «Центр речевых технологий» (ЦРТ) по созданию систем в сфере биометрии, среди которых названы «ЦРТ Инновации» и «ЦРТ Софт»,

Кроме того, в перечне указаны Научно-исследовательский Институт искусственного интеллекта (AIRI), занимающийся исследованиями в области ИИ и разработавший нейронные сети, связанные с беспилотными транспортными средствами, Институт проблем искусственного интеллекта РАН (ИПИИ ФИЦ ИУ РАН) и МТС RED, «дочка» МТС, специализирующаяся на разработке решений в сфере кибербезопаности.

Как сообщает «Интерфакс», на данный момент под санкциями США, ЕС и отдельных стран находятся десятки российских ИТ-компаний, занимающихся разработкой ПО («Группа Астра», «РедСофт», «Аскон» и т.д.), решений в области информационной безопасности («Группа Позитив», «Солар», «Инфотекс» и пр.), а также производством компьютерной техники и микроэлектроники, предоставлением услуг заказной разработки ПО и услуг ЦОД.

Государственные китайские организации используют облачные сервисы Amazon, Microsoft и их конкурентов для доступа к передовым американским чипам и технологиям ИИ, пишет Reuters со ссылкой на тендерную документацию, размещённую в общедоступных китайских базах данных. О попытках китайских компаний получить доступ к ИИ-ускорителям на территории США в условиях запрета на их поставки в Китай сообщалось и ранее.

Правительство США ограничивает экспорт высокопроизводительных чипов ИИ в КНР в течение последних двух лет в связи с потенциальной возможностью их использования для укрепления военного потенциала Поднебесной. Однако предоставление доступа к таким чипам или передовым ИИ-моделям в облаках не является нарушением законодательства США, которым регулируется в данном случае только экспорт или передача товара, ПО или технологии, отметило Reuters.

Согласно 50 тендерным документам, с которыми ознакомилось агентство, по крайней мере 11 китайских организаций пытались получить доступ к подпадающим под ограничение технологиям США или облачным сервисам. В четырёх случаях Amazon Web Services (AWS) явно названа поставщиком облачных услуг, хотя компании получили доступ к облачным услугам через посредников, а не напрямую у AWS. Таким образом, не только китайские компании обходят ограничения, но и американские компании извлекают выгоду из растущего в Китае спроса на вычислительные мощности.

Источник изображения: Mark Daynes / Unsplash

«AWS соблюдает все применимые законы США, включая торговые законы, в отношении предоставления услуг AWS внутри и за пределами Китая», — заявил представитель облачного бизнеса Amazon. По данным Synergy Research Group, AWS контролирует почти треть мирового рынка облачной инфраструктуры. А согласно данным исследовательской компании IDC, AWS является в Китае шестым по величине поставщиком облачных услуг.

«Эта лазейка беспокоит меня уже годы, и нам давно пора её устранить», — заявил агентству Reuters председатель Комитета по иностранным делам Палаты представителей США Майкл Маккол (Michael McCaul), имея в виду удалённый облачный доступ иностранных субъектов к передовым вычислительным решениям США. В апреле в Конгресс США был внесён законопроект, дающий Министерству торговли полномочия регулировать удалённый доступ к технологиям США, но пока неясно, будет ли он принят и когда.

В январе Министерство торговли США также предложило изменения в законодательства с требованием к сервисам облачных вычислений проверять пользователей крупных моделей ИИ и сообщать регулирующим органам об обучения крупных моделей ИИ, способных на «злонамеренную киберактивность». Поправки также дают ведомству право налагать запрет на доступ тех или иных клиентов. Но этот документ всё ещё находится в стадии доработки.

Источник изображения: Eric Prouzet / Unsplash

Китайские организации также стремятся получить доступ к облачным сервисам Microsoft. Например, в апреле Сычуаньский университет указал в тендерной документации, что он создаёт платформу генеративного ИИ и закупает 40 млн токенов Microsoft Azure OpenAI. В мае токены поставила компания Sichuan Province Xuedong Technology Co Ltd. В связи с этим OpenAI сообщила Reuters, что её собственные сервисы не поддерживаются в Китае, а сервисы Azure OpenAI работает в соответствии с политикой Microsoft.

Наконец, Институт перспективных исследований Сучжоуского университета науки и технологий Китая (USTC) сообщил в тендерной документации в марте этого года, что хотел бы арендовать 500 облачных серверов с восемью ускорителями NVIDIA A100 в каждом. Согласно апрельским документам, тендер был выполнен компанией Hefei Advanced Computing Center Operation Management Co Ltd, но в них не был указан поставщик облачных услуг, и Reuters не удалось его идентифицировать. USTC был добавлен Минторгом США в чёрный список Entity List в мае этого года из-за получения доступа к американской технологии квантовых вычислений, которая могла бы использоваться военно-промышленным комплексом Китая и помочь в развитии ядерной программы.

Согласно тендерным документам, Amazon предоставляет китайским организациям доступ не только к передовым ИИ-чипам, но и к передовым моделям ИИ, таким как Claude от Anthropic, к которым они не могут получить доступ иным образом, пишет Reuters. Да и сама AWS в сообщениях на китайском языке подчёркивает возможность опробовать «модели ИИ мирового класса» и упоминает китайскую игровую фирму Source Technology как одного из своих клиентов, использующих Claude. После того как Reuters обратилось к Amazon за разъяснением, компания добавила в десятки постов на своих китаеязычных каналах примечание о том, что некоторые из услуг недоступны в китайских облачных регионах. Она также удалила несколько рекламных постов, включая пост об Source Technology.

Компания «1С» объявила о выпуске обновлённой платформы «1С:Предприятие 8.3z», предназначенной для автоматизации документооборота, оперативного управления предприятием, ведения бухгалтерского учёта и решения прочих задач в организациях, предъявляющих высокие требования к информационной безопасности обрабатываемых данных.

Программный комплекс «1С:Предприятие 8.3z» построен на базе платформы «1С:Предприятие 8» и оснащён встроенными средствами защиты от несанкционированного доступа к информации, не содержащей составляющих государственную тайну сведений. Продукт сертифицирован ФСТЭК России по 4 уровню доверия и может применяться в государственных информационных системах до 1 класса защищённости включительно, а также в информационных системах до 1 уровня защищённости персональных данных включительно.

Источник изображения: 1c.ru

Выпуск обновления «1С:Предприятие 8.3z» обусловлен устранением ряда уязвимостей и накопленных функциональных ошибок в составе технологической платформы «1С:Предприятие 8». В дополнение к этому в продукте реализована поддержка Astra Linux Special Edition 1.7 и СУБД PostgreSQL 11.10 из состава данной ОС. Также программный комплекс получил поддержку СУБД Postgres Pro версий 11.22.1, 12.17.1, 13.13.1, 14.10.1, 15.5.1 в редакциях 1C, Standard, Enterprise и Enterprise certified.

Защищённая платформа «1С:Предприятие 8.3z» зарегистрирована в реестре российских программ Минцифры России и рекомендуется для использования в государственных организациях, реализующих проекты в сфере импортозамещения ПО.

Microsoft изменила принцип формирования отчётности своих бизнес-подразделений, в связи с чем часть доходов от поиска и новостной рекламы теперь отражается в финансовых результатах подразделения облачных вычислений Azure. Microsoft объяснила изменения стремлением дать инвесторам более чёткое представление о вкладе ИИ в работу компании, пишет Reuters.

Вместе с тем доходы от услуг ИИ и речевых технологий, которые предлагает подразделение Nuance, теперь будут относиться к сегменту Productivity and Business Processes (офисные приложения Office и Office 365, Dynamics CRM) вместо сегмента Intelligent Cloud, включающего облачные сервисы, а также Enterprise Services, Windows Server и SQL Server.

Источник изображения: Pixabay

В компании сообщили, что изменения позволят привести структуру отчётности в соответствие с тем, как управляется её бизнес. Компания уже откорректировала показатели выручки по подразделениям за последний финансовый год и пересмотрела свой прогноз на квартал с июля по сентябрь. Microsoft — одна из немногих крупных технологических компаний, которая отдельно сообщает о вкладе ИИ в своей выручке, поскольку большинство компаний ещё не увидели большого прироста от инвестиций в ИИ.

В прошлом месяце компания сообщила, что ИИ обеспечил большее влияние на рост показателей Azure в последнем квартале, несмотря на общее замедление бизнеса. Также Microsoft ожидает ускорение роста показателей Azure во II половине 2025 финансового года. Согласно обновлённому прогнозу, в I квартале 2025 финансового года подразделение Intelligent Cloud получит выручку в пределах от $23,80 млрд до $24,10 млрд по сравнению с предыдущим прогнозам в размере $28,6–$28,9 млрд. Ожидаемый доход подразделения Productivity and Business Processes в I квартале находится в диапазоне от $27,75 до $28,05 млрд по сравнению с предыдущим прогнозом в пределах от $20,3 до $20,6 млрд.