Создание и обучение мощных ИИ-моделей может обходиться компаниям в сотни миллионов и миллиарды долларов в год. Например, OpenAI в 2024-м намерена потратить на эти цели до $7 млрд. Основная часть затрат приходится на аппаратные ресурсы, включая дорогостоящие ускорители NVIDIA. Но, как сообщает Fortune, существует ещё одна важная статья расходов, которая зачастую упускается из виду — необходимость качественной маркировки данных. Между тем именно эта работа требует всё больших финансовых вложений.

Разметка (или маркировка) — процесс идентификации необработанных данных (изображений, текстовых файлов, видео и пр.) и добавления одной или нескольких значимых и информативных меток для обеспечения контекста. Это необходимо для того, чтобы ИИ-модель могла обучаться на таких массивах информации. Разметка данных требуется для различных сценариев использования, включая машинное зрение, обработку естественного языка и распознавание речи.

Разметка уже давно используется, например, при разработке ИИ-моделей для беспилотных автомобилей. Камера фиксирует изображения людей, уличных знаков, транспортных средств и светофоров, а комментаторы-люди помечают снимки такими тегами, как «пешеход», «грузовик» или «знак остановки». Это трудоёмкий и кропотливый процесс, который отнимает много времени и требует значительных финансовых вложений. После выпуска ChatGPT в 2022 году OpenAI подверглась широкой критике за аутсорсинг такой работы: компания наняла кенийских работников менее чем за $2/час.

Источник изображения: Max Panamá / Unsplash

Нынешние универсальные большие языковые модели (LLM) проходят обучение с подкреплением на основе отзывов (RLHF). В ходе процедуры люди предоставляют качественную обратную связь или ранжируют то, что генерирует ИИ-модель. Такой подход приводит к значительному увеличению затрат. Ещё одна причина роста расходов при маркировке данных — желание компаний включить в процесс обучения корпоративную информацию, такую как сведения о клиентах или внутренние корпоративные документы.

Кроме того, маркировка данных экспертного уровня в таких областях, как юриспруденция, финансы и здравоохранение требует привлечения высококвалифицированных специалистов, оплата труда которых стоит весьма дорого. Поэтому некоторые разработчики перекладывают задачи по разметке данных на сторонние компании, например, Scale AI, которая недавно получила финансирование в размере $1 млрд.

Алекс Ратнер (Alex Ratner), генеральный директор стартапа по маркировке данных Snorkel AI, говорит, что корпоративные клиенты могут тратить миллионы долларов на маркировку и обработку информации. Такие операции в некоторых случаях отнимают до 80% времени и бюджета на ИИ. Причём для сохранения актуальности со временем данные должны периодически дополняться и обрабатываться заново.

Таким образом, разметка, наряду с необходимостью применения дорогостоящего оборудования, становится одной из основных статей расходов при обучении ИИ-моделей. Некоторые компании снижают затраты, используя синтетические данные — то есть данные, сгенерированные самим ИИ. Последние инновации в области ИИ сделали генерацию синтетических данных эффективной и быстрой, что в ряде случаев позволяет отказаться от применения массивов реальной информации. Однако в некоторых случаях это грозит «самоповторами».

23 августа США ввели новые санкции в отношении российских IT-компаний, включая производителей электроники и разработчиков ПО, а также физических лиц. Также в санкционный список были включены компании и физлица из Азии, Европы и Ближнего Востока, чья продукция и сервисы помогают России обходить санкции, сообщается на сайте Министерства финансов США. Всего было включено порядка 400 компаний и физлиц. Из них более 190 было внесено в перечень Государственным департаментом США и около 200 — Министерством финансов США.

В санкционном перечне оказались разработчики ПО для финансового сектора — разработчики банковского софта ПАО «Диасофт» и группа компаний «Центр финансовых технологий» (ЦФТ), известная платёжной системой «Золотая Корона», а также компания «Атол», которая помимо ПО также занимается производством кассовых аппаратов. Их включение в чёрный список США объяснили намерением ограничить использование Россией международной финансовой системы.

Источник изображения: Jorge Franganillo / Pixabay

Также в санкционный перечень были включены такие российские разработчики софта, как «Галактика» (разработчик одноименной ERP-системы), «Цифра» (разработчик ПО для промышленности и IoT), «Крибрум» (разработчик платформы для сбора, хранения и анализа данных), «Базальт СПО» (разработчик Linux-платформ и системного ПО) и компании группы «Центр речевых технологий» (ЦРТ) по созданию систем в сфере биометрии, среди которых названы «ЦРТ Инновации» и «ЦРТ Софт»,

Кроме того, в перечне указаны Научно-исследовательский Институт искусственного интеллекта (AIRI), занимающийся исследованиями в области ИИ и разработавший нейронные сети, связанные с беспилотными транспортными средствами, Институт проблем искусственного интеллекта РАН (ИПИИ ФИЦ ИУ РАН) и МТС RED, «дочка» МТС, специализирующаяся на разработке решений в сфере кибербезопаности.

Как сообщает «Интерфакс», на данный момент под санкциями США, ЕС и отдельных стран находятся десятки российских ИТ-компаний, занимающихся разработкой ПО («Группа Астра», «РедСофт», «Аскон» и т.д.), решений в области информационной безопасности («Группа Позитив», «Солар», «Инфотекс» и пр.), а также производством компьютерной техники и микроэлектроники, предоставлением услуг заказной разработки ПО и услуг ЦОД.

Государственные китайские организации используют облачные сервисы Amazon, Microsoft и их конкурентов для доступа к передовым американским чипам и технологиям ИИ, пишет Reuters со ссылкой на тендерную документацию, размещённую в общедоступных китайских базах данных. О попытках китайских компаний получить доступ к ИИ-ускорителям на территории США в условиях запрета на их поставки в Китай сообщалось и ранее.

Правительство США ограничивает экспорт высокопроизводительных чипов ИИ в КНР в течение последних двух лет в связи с потенциальной возможностью их использования для укрепления военного потенциала Поднебесной. Однако предоставление доступа к таким чипам или передовым ИИ-моделям в облаках не является нарушением законодательства США, которым регулируется в данном случае только экспорт или передача товара, ПО или технологии, отметило Reuters.

Согласно 50 тендерным документам, с которыми ознакомилось агентство, по крайней мере 11 китайских организаций пытались получить доступ к подпадающим под ограничение технологиям США или облачным сервисам. В четырёх случаях Amazon Web Services (AWS) явно названа поставщиком облачных услуг, хотя компании получили доступ к облачным услугам через посредников, а не напрямую у AWS. Таким образом, не только китайские компании обходят ограничения, но и американские компании извлекают выгоду из растущего в Китае спроса на вычислительные мощности.

Источник изображения: Mark Daynes / Unsplash

«AWS соблюдает все применимые законы США, включая торговые законы, в отношении предоставления услуг AWS внутри и за пределами Китая», — заявил представитель облачного бизнеса Amazon. По данным Synergy Research Group, AWS контролирует почти треть мирового рынка облачной инфраструктуры. А согласно данным исследовательской компании IDC, AWS является в Китае шестым по величине поставщиком облачных услуг.

«Эта лазейка беспокоит меня уже годы, и нам давно пора её устранить», — заявил агентству Reuters председатель Комитета по иностранным делам Палаты представителей США Майкл Маккол (Michael McCaul), имея в виду удалённый облачный доступ иностранных субъектов к передовым вычислительным решениям США. В апреле в Конгресс США был внесён законопроект, дающий Министерству торговли полномочия регулировать удалённый доступ к технологиям США, но пока неясно, будет ли он принят и когда.

В январе Министерство торговли США также предложило изменения в законодательства с требованием к сервисам облачных вычислений проверять пользователей крупных моделей ИИ и сообщать регулирующим органам об обучения крупных моделей ИИ, способных на «злонамеренную киберактивность». Поправки также дают ведомству право налагать запрет на доступ тех или иных клиентов. Но этот документ всё ещё находится в стадии доработки.

Источник изображения: Eric Prouzet / Unsplash

Китайские организации также стремятся получить доступ к облачным сервисам Microsoft. Например, в апреле Сычуаньский университет указал в тендерной документации, что он создаёт платформу генеративного ИИ и закупает 40 млн токенов Microsoft Azure OpenAI. В мае токены поставила компания Sichuan Province Xuedong Technology Co Ltd. В связи с этим OpenAI сообщила Reuters, что её собственные сервисы не поддерживаются в Китае, а сервисы Azure OpenAI работает в соответствии с политикой Microsoft.

Наконец, Институт перспективных исследований Сучжоуского университета науки и технологий Китая (USTC) сообщил в тендерной документации в марте этого года, что хотел бы арендовать 500 облачных серверов с восемью ускорителями NVIDIA A100 в каждом. Согласно апрельским документам, тендер был выполнен компанией Hefei Advanced Computing Center Operation Management Co Ltd, но в них не был указан поставщик облачных услуг, и Reuters не удалось его идентифицировать. USTC был добавлен Минторгом США в чёрный список Entity List в мае этого года из-за получения доступа к американской технологии квантовых вычислений, которая могла бы использоваться военно-промышленным комплексом Китая и помочь в развитии ядерной программы.

Согласно тендерным документам, Amazon предоставляет китайским организациям доступ не только к передовым ИИ-чипам, но и к передовым моделям ИИ, таким как Claude от Anthropic, к которым они не могут получить доступ иным образом, пишет Reuters. Да и сама AWS в сообщениях на китайском языке подчёркивает возможность опробовать «модели ИИ мирового класса» и упоминает китайскую игровую фирму Source Technology как одного из своих клиентов, использующих Claude. После того как Reuters обратилось к Amazon за разъяснением, компания добавила в десятки постов на своих китаеязычных каналах примечание о том, что некоторые из услуг недоступны в китайских облачных регионах. Она также удалила несколько рекламных постов, включая пост об Source Technology.

Компания «1С» объявила о выпуске обновлённой платформы «1С:Предприятие 8.3z», предназначенной для автоматизации документооборота, оперативного управления предприятием, ведения бухгалтерского учёта и решения прочих задач в организациях, предъявляющих высокие требования к информационной безопасности обрабатываемых данных.

Программный комплекс «1С:Предприятие 8.3z» построен на базе платформы «1С:Предприятие 8» и оснащён встроенными средствами защиты от несанкционированного доступа к информации, не содержащей составляющих государственную тайну сведений. Продукт сертифицирован ФСТЭК России по 4 уровню доверия и может применяться в государственных информационных системах до 1 класса защищённости включительно, а также в информационных системах до 1 уровня защищённости персональных данных включительно.

Источник изображения: 1c.ru

Выпуск обновления «1С:Предприятие 8.3z» обусловлен устранением ряда уязвимостей и накопленных функциональных ошибок в составе технологической платформы «1С:Предприятие 8». В дополнение к этому в продукте реализована поддержка Astra Linux Special Edition 1.7 и СУБД PostgreSQL 11.10 из состава данной ОС. Также программный комплекс получил поддержку СУБД Postgres Pro версий 11.22.1, 12.17.1, 13.13.1, 14.10.1, 15.5.1 в редакциях 1C, Standard, Enterprise и Enterprise certified.

Защищённая платформа «1С:Предприятие 8.3z» зарегистрирована в реестре российских программ Минцифры России и рекомендуется для использования в государственных организациях, реализующих проекты в сфере импортозамещения ПО.

Microsoft изменила принцип формирования отчётности своих бизнес-подразделений, в связи с чем часть доходов от поиска и новостной рекламы теперь отражается в финансовых результатах подразделения облачных вычислений Azure. Microsoft объяснила изменения стремлением дать инвесторам более чёткое представление о вкладе ИИ в работу компании, пишет Reuters.

Вместе с тем доходы от услуг ИИ и речевых технологий, которые предлагает подразделение Nuance, теперь будут относиться к сегменту Productivity and Business Processes (офисные приложения Office и Office 365, Dynamics CRM) вместо сегмента Intelligent Cloud, включающего облачные сервисы, а также Enterprise Services, Windows Server и SQL Server.

Источник изображения: Pixabay

В компании сообщили, что изменения позволят привести структуру отчётности в соответствие с тем, как управляется её бизнес. Компания уже откорректировала показатели выручки по подразделениям за последний финансовый год и пересмотрела свой прогноз на квартал с июля по сентябрь. Microsoft — одна из немногих крупных технологических компаний, которая отдельно сообщает о вкладе ИИ в своей выручке, поскольку большинство компаний ещё не увидели большого прироста от инвестиций в ИИ.

В прошлом месяце компания сообщила, что ИИ обеспечил большее влияние на рост показателей Azure в последнем квартале, несмотря на общее замедление бизнеса. Также Microsoft ожидает ускорение роста показателей Azure во II половине 2025 финансового года. Согласно обновлённому прогнозу, в I квартале 2025 финансового года подразделение Intelligent Cloud получит выручку в пределах от $23,80 млрд до $24,10 млрд по сравнению с предыдущим прогнозам в размере $28,6–$28,9 млрд. Ожидаемый доход подразделения Productivity and Business Processes в I квартале находится в диапазоне от $27,75 до $28,05 млрд по сравнению с предыдущим прогнозом в пределах от $20,3 до $20,6 млрд.

Согласно данным нового аудита, общая стоимость внедрения городским советом британского Бирмингема ERP-системы Oracle с сопутствующим ПО достигнет к апрелю 2026 года £216,5 млн ($280,4 млн). По сведениям The Register, крупнейший в Европе муниципалитет в своё время выбрал единую платформу для управления финансами, HR, закупок, управления цепочками поставок и т.п. для замены системы SAP, введённой в эксплуатацию в 1997 году и проработавшей до апреля 2022-го.

С внедрением новой ERP городской совет столкнулся с многочисленными трудностями. Первичное внедрение довести до ума так и не удалось, поэтому было принято решение заново модифицировать «коробочную» версию продукта. Стоимость проекта Oracle выросла с первоначальных £19 млн до £131 млн, включая повторное внедрение ПО того же вендора. Ранее власти уже задумывались, не стоит ли вовсе избавиться от ERP Oracle.

Источник изображения: Lulu Black/unsplash.com

Однако последний доклад агентства Audit Reform Lab на базе Университета Шеффилда говорит, что общая стоимость проекта фактически составит £216,5 млн, поскольку городской совет рассчитывал по итогам внедрения ERP сэкономить £69 млн в 2023–2024 гг. В докладе упоминается, что за время сотрудничества с Oracle утеряны и многие знания и приёмы обработки финансовых и иных документов — простых решений проблемы не существует и совет ежемесячно тратит всё больше средств на поддержание работоспособности, в том числе оплачивая обработку документов вручную.

О проблемах с внедрением больше года (04.2022–05.2023) ничего не сообщалось членам совета и широкой общественности, что сделало город фактическим банкротом. В документе содержится призыв к публичному расследованию финансовых проблем после того, как появились новости об иске к правительству города на £760 млн, связанном с неравной оплатой труда. При этом отсутствие доступа к полноценной финансовой отчётности и невозможность выявить случаи мошенничества на протяжении полутора лет только усугубляют ситуацию. В докладе допускают, что иск обнародован преждевременно, а сумма требований, вероятно, преувеличена, но в то же время роль ERP Oracle в этом деле, наоборот, занижена.

Подчёркивается, что дальнейшие расследования должны выяснить, почему сбои в работе системы Oracle преуменьшались городскими топ-менеджерами и имеет ли место простое упорство и некомпетентность или, возможно, есть какие-то другие причины. В ответ глава Бирмингемского городского совета Джон Коттон (John Cotton) заявил, что власти должны взять на себя ответственность за лавину ошибок, но отметил, что эти ошибки «не делались в вакууме» — в стране долговременный кризис органов местного самоуправления, вину за который он возложил на предыдущее правительстве консерваторов.

Компания Grafana Labs, специализирующаяся на решениях для мониторинга IT-инфраструктуры, сообщила о проведении очередного раунда финансирования: на развитие привлечено $270 млн в рамках расширенной программы Series D. При этом стартап получил оценку на уровне $6 млрд.

Grafana Labs, базирующаяся в Нью-Йорке, является создателем Grafana Cloud — популярной платформы с открытым исходным кодом для IT-мониторинга. Система собирает телеметрию и данные из многочисленных источников в составе инфраструктуры клиента, анализирует информацию и отображает её в виде диаграмм, графиков и таблиц.

Источник изображения: Grafana Labs

Платформа помогает отслеживать закономерности и тенденции, а также выявлять возможные технические проблемы ещё до того, как они приведут к серьёзным последствиям. При обнаружении потенциального сбоя генерируется предупреждение, которое отправляется профильному специалисту. Grafana Labs постоянно расширяет возможности своей системы. В частности, появилась функция Adaptive Metrics, которая помогает снижать затраты на облачную инфраструктуру путём анализа потребления ресурсов на основе ИИ-алгоритмов.

Сообщается, что новый раунд финансирования осуществлён под предводительством Lightspeed Venture Partners с участием всех существующих инвесторов, включая GIC, Sequoia Capital, Coatue, Lead Edge Capital, J.P. Morgan и K5 Global. Кроме того, в программе принял участие CapitalG — частный инвестиционный фонд Alphabet. Средства пойдут на ускорение разработки продуктов, а также возможные слияния и поглощения, направленные на укрепление рыночного положения.

Grafana Labs также отмечает, что база платящих клиентов компании расширяется: за последний год она превысила 5000 заказчиков. В их число входят Citigroup, Salesforce, Dell Technologies, ASOS и Microsoft.

Облачная платформа Yandex Cloud запустила сервис для хранения, обработки и трансляции видео Cloud Video.

Cloud Video разработан на базе видеоплатформы «Яндекса», которую компания развернула в 2016 году для использования во внутренних продуктах. В основу сервиса положены платформа для хранения и обработки больших объёмов данных YTsaurus, СУБД Yandex Managed Service for ClickHouse и собственное масштабируемое S3-хранилище. Cloud Video способен выдерживать высокие нагрузки с минимальной задержкой за счёт собственного CDN, который обеспечивает быструю доставку контента пользователям. Предусмотрена возможность интеграции с другими сервисами Yandex Cloud.

Как устроен сервис Yandex Cloud Video (источник изображения: yandex.cloud/services/video)

Yandex Cloud Video поддерживает все популярные форматы видеофайлов. В сервисе доступны плеер собственной разработки и транскодинг — корректировка качества видео в зависимости от скорости интернета пользователя. Кроме этого, в Cloud Video пользователь по запросу может подключать функцию перевода в режиме реального времени и добавлять автоматически генерируемые субтитры.

В Cloud Video компания может самостоятельно управлять доступом к контенту. Например, предоставлять видео только для корпоративного использования внутри организации. Также можно анализировать статистику просмотров пользователей и визуализировать данные с помощью Yandex DataLens. Сервис уже доступен бесплатно в режиме технического тестирования и предоставляется ограниченному числу пользователей по запросу.

Проект FreeBSD опубликовал отчёт за II квартал 2024 года, в котором описана проделанная работа ведущими разработчиками BSD. По данным Phoronix, среди выполненных за последний квартал задач FreeBSD Foundation выделяются проекты по улучшению аудиостека, улучшению OpenZFS, переносу VPP (Vector Packet Processing) на FreeBSD и улучшению поддержки беспроводных сетей.

Также стало известно, что AMD и FreeBSD Foundation сотрудничают в разработке полноценного драйвера AMD IOMMU. Цель проекта — улучшить поддержку серверов на базе AMD EPYC во FreeBSD, в том числе с более чем 256 ядрами, сделать интеграцию с системой виртуализации Bhyve и другие усовершенствования.

«Продолжалась работа над совместным проектом Advanced Micro Devices (AMD) и FreeBSD Foundation по разработке драйвера AMD IOMMU. Этот драйвер позволит FreeBSD полностью поддерживать более 256 ядер с такими функциями, как отображение [mapping] CPU, а также будет включать интеграцию Bhyve. Константин Белоусов работал над различными частями проекта, включая подключение драйвера, определение регистров, парсер таблиц ACPI и реализацию служебных функций. Два ключевых компонента, которые необходимо доделать, — это обработка контекста, которая в основном является обобщением кода Intel DMAR, и создание таблиц страниц. После этого можно будет активировать драйвер AMD для тестирования. Чтобы следить за работой Константина, ищите коммиты в репозитории с тегом «Sponsored by fields for Advanced Micro Devices (AMD) and The FreeBSD Foundation»», — говорится в отчёте.

Источник изображения: FreeBSD

Появление поддержки со стороны AMD для сообщества FreeBSD является значимым событием, поскольку ранее только Intel славилась активным вкладом в развитие проекта и предоставлением инженерных ресурсов на протяжении многих лет. В этом свете интересно, является ли поддержка AMD жестом доброй воли или же у компании есть клиенты, которым необходимы совместимость и оптимизации для FreeBSD. Среди крупных игроков, в инфраструктуре которых активно используется FreeBSD, есть, например, Netflix. В последние годы Arm также начала активно участвовать в развитии ОС.

Кроме того, FreeBSD продолжает активную работу по поддержке архитектуры RISC-V. Так, уже существует экспериментальная поддержка Bhyve. Кроме того, одной из новых разработок для ядра FreeBSD стало создание Zcond — легковесного механизма условного выполнения, аналогичного интерфейсу static_key в Linux.

Российский разработчик систем кибербезопасности R-Vision объявил о выпуске новой версии программного комплекса R‑Vision Vulnerability Management (VM) 5.4.

R-Vision VM относится к классу решений для автоматизации процессов управления уязвимостями корпоративной IT-инфраструктуры. Продукт помогает выявлять уязвимости информационной безопасности и агрегировать их в единой базе, а также приоритизировать обнаруженные уязвимости и осуществлять контроль за процессом их устранения.

R‑Vision Vulnerability Management

В R‑Vision VM 5.4 появились средства оценки эффективности парольной защиты различных компонентов IT-инфраструктуры с помощью метода Bruteforce, функции сканирования стороннего ПО и мониторинга уязвимостей, которые активно эксплуатируются киберпреступниками в настоящий момент, а также режим «Пентест», имитирующий действия внешнего злоумышленника и используемый для проверки надёжности открытых сервисов и сетевых служб.

Дополнительно разработчики R‑Vision VM внедрили новые источники для собственной базы уязвимостей, которую постоянно актуализирует команда центра экспертизы. Одно из главных нововведений — интеграция с банком данных угроз ФСТЭК России. Благодаря ей можно получить более подробную информацию о каждой уязвимости, включая рекомендации по устранению и источники обновлений. Кроме того, в новом релизе продукта предоставлена дополнительная информация от регулятора о проверке обновлений безопасности на наличие недекларированных возможностей.