Американская телекоммуникационная компания Lumen Technologies, предоставляющая широкий спектр услуг связи, по сообщению Datacenter Dynamics, планирует прекратить развитие бизнеса в области сетей доставки контента (CDN). Соответствующие клиентские контракты проданы провайдеру Akamai Technologies. CDN-платформа включает 95 точек присутствия в 40 странах, а общая ёмкость каналов составляет 170 Тбит/с.

Lumen заявляет, что находится в процессе трансформации, который направлен на упрощение бизнес-структуры, а также на развитие облачного направления и расширение предложения Quantum Fiber. Финансовые условия сделки с Akamai не раскрываются, но говорится, что переходный период продлится 90 дней. После этого Lumen прекратит предоставление CDN-услуг. Соглашение не предусматривает передачу каких-либо технологических решений или перевод персонала.

Источник изображения: Lumen

Сама Akamai заявляет, что приобретение клиентов Lumen позволит увеличить выручку на $40–$50 млн по итогам 2024 года. Это вторая подобная сделка, заключенная Akamai за последние месяцы. В августе 2023-го Akamai приобрела около 100 клиентов CDN у Stackpath: эта компания объявила, что с ноября остановит работу своих служб StackPath CDN и Highwinds CDN. По оценкам Akamai, данная сделка принесёт дополнительно $20 млн к 2024 году.

Компания OpenAI, создавшая чат-бот на базе искусственного интеллекта ChatGPT, изучает возможность выпуска собственных ИИ-чипов, сообщает Reuters. По словам источников агентства, изучение этого вопроса продвинулось настолько далеко, что OpenAI даже провела оценку возможности покупки одного из производителей чипов, имя которого выяснить не удалось. На фоне бума ИИ на рынке наблюдается нехватка специализированных ускорителей, в первую очередь NVIDIA.

Как утверждают источники, в прошлом году OpenAI рассматривала ряд вариантов решения этой проблемы, включая разработку собственного ИИ-чипа, более тесное сотрудничество с другими производителями ИИ-чипов, в том числе, NVIDIA, а также расширение круга поставщиков ускорителей. Впрочем, даже если OpenAI приобретёт производителя чипов, на создание ИИ-ускорителя уйдёт несколько лет, в течение которых она всё равно будет зависеть от сторонних поставщиков, таких как NVIDIA и AMD.

Фото: Laura Ockel / Unsplash

Гендиректор Open AI Сэм Альтман (Sam Altman), назвавший приобретение большего количества ИИ-чипов главным приоритетом, публично жаловался на нехватку ускорителей вычислений на рынке, порядка 80 % которого контролирует NVIDIA. Помимо нехватки чипов Альтман назвал ещё одну проблему, имеющуюся у компании — высокие затраты на эксплуатацию аппаратного обеспечения, необходимого для реализации проектов и продуктов компании. Microsoft, которой принадлежит 49 % OpenAI, повторяет те же тезисы и ищет более экономичные альтернативы GPT-4.

С 2020 года OpenAI использует для разработки ИИ-решений мощный суперкомпьютер, построенный Microsoft на базе 10 тыс. ускорителей NVIDIA. Работа ChatGPT обходится компании в немалую сумму. Согласно данным аналитика Bernstein Стейси Расгон (Stacy Rasgon), затраты на выполнение каждого запроса составляют примерно $0,04. Даже при росте количества запросов до десятых долей от объёма поисковых запросов Google, для запуска чат-бота потребуется потратить $48 млрд на первичную закупку ИИ-чипов, а для дальнейшего поддержания работы придётся тратить на ускорители ещё по $16 млрд ежегодно.

Фото: Maxence Pira / Unsplash

В случае выпуска собственных чипов OpenAI пополнит небольшую группу крупных IT-игроков вроде Google и Amazon, которые стремятся взять под свой контроль разработку «кремния», лежащего в основе их бизнеса. OpenAI пока не решила, готова ли она тратить сотни миллионов долларов в год на создание чипа без каких либо гарантий на успех. Например, Meta✴ при разработке ASIC столкнулась с проблемами, из-за которых пришлось отказаться от дальнейшей работы над некоторыми ИИ-чипами, а выход первого ИИ-ускорителя MTIA задержался на два года. Из-за этого, в частности, Meta✴ была вынуждена приостановить строительство ряда своих дата-центров, чтобы адаптировать их для размещения ускорителей NVIDIA.

По данным The Information, Microsoft тоже разрабатывает собственный ИИ-чип, а OpenAI тестирует его. Впервые об ИИ-ускорителях Athena, которые компания якобы разрабатывала с 2019 года, стало известно в апреле этого года. Они должны помочь Microsoft снизить зависимость от продукции NVIDIA, дефицит которых компания признала угрозой бизнесу. Ранее Microsoft, по слухам, подписала соглашения с CoreWeave и Lambda Labs, а также обсуждала с Oracle совместное использования ускорителей NVIDIA. Причина кроется в политике NVIDIA, которая, как считается, гораздо охотнее продаёт «железо» малым провайдерам, которые не пытаются создавать собственные ИИ-чипы, т.е. не опасны для бизнеса «зелёных».

Хотя Microsoft принадлежит 49 % OpenAI, занимающейся разработкой популярных и производительных языковых моделей вроде GPT-4, интересы компаний не всегда совпадают. Как сообщает Silicon Angle, Bing Chat Enterprise первой и ChatGPT Enterprise второй, по сути, конкурируют за одну и ту же целевую аудиторию. Кроме того, Microsoft, стремящаяся внедрить ИИ почти во все свои программные продукты, готовит новые, более простые и менее ресурсоёмкие модели, чем GPT-4.

По данным источников в OpenAI, в Microsoft обеспокоены высокой стоимостью эксплуатации передовых ИИ-моделей. Microsoft пытается встроить ИИ во многие продукты, включая Copilot для Windows на базе GPT-4. С учётом того, что пользователей Windows в мире больше 1 млрд, в компании опасаются, что повсеместное распространение ИИ-инструментов приведёт к неконтролируемому росту расходов. По некоторым данным, компания уже поручила части из своих 1,5 тыс. сотрудников ИИ-департамента заняться более экономичными альтернативами — пусть даже они будут не столь «сообразительными».

Источник изображения: Microsoft

Хотя реализация соответствующих проектов всё ещё находится на ранних стадиях, уже появилась информация, что компания начала внутренние тесты моделей собственной разработки. В частности, «творческий» и «точный» режимы Bing Chat опираются на GPT-4, тогда как «сбалансированный» использует новые модели Prometheus и Turing. Последняя может отвечать только на простые вопросы, а более каверзные она всё равно вынуждена передавать на обработку творению OpenAI.

Для программистов у Microsoft есть модель Phi-1 с 1,3 млрд параметров, которая может эффективно генерировать код, но в остальном отстаёт от GPT-4. Ещё одной альтернативой стала разработанная Microsoft модель Orca на основе Meta✴ Llama-2, принадлежащей Meta✴. По некоторым данным, Orca близка по возможностям к моделям OpenAI, но компактнее и требует значительно меньше ресурсов.

Считается, что подразделение Microsoft использует около 2 тыс. ускорителей NVIDIA, большинство из которых сегодня и применяется для тренировки более эффективных моделей, имеющих узкую специализацию в отличие от многопрофильной GPT-4. Если раньше состязание на рынке шло за создание ИИ с наибольшими возможностями, то теперь одним из важнейших факторов становится стоимость разработки и обслуживания таких инструментов.

CDN-провайдер Akamai Technologies, по сообщению ресурса Datacenter Dynamics, объявил о планах по открытию семи дополнительных облачных регионов — в Нидерландах, Индонезии, США, Италии, Японии и Бразилии. Предоставление услуг планируется организовать до конца октября.

Минувшим летом компания Akamai запустила облачные ЦОД Connected Cloud в Париже, Вашингтоне (округ Колумбия) и Чикаго. Тогда же были раскрыты планы по созданию объектов в Сиэтле и Ченнаи (Индия). Готовящиеся регионы расположатся в Амстердаме, Джакарте, Лос-Анджелесе (Калифорния), Майами (Флорида), Милане, Осаке и Сан-Паулу. Это третий этап развертывания ключевых облачных зон с момента приобретения компанией Akamai провайдера Linode в прошлом году.

Источник изображения: Akamai

Всего за три месяца Akamai открыла 13 новых облачных регионов. Сейчас у компании есть зоны в Атланте, Далласе, Фремонте, Ньюарке, Торонто, Франкфурте, Лондоне, Мумбаи, Сингапуре, Сиднее и Токио, а также перечисленные выше объекты. В дальнейшие планы входит развёртывание зон в Сеуле (Южная Корея), Мадриде (Испания) и Окленде (Новая Зеландия).

Компания также намерена создать десятки та называемых «распределённых регионов». Они предназначены для предоставления «базовых вычислительных ресурсов в труднодоступных местах, которые недостаточно обслуживаются традиционными облачными провайдерами».

Корпорация Intel, по сообщению сайта Datacenter Dynamics, намерена создать один из самых мощных в мире суперкомпьютеров для работы с генеративным ИИ. Ресурсы платформы будет использовать компания Stability AI, реализующая проекты в соответствующей сфере. В основу НРС-платформы лягут процессоры Xeon. Кроме того, говорится об использовании приблизительно 4000 ускорителей Gaudi2.

Проект Intel и Stability AI поможет компаниям укрепить позиции на рынке генеративного ИИ. О сроках запуска системы в эксплуатацию и её предполагаемой производительности ничего не сообщается. Ранее Intel обнародовала результаты тестирования Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. По оценкам, Gaudi2 может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

Источник изображения: pixabay.com

Тем не менее, H100 по-прежнему превосходит конкурентов в плане обработки ИИ-задач. Ранее NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B. При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x.

Многие знают, что ИИ-модели в процессе работы потребляют огромное количество энергии, но не всем известно, что им нужно ещё и очень много чистой воды. Как сообщает Silicon Angle, выяснилось, что ЦОД стоящих за работой ИИ-систем компаний тратят очень много воды, а у техногигантов вроде Google и Microsoft водопотребление только растёт.

Как следует из доклада Associated Press, использование ЦОД Microsoft воды выросло с 2021 по 2022 гг. на 34 %, в прошлом году компания потратила 6,4 млрд литров. В тот же период водопотребление Google выросло на 20 %. По данным экспертов, занимавшихся исследованием воздействия генеративных ИИ-систем на окружающую среду, в большей части рост потребления вызван увеличением связанных с ИИ нагрузок.

По некоторым оценкам, модель GPT-3 компании OpenAI, стоящая за чат-ботом ChatGPT, ответственна за трату более 320 тыс. л во время тренировки, а ChatGPT и вовсе «выпивает» 0,5 л воды каждую чат-сессию, состоящую из 25-50 запросов. Учитывается и непрямое использование воды, включающее затраты электростанций, питающих ЦОД.

Источник изображения: MartinStr/pixabay.com

Для Google статистика оказалась крайне неоднородной и разнится от ЦОД к ЦОД — многое зависит от местоположения, сезона, технологии охлаждения и уровня потребления воды электростанциями. Впрочем, многие специалисты отрасли уверены, что рост потребления воды имеет важное значение, но большие опасения вызывает рост энергопотребления.

Дело в том, что значительная часть используемой воды перерабатывается и применяется снова, тогда как об энергии нельзя сказать того же. Кроме того, Microsoft, Google и другие операторы ЦОД сами заинтересованы в сокращении потребления воды, поэтому будут принимать все необходимые меры для этого.

Ранее Microsoft сообщала, что намерена стать «водно-положительной», «углеродно-отрицательной» и безотходной уже к 2030 году, а к 2024 году снизить потребление ЦОД воды на 95 % (в сравнении с 2021 годом). Впрочем, до сих пор нет точных определений некоторым терминам, например, никто детально не говорил, о какой «водно-положительности» идёт речь. Можно только предполагать, что компания намерена отдавать в природу больше воды, чем потребляет.

Источник: Microsoft

Примером может служить Pepsi, которая, пропустив воду сквозь снековое оборудование в районе Мехико, очищает её до уровня питьевой и отправляет на другой завод — для мытья картофеля для чипсов. Таким образом, воды действительно поступает «в оборот» больше, чем изначально забирается из природных источников.

В OpenAI, крупнейшим инвестором которой является Microsoft, подчеркнули, что осознают высокие уровни потребления ИИ энергии и воды и активно работают над повышением эффективности в этой сфере. Решением может стать создание для ИИ более эффективных алгоритмов и оборудования, хотя на это уйдёт некоторое время.

C3 AI, разработчик решений для корпоративного ИИ, объявил о выходе пакета C3 Generative AI Suite, включающего 28 новых предложений в области генеративного ИИ, ориентированных на конкретные потребности различных отраслей, бизнес-процессов и корпоративных систем. Согласно заявлению C3 AI, вышедшие в марте 2023 года первоначальные модели C3 Generative AI уже используются целым рядом крупных компаний и организаций, включая Агентство по противоракетной обороне США.

C3 Generative AI Suite построен на платформе C3 AI, обеспечивающей единое рабочее пространство для разработки, тестирования и развёртывания моделей ИИ. Компания отметила, что в C3 Generative AI решены проблемы безопасности и достоверности, характерные для больших языковых моделей (LLM), из-за которых не допускается их широкое коммерческое использование на предприятиях.

Предложения C3 Generative AI Suite могут быть развернуты на любой облачной платформе и поддерживают широкий спектр ИИ-моделей, включая Falcon 40B, Llama 2, Flan-T5, Azure GPT-3.5, AWS Bedrock Claude 2, Google PaLM 2, OpenAI GPT-3.5 и MPT-7B. Платформа работает со структурированными и неструктурированными данными, а также может проводить оркестрацию инференса и глубокого обучения.

Источник изображения: C3 AI

По словам технического директора по продуктам компании, в дополнение к более широким отраслевым и предназначенным для отдельных случаев моделям, C3 AI также предлагает тонко настроенные LLM для конкретных задач, таких как ответы на вопросы, чат, обобщение, поиск и оркестрация. C3 AI рекомендует использовать генеративный ИИ с расширенным поиском (retrieval-augmented generative AI). Фреймворк подходит для извлечения фактов из внешней базы знаний, гарантирующий доступ модели к самой свежей информации.

«Такой подход помогает нам отделить LLM от личных данных клиента и избежать многих недостатков использования ориентированного на потребителя генеративного ИИ в корпоративном контексте, таких как отсутствие прослеживаемости и галлюцинации», — сказал Кришнан. «Это позволяет генеративному ИИ C3 минимизировать галлюцинации и предоставлять полные ссылки на источники, чтобы пользователи могли проверять ответы и проводить дальнейшие исследования», — отметил он.

C3 AI заявила, что её решения дают детерминированные ответы, а не случайные, и что результаты можно сразу проследить до источника. LLM закрыта брандмауэром от исходных данных, чтобы минимизировать риск утечки данных и кибератак. Компании также могут применять средства обеспечения кибербезопасности, такие как шифрование и многофакторная аутентификация, указывать в настройках, что модели работают только с принадлежащими предприятию и лицензированными данными, и обмениваться LLM с другими компаниями.

Все продукты из набора C3 Generative AI Suite уже доступны для установки заказчиком. C3 AI поможет заказчику внедрить своё приложение в производство в течение 12 недель, стоимость услуги — $250 тыс. После этого клиент производит почасовую оплату за использование vCPU/vGPU со скидками за объём.

Компания OpenAI продолжает расширять номенклатуру решений на основе ChatGPT. Как сообщает Silicon Angle, теперь в её портфолио появилась версия ChatGPT Enterprise, обеспечивающая корпоративным пользователям дополнительную функциональность и усиленную защиту, а в будущем появится ещё и версия ChatGPT Business.

Речь идёт о решении, целевой аудиторией которого являются крупные организации и бизнес-структуры. ChatGPT Enterprise построен на основе расширенной версии большой языковой модели (LLM) GPT-4 и вдвое быстрее стандартного варианта при выдаче ответов.

Источник изображения: OpenAI

Одной из главных отличительных функций ChatGPT Enterprise является безлимитный доступ к инструменту Advanced Data Analysis. Ранее он был известен, как Code Interpreter и позволяет, например, осуществлять математические вычисления, визуализировать результаты или, например, менять форматы файлов обычными языковыми командами. В компании уже работают над усовершенствованной версией Advanced Data Analysis, а также намерены добавить боту и другие инструменты для анализа информации, маркетинга и поддержки клиентов.

При этом разработчики увеличили максимальный объём запроса до 32 тыс. токенов за раз. Дополнительно предусматривается расширение набора данных, которые сможет использовать ChatGPT Enterprise для обучения. Например, в обозримом будущем станет возможны безопасное подключение к боту приложений, которые уже используются компаниями.

Источник изображения: OpenAI

Поскольку целевая аудитория ChatGPT Enterprise уделяет особое внимание защите своих данных, новый ИИ-бот соответствует стандарту кибербезопасности SOC 2, предусматривающему шифрование данных пользователей при передаче. Дополнительно защититься помогает консоль управления, интегрированная в интерфейс ChatGPT Enterprise. Например, с её помощью можно будет централизованно управлять аккаунтами сотрудников компаний и отслеживать их работу с чат-ботом.

OpenAI сообщила, что ChatGPT Enterprise уже используется в тестовом режиме некоторыми компаниями, включая Canva Pty Ltd и Klarna Bank AB, а в ближайшие недели разработчик постарается привлечь как можно больше клиентов. Пока достоверно неизвестно, когда именно станут общедоступными анонсированные функции. Дополнительно в будущем планируется представить и ещё одну платную версию — ChatGPT Business для «команд любых размеров».

Продукты OpenAI уже довольно активно используются корпоративными клиентами при содействии партнёров компании. Например, доступ к ChatGPT ещё в марте появился в облачной службе Microsoft Azure OpenAI Service.

CDN-провайдер Akamai Technologies Inc. объявил об открытии трёх новых облачных ЦОД Connected Cloud в Париже, Вашингтоне (округ Колумбия) и Чикаго, а также о предстоящем запуске в этом квартале аналогичных объектов в Сиэтле и Ченнаи (Индия). По словам компании, стратегически выбранное расположение новых ЦОД позволит предоставлять клиентам высокопроизводительные, масштабируемые облачные ресурсы.

Новый объект в Вашингтоне находится невдалеке от Северной Вирджинии с крупнейшим в мире кластером ЦОД. Новый объект в Чикаго позволит получать доступ к облачным услугам на пятом по величине рынке ЦОД в мире, а объект в Сиэтле будет актуален для Тихоокеанского Северо-Запада. ЦОД в Париже позволит европейским компаниям работать в соответствии с местным законами по обеспечению суверенитета данных, в то время как объект в Ченнаи обеспечит доступ к одному из крупнейших ИТ-центров Индии.

Источник изображения: Akamai

Сообщается, что новые ЦОД отличаются современными архитектурой и оборудованием. Компания отметила, что их запуск знаменует важный шаг в стремлении интегрировать облачные ресурсы с её глобальной сетью, охватывающей более 4 тыс. точек присутствия в 135 странах. Сервис Akamai Connected Cloud изначально был задуман как более распределённая альтернатива AWS и Azure, которая позволяет «сделать приложения и сервисы ближе, а угрозы — дальше».

Попутно Akamai расширяет возможности своего облака. Компания запустила инстансы премиум-класса, а ёмкость хранилища увеличила до 1 Пбайт и 1 млрд объектов. Этим летом станет доступен глобальный балансировщик Akamai Global Load Balancer, который позволит избежать единой точки отказа и направлять запросы в наиболее оптимальный ЦОД для минимизации задержек. Наконец, компания создала партнёрскую программу, в рамках которой квалифицированные технологические партнёры будут обучаться развёртыванию приложений на её платформе.

Молодая компания Inflection AI, основанная в 2022 году, по сообщению ресурса Datacenter Dynamics, осуществила крупный раунд финансирования, в ходе которого на развитие привлечено $1,3 млрд. Средства предоставят в том числе корпорации Microsoft и NVIDIA. Впрочем, немалая часть этой суммы в конечно итоге всё равно достанется NVIDIA — стартап намерен создать крупнейший в мир ИИ-кластер.

Ранее Inflection AI получила финансирование в размере $225 млн. Деньги предоставили Greylock, Microsoft, Рид Хоффман, Билл Гейтс, бывший глава Google Эрик Шмидт и другие. На сегодняшний день рыночная стоимость Inflection AI оценивается в $4 млрд. Inflection AI создана Мустафой Сулейманом (Mustafa Suleyman), одним из основателей Google DeepMind, а также Ридом Хоффманом (Reid Hoffman), одним из учредителей LinkedIn. Штат стартапа насчитывает немногим более 30 сотрудников.

Источник изображения: Inflection AI

Inflection AI специализируется на технологиях генеративного ИИ. В частности, недавно компания анонсировала чат-бота Pi — свой аналог ChatGPT. «Персональный ИИ трансформирует нашу жизнь. Это действительно переломный момент. Мы рады сотрудничать с NVIDIA, Microsoft, CoreWeave и многими другими, чтобы воплотить это видение в жизнь», — сказал господин Сулейман.

Фирма намерена выступать в качестве ИИ-студии, создавая персонализированные смарт-системы, с которыми пользователи могли бы взаимодействовать простыми и естественными способами. Для этого Inflection AI в партнёрстве с облачным провайдеров CoreWeave намерена развернуть крупнейший в мире кластер ИИ, состоящий из 22 тыс. ускорителей NVIDIA H100. Этот комплекс станет одной из самых мощных НРС-систем в мире: его производительность ожидается на уровне 22 Эфлопс (16-бит точность).