Материалы по тегу: deepseek

01.02.2025 [15:23], Сергей Карасёв

Самый быстрый инференс DeepSeek R1 в мире: ИИ-платформа Cerebras снова поставила рекорд производительности

Американский стартап Cerebras Systems объявил о том, что его инференс-платформа позволила установить мировой рекорд производительности при использовании «рассуждающей» ИИ-модели DeepSeek R1 в модификации с 70 млрд параметров (DeepSeek-R1-Distill-Llama-70B).

DeepSeek R1 может содержать до 671 млрд параметров. Однако, как отмечает Cerebras, развёртывание модели со способностью к рассуждению столь большого масштаба представляет значительные проблемы. Версия с 70 млрд параметров позволяет совместить возможности рассуждений более крупной модели с MoE с широко поддерживаемой архитектурой Meta Llama.

 Источник изображений: Cerebras

Источник изображений: Cerebras

Основой платформы Cerebras являются царь-ускорители собственной разработки WSE (Wafer Scale Engine). Производительность DeepSeek R1 при работе на инфраструктуре Cerebras достигает 1508 токенов в секунду — это значительно быстрее по сравнению с конкурирующими решениями. В частности, в случае Groq показатель составляет 252 токена в секунду.

Стандартный запрос на генерацию кода, который, как утверждает компания, занимает 22 секунды на конкурирующих платформах, в случае Cerebras завершается всего за 1,5 секунды, что соответствует 15-кратному повышению производительности. Cerebras подчёркивает, что DeepSeek-R1-Distill-Llama-70B превосходит как GPT-4o, так и o1-mini в сложных математических задачах и генерации кода.

Cerebras также отмечает, что все вычисления осуществляются на базе ИИ-инфраструктуры в США, развёрнутой в собственных дата-центрах компании. При этом никакие данные не сохраняются, что гарантирует полную безопасность для клиентов. Кроме того, модель DeepSeek R1 может быть развёрнута локально в ЦОД заказчика для обеспечения максимального контроля.

Постоянный URL: http://servernews.ru/1117588
31.01.2025 [16:44], Руслан Авдеев

США подозревают DeepSeek в получении подсанкционных ИИ-ускорителей NVIDIA через посредников в Сингапуре

Американские власти намерены выяснить, не покупал ли китайский ИИ-стартап DeepSeek передовые ускорители NVIDIA у сингапурских компаний в обход введённых США санкций. Недавно китайская компания представила модели R1 и V3, в некоторых отношениях сопоставимые по возможностям с американскими решениями или даже превосходящие их, при этом гораздо более дешёвых. Это косвенно свидетельствует о том, что ИИ в Китае развивается гораздо успешнее, чем считалось, сообщает Bloomberg.

Эксперты уже отметили экономическую эффективность и производительность бота, а соперники задумались, не имели ли стартап доступ к подсанкционным западным технологиям. Представители Белого дома и ФБР пытаются выяснить, мог ли DeepSeek воспользоваться услугами посредников из Сингапура для покупки чипов NVIDIA, запрещённых к официальным поставкам в КНР. В самой китайской компании не ответили на запрос журналистов, а в NVIDIA заявили, что её партнёры соблюдают все соответствующие законы. Если появится информация об обратном, NVIDIA будет «действовать соответствующим образом». Ранее компания предположила, что DeepSeek не нарушает американских санкций.

В Министерстве торговли США полагают, что DeepSeek обошла экспортные ограничения на чипы NVIDIA, закупая их «тоннами». Чиновники заявили: если китайская компания хочет конкурировать, пусть делает это без использования американских инструментов, и пообещали проводить жёсткую политику в отношении экспортного контроля. Однако самая ситуация привела к дебатам об эффективности американских попыток отрезать КНР от передовых технологий. Ограничения, касающиеся самых передовых ускорителей и инструментов для их производства, должны были замедлить развитие ИИ в Китае.

 Источник изображения: Joshua Wordel / Unsplash

Источник изображения: Joshua Wordel / Unsplash

DeepSeek утверждает, что для обучения моделей она использовала 10 тыс. ускорителей NVIDIA A100 и 2048 ускорителей NVIDIA H800 с «урезанной» функциональностью, выпускавшихся специально для Китая. В октябре 2023 года власти США запретили продавать в Китай и H800, поэтому NVIDIA выпустила ещё более слабые ускорители H20 для этого рынка. Теперь ведутся дискуссии, стоит ли запретить продавать в КНР и их.

В 2023 году США ввели ограничения в отношении более 40 стран, которые могли служить посредниками для переправки ускорителей в Китай. Запрет коснулася большинства стран Ближнего Востока и ряда государств Юго-Восточной Азии, но Сингапур в их число не вошёл. В 2025 году действие ограничений расширили на большую часть планеты — за исключением горстки союзников. Теперь крупные поставки в Сингапур требуют специальной разрешения. Важно, что на Сингапур приходится около 20 % выручки NVIDIA, но, по некоторым данным, большинство заказов фактически уходит в другие регионы, а в сам город-государство поступало довольно мало ускорителей.

В NVIDIA настаивают, что огромная выручка от торговли с Сингапуром не связана с утечкой в Китай. В компании заявляют, что многие компании имеют структуры в Сингапуре, которые выпускают продукты, предназначенные для США и Запада в целом. Впрочем, члены Палаты представителей США от обеих правящих партий уже обратились к советнику президента по национальной безопасности. Они заявили, что необходимо ввести строгое лицензирование экспорта для стран вроде Сингапура, «не желающих пресечь» поставки в Китай.

Постоянный URL: http://servernews.ru/1117537
28.01.2025 [18:40], Владимир Мироненко

«Рынки ошибаются»: DeepSeek не угрожает NVIDIA и другим американским IT-гигантам

Рост популярности ИИ-технологий способствовал росту рыночной стоимости NVIDIA выше $3 трлн. Однако её акции обрушились в понедельник на 17 %, вызвав падение рыночной стоимости компании почти на $600 млрд, после анонса китайским стартапом DeepSeek ИИ-моделей V3 и R1, способных соперничать с лучшими моделями любой американской компании, хотя и были обучены за малую часть стоимости на менее продвинутых чипах NVIDIA H800 и A100, пишет Fortune.

Также в начале недели приложение AI Assistant стартапа DeepSeek вышло на первое место в рейтинге самых популярных бесплатных приложений в интернет-магазине в Apple App Store в США, опередив ИИ-чат-бот ChatGPT от OpenAI. Более того, модель DeepSeek R1, призванная бросить вызов модели «рассуждений» OpenAI o1, можно запустить на рабочей станции, а не в ЦОД.

Поскольку мощные ускорители NVIDIA являются одной из самых больших статей расходов на разработку самых передовых моделей ИИ, инвесторы начали пересматривать свои представления относительно вложений в ИИ-бизнес. Да, DeepSeek явно потряс рынок ИИ, однако разговоры о крахе NVIDIA могут быть преждевременными, равно как и заявления о том, что успех DeepSeek означает, что США следует отказаться от политики, направленной на ограничение доступа Китая к самым передовым ИИ-чипам, предупреждают аналитики Fortune.

DeepSeek утверждает, что использует 10 тыс. ускорителей NVIDIA A100, а также чипы H800, что на порядок меньше, чем используют американские компании для обучения своих самых передовых ИИ-моделей. Например, Xai Илона Маска (Elon Musk) построила вычислительный кластер Colossus в Теннесси на базе 100 тыс. ускорителей NVIDIA H100, его планирует расширить до 1 млн чипов.

 Источник изображения: Heather Wilde / Unsplash

Источник изображения: Heather Wilde / Unsplash

Это дало повод некоторым экспертам утверждать, что введение ограничений США подстегнуло инновации в Китае. В Fortune считают такие умозаключения недальновидными и утверждают, что влияние DeepSeek может, как это ни парадоксально звучит на первый взгляд, увеличить спрос на передовые чипы ИИ — как NVIDIA, так и её конкурентов. Причина отчасти заключена в феномене, известном как парадокс Джевонса (Jevons Paradox).

Парадокс Джевонса, также известный как эффект отскока, назван в честь британского экономиста XIX века Уильяма Стэнли Джевонса (William Stanley Jevons), который заметил: когда технический прогресс делает использование ресурса более эффективным, общее потребление этого ресурса имеет тенденцию к увеличению. Это имеет смысл, если спрос на что-либо относительно эластичен — снижающаяся из-за повышения эффективности цена создаёт ещё больший спрос на продукт.

Одной из причин слабого внедрения ИИ-моделей в крупных организациях была их дороговизна. Это особенно касалось новых «рассуждающих» моделей, таких как o1 от OpenAI. Модели DeepSeek гораздо дешевле конкурентов в эксплуатации, так что теперь компании могут позволить себе развёртывать их для многих сценариев использования. В масштабах отрасли это может привести к резкому росту спроса на вычислительную мощность.

В понедельник гендиректор Microsoft Сатья Наделла (Satya Nadella) и бывший гендиректор Intel Пэт Гелсингер (Pat Gelsinger) указали на это в сообщениях в социальных сетях. Наделла напрямую сослался на парадокс Джевонса, в то время как Гелсингер сказал, что «вычисления подчиняются» тому, что он назвал «законом газа». «Если сделать его значительно дешевле, рынок для него расширится… это сделает ИИ гораздо более широко распространенным, — написал он. — Рынки ошибаются».

 Источник изображения: Mark Daynes / Unsplash

Источник изображения: Mark Daynes / Unsplash

В Fortune задались вопросом: «Какая именно вычислительная мощность потребуется?». Топовые ускорители NVIDIA оптимизированы для обучения крупнейших больших языковых моделей (LLM), таких как GPT-4 от OpenAI или Claude 3-Opus от Anthropic. Для инференса чипы NVIDIA меньше подходят, чем изделия конкурентов, включая AMD и, например, Groq, чипы которых позволяют исполнять ИИ-нагрузки быстрее и намного эффективнее. Google и Amazon также создают свои собственные чипы ИИ, некоторые из которых оптимизированы для инференса.

NVIDIA сейчас занимает более 80 % рынка ИИ-вычислений на базе ЦОД (если исключить кастомные ASIC облачных провайдеров, её доля может составить до 98 %) и вряд ли утратит доминирование быстро или полностью, отметили в Fortune. Ёе ускорители также могут использоваться для инференса, а программная платформа CUDA имеет большое и лояльное сообщество разработчиков, которое вряд ли откажется от него в одночасье. Если общий спрос на ИИ-чипы увеличится из-за парадокса Джевонса, общие доходы NVIDIA всё равно смогут вырасти даже при падении доли на рынке из-за увеличившегося рынка.

Ещё одна причина, по которой спрос на передовые ИИ-чипы, вероятно, продолжит рост, связана с особенностями работы моделей рассуждений, таких как R1. В то время как способности предыдущих типов LLM росли по мере увеличения доступной вычислительной мощности во время обучения, то модели рассуждений зависят от вычислительных ресурсов во время инференса — чем их больше, тем лучше ответы.

 Источник изображения: Kayla Kozlowski / Unsplash

Источник изображения: Kayla Kozlowski / Unsplash

Запустив R1 на ноутбуке, можно получить хороший ответ на сложный математический вопрос, скажем, через час, в то время как при использовании ускорителей в облаке на тот же ответ уйдут считанные секунды. Для многих бизнес-приложений задержка или время, необходимое модели для ответа, имеет большое значение. И чтобы сократить время выполнения задачи, по-прежнему будут нужны передовые ИИ-ускорители.

Кроме того, многие эксперты сомневаются в правдивости заявления DeepSeek о том, что её модель V3 была обучена примерно на 2048 урезанных ускорителях NVIDIA H800 или что её модель R1 была обучена на столь малом количестве чипов. Александр Ван (Alexandr Wang), генеральный директор Scale AI, сообщил в интервью CNBC, что, по его данным, DeepSeek тайно получила доступ к кластеру из 50 тыс. ускорителей H100.

Также известно, что хедж-фонд HighFlyer, которому принадлежит DeepSeek, успел закупить до введения санкций значительное количество менее производительных ускорителей NVIDIA. Так что вполне возможно, что NVIDIA находится в лучшем положении, чем предполагают паникующие инвесторы, и что проблема с экспортным контролем США заключается не в политике, а в её реализации, подытожили аналитики Fortune.

Постоянный URL: http://servernews.ru/1117384

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus