Ведущий российский поставщик решений для облачной инфраструктуры Облако.ру предлагает различные специализированные интегрированные решения для обработки ресурсоёмких нагрузок, включая обучение и запуск ИИ-моделей. GPU-серверы, доступные в Облако.ру, отлично справляются со сложными задачами с использованием больших объёмов данных и вычислений. Использование услуг по аренде вычислительных мощностей позволяет избежать существенных капитальных затрат.
Главное отличие GPU от CPU заключается в его способности параллельно выполнять множество операций, распределяя задачи между своими ядрами, что предоставляет ему возможность выполнения громадных объёмов вычислений, лежащих в основе ИИ, в гораздо более короткие сроки и обеспечивает значительное преимущество в таких областях, как обработка изображений и видео, научное моделирование, машинное обучение, где используются большие наборы данных и сложные алгоритмы.
Изначально созданные для обработки изображений GPU стали крайне важными для ИИ-индустрии, позволяя обучать и развёртывать продвинутые ИИ модели, обеспечивающие широкие возможности в сфере ИИ — от распознавания изображений до обработки естественного языка. Благодаря ускорению процессов обучения и инференса использование серверных GPU позволяет разрабатывать и развёртывать модели ИИ быстрее и эффективнее, чего невозможно добиться, используя только классические CPU. А по мере роста сложности ИИ-моделей потребность в GPU будет только расти.
Источник изображения: Облако.ру
Так, для локального запуска компактной версии популярной ИИ-модели DeepSeek R1 8B, разработанной посредством дистилляции нейросеть Llama 3.2 и демонстрирующей высокую эффективность в задачах текстовой генерации, обработки естественного языка, создания программного кода и анализа данных, потребуется система с 4 Гбайт VRAM (видеопамяти) для инференса с низкой и целочисленной точностью вычислений (FP8/INT8), 8 Гбайт VRAM для инференса с половинной точностью (FP16) и 16 Гбайт VRAM для инференса с полной точностью (FP32). Точность вычислений влияет на качество и скорость ответов ИИ-модели.
Если же использовать DeepSeek R1 8B в качестве основы для собственных моделей, ориентированных на конкретные бизнес-задачи, то при обучении с низкой и целочисленной точностью (FP8/INT8) потребуется система с 8 Гбайт VRAM, при обучении с половинной точностью (FP16) — с 16 Гбайт VRAM, а и при обучении с полной точностью (FP32) — с 32 Гбайт VRAM. С увеличением количества параметров модели, определяющих её «эрудицию» и знания о мире или предметной области, одновременно растут и требования к доступной памяти и вычислительной мощности GPU. Кроме того, т.н. размышляющие модели, к которым относится и семейство DeepSeek R1, тем лучше и оперативнее отвечают на запросы, чем больше им доступно ресурсов.
Предлагаемые Облако.ру системы позволяют запускать не только базовые модели уровня DeepSeek R1 8B, которым требуется 8–12 Гбайт VRAM, но и более мощные ИИ-модели, такие как DeepSeek R1 14B, которая подходит для большинства профессиональных рабочих процессов. DeepSeek R1 14B, содержащая 14 млрд параметров и созданая с помощью метода дистилляции модели Qwen 2.5, предназначена для решения сложных задач, требующих высокой точности и производительности, таких, как написание сложных текстов, анализ больших объёмов данных, написание кода уровня Senior и т.д. Для инференса с использованием DeepSeek R1 14B с низкой и целочисленной точностью (FP8/INT8) потребуется система с 7 Гбайт VRAM, с полной точностью (FP32) — с 28 Гбайт VRAM. Для обучения с низкой и целочисленной точностью (FP8/INT8) требуется система с 14 Гбайт VRAM, с половинной точностью (FP16) — с 28 Гбайт VRAM, с полной точностью (FP32) — с 56 Гбайт VRAM.
Облако.ру предлагает различные системы с серверными GPU, которые способны удовлетворить нужды практически любого заказчика. Доступны системы с самыми простыми ускорителями NVIDIA T4, с ускорителями среднего класса 3 × RTX6000 (суммарно 72 Гбайт) и с ускорителями топового уровня. К последним относятся конфигурации сразу с восемью PCIe-ускорителями с суммарным объёмом памяти 640 Гбайт, 1 Тбайт системной памяти и парой 24-ядерных AMD EPYC 9224. А для самых требовательных заказчиков предлагается платформа с восемью ускорителями, объединёнными быстрой шиной (900 Гбайт/с) и 1128 Гбайт VRAM, которые работают как единое целое. Компанию им составляют два 48-ядерных Intel Xeon Platinum 8558 и 2 Тбайт RAM. При этом во всех случаях речь идёт именно о физических серверах, что гарантирует полную доступность всех вычислительных ресурсов.
Источник:
