Материалы по тегу: tesla

14.09.2018 [00:00], Константин Ходаковский

NVIDIA представила Tesla T4 — самый быстрый ИИ-ускоритель для ЦОД

NVIDIA вслед за профессиональной графикой Quadro RTX и игровыми ускорителями GeForce RTX представила на GTC 2018 в Японии новое семейство GPU для машинного обучения и анализа информации в центрах обработки данных. Новые решения Tesla T4 («T» в названии означает новую архитектуру Turing) являются преемниками текущего семейства GPU P4, которые сейчас предлагают практически все крупные поставщики облачных вычислений. По словам NVIDIA, Google будет в числе первых компаний, которые задействуют в своей облачной платформе ускорители T4.

NVIDIA утверждает, что T4 значительно быстрее, чем P4. Например, в задачах принятия решений, связанных с лингвистикой, T4 в 34 раза быстрее, чем CPU и более чем в 3,5 раза быстрее, чем P4. Пиковая производительность T4 составляет 260 TOPS для 4-битных целочисленных операций INT4, 130 TOPS — для INT8 и 65  терафлопс для смешанных тензорных операций FP16. При обычных расчётах с плавающей запятой FP32 обещана пиковая производительность в 8,1 терафлопс.

Низкопрофильная карта T4 предназначена для установки в стандартный 75-Вт слот PCI Express. Это означает, что для установки в 1U, 4U или иные стандартные серверные стойки не требуется думать о внешнем источнике питания: достаточно возможностей слота PCIe. А низкопрофильная конструкция обеспечивает широкую совместимость с самыми разными серверами.

Но главное, что NVIDIA разработала эти чипы специально для процессов логического умозаключения в искусственном интеллекте. «Столь эффективным графическим процессором для задач принятия решений Tesla T4 делают новые тензорные ядра архитектуры Turing, — подчеркнул вице-президент и руководитель по бизнесу ЦОД в NVIDIA Tesla Ян Бак (Ian Buck). — Исполнительный директор Дженсен Хуанг (Jensen Huang) уже говорил о тензорных ядрах и о том, что они могут предложить в играх, задачах рендеринга и в области ИИ, но они прежде всего предназначены для наибольшей эффективности в процессах логического умозаключения». Сообщается, что ускоритель включает 320 тензорных ядер и 2560 ядер CUDA Turing.

Поскольку объем онлайн-видео продолжает расти экспоненциально, спрос на решения для эффективного поиска и извлечения информации из видео также увеличивается. Tesla T4 обеспечивает высокую производительность и для задач, связанных с ИИ-анализом видео. А отдельные блоки перекодировки видеопотока обеспечивают двукратный рост производительности декодирования по сравнению с GPU предыдущего поколения. T4 может декодировать до 38 потоков видео 1080p, что позволяет легко интегрировать масштабируемое глубинное обучение в видеопрограммы для создания новых интеллектуальных услуг.

В дополнение к собственно Tesla T4 компания также представила обновление своего программного обеспечения TensorRT 5 для оптимизации моделей глубинного обучения. Эта новая версия также включает в себя сервер принятия решений TensorRT, полностью контейнерный микросервис для процессов логического умозаключения в центрах обработки данных, который легко подключается к существующей инфраструктуре Kubernetes.

Постоянный URL: http://servernews.ru/975330
28.07.2018 [14:30], Геннадий Детинич

В платформах Google для машинного обучения могут появиться NVIDIA Tesla P4

Как стало известно в ходе конференции Google Cloud Next 18, компания Google может дополнить свои облачные платформы по машинному обучению аппаратными решениями компании NVIDIA. Это довольно неожиданный шаг, поскольку для этих задач Google самостоятельно разрабатывает аппаратные ускорители Tensor Processing Unit (TPU) на базе ASIC. Оправданием этому может служить тот факт, что GPU NVIDIA в виде семейства решений Tesla пользуются широкой популярностью в отрасли как основа для платформ с машинным обучением.

Google TPU

Google TPU

Вместе с ускорителями Google TPU обещают соседствовать слегка устаревшие, но оптимальные для работы с разнообразными ML-моделями адаптеры NVIDIA Tesla P4. Решения выпускаются в виде 50-Вт и 75-Вт PCIe-карт. Максимальная производительность Tesla P4 для вычислений с одинарной точностью достигает 5,5 TFLOPS. Кроме этого ускоритель NVIDIA способен ускорять обработку видеопотоков (одновременно до 18 с разрешением Full HD) и обладает возможностью работать в составе виртуальных машин. Основная задача, которая будет возложена на Tesla P4 — это принятие решений, а не обучение, хотя GPU способны работать более-менее оптимально с целым спектром моделей, в отличие от того же Google TPU.

В случае использования Tesla P4 в составе обучающихся платформ Google (для обучения) выигрыш может оказаться в упрощении потоков данных, и это не создаст трудностей разработчикам, уже погрузившимся в фреймворк Google TensorFlow. Последний имеет тесную связь с NVIDIA TensorRT и может быть экспортирован для запуска на движке NVIDIA. Что также немаловажно, решения NVIDIA на базе GPU работают с существенно меньшими задержками, чем процессоры общего назначения, что крайне важно для операций с принятием решений. Разработчики Google, например, продемонстрировали 27-кратное превосходство Tesla P4 над процессорами Intel Xeon по параметру соотношения числа обработанных с секунду изображений на ватт.

В области облачных платформ для машинного обучения и принятия решений компании Google необходимо успешно соперничать с платформами Amazon AWS и Microsoft Azure. Последние не отказываются от продуктов NVIDIA Tesla, так что Google может взять от конкурентов лучшее, а не только полагаться на собственные аппаратные разработки.

Постоянный URL: http://servernews.ru/973224
26.06.2018 [16:26], Сергей Карасёв

ISC 2018: новая платформа ASRock Rack поддерживает десять ускорителей NVIDIA Tesla V100

Компания ASRock Rack на конференции ISC High Performance 2018 продемонстрировала ряд новейших решений для облачных систем, центров обработки данных и платформ высокопроизводительных вычислений.

В частности, показана серверная платформа 3U10G-F/C621. Эта система, выполненная в форм-факторе 3U, допускает установку десяти ускорителей NVIDIA Tesla V100 с 32 Гбайт памяти.

Платформа наделена 16 слотами для модулей оперативной памяти DDR4, шестью посадочными местами для 2,5-дюймовых SATA-накопителей с возможностью «горячей» замены и двумя сетевыми портами 10G Ethernet.

Кроме того, продемонстрирован сервер 2U4G-EPYCD8, поддерживающий установку одного процессора AMD семейства EPYC 7000. Для модулей оперативной памяти предусмотрены восемь слотов.

Сервер 2U4G-EPYCD8 соответствует формату 2U. Он может быть оснащён четырьмя графическими ускорителями, четырьмя 2,5-дюймовыми SATA-накопителями и двумя твердотельными модулями М.2.

Наконец, представлена серверная платформа 3U8G+/C621, допускающая установку восьми карт NVIDIA Tesla V100. Эта система может быть оборудована 16 модулями оперативной памяти DDR4. 

Постоянный URL: http://servernews.ru/971769
09.05.2018 [07:00], Иван Грудцын

Новые серверы Gigabyte поддерживают установку 8–10 ускорителей Tesla

На днях компания Gigabyte расширила модельный ряд barebone-серверов продуктами G481-S80 и G481-HA0, предназначенными для сборки мощных HPC-систем и вычислений в рамках решения задач глубинного обучения. Оба сервера выполнены в форм-факторе 4U (880 × 448 × 176 мм) и базируются на материнской плате MG61-G40, которая, в свою очередь, включает два процессорных разъёма LGA3647, чипсет Intel C621, 24 слота для оперативной памяти с шестиканальным доступом и 11 разъёмов Slimline 8i (по 8 линий PCI Express 3.0 на каждый). Вспомогательная плата позволяет подключать различные HPC-ускорители.

G481-S80

G481-S80

Схема материнской платы Gigabyte MG61-G40

Схема материнской платы Gigabyte MG61-G40

Barebone-сервер G481-S80 рассчитан на установку дуэта CPU Intel Xeon Scalable серий Platinum, Gold, Silver и Bronze (TDP до 205 Вт), а также восьми ускорителей NVIDIA Tesla V100 и P100 в форм-факторе SXM2. Система может включать до 1,5 Тбайт оперативной памяти RDIMM/LRDIMM DDR4-2133/2400/2666, дополнительные карты расширения PCI Express x8 (5 шт.) и PCI Express x16, и десять 2,5-дюймовых SSD/HDD (поддерживается горячая замена накопителей) с опциями RAID 0, 1, 5 и 10.

Сетевые возможности G481-S80 представлены тремя контроллерами Gigabit Ethernet. В качестве необязательного компонента в спецификации сервера указана связка из четырёх портов QSFP28 (Intel Omni-Path) с общей пропускной способностью 100 Гбит/с. Кроме того, в разъём PCI Express x8 можно установить сетевой адаптер с защитой от перегрузки по току. Питание системы обеспечивается четырьмя 2200-ваттными БП с резервированием. Используемые источники питания отмечены сертификатом 80 PLUS Platinum.

Ключевым отличием barebone-сервера Gigabyte G481-HA0 от родственной модели является поддержка десяти HPC-ускорителей с интерфейсом PCI Express x16. Помимо этого, система может похвастаться наличием двух 10-Гбит портов Ethernet и 22 разъёмов для накопителей (8 × U.2, 14 × SATA/SAS). Количество 2,2-кВт блоков питания с резервированием ограничено тремя.

Сервер Gigabyte G481-S80 без учёта массы CPU и GPU, и их охладителей весит 63 кг брутто. Продув радиаторов обеспечивается четырьмя 40-мм (25 000 об/мин) и шестью 60-мм (23 000 об/мин) вентиляторами. Масса продукта G481-S80 на сайте производителя не указана. Сервер продувается шестью вентиляторами типоразмера 60 × 60 × 76 мм.

Постоянный URL: http://servernews.ru/969442
28.03.2018 [12:10], Сергей Карасёв

Сервер GIGABYTE G190-G30 формата 1U допускает установку четырёх ускорителей Tesla V100

Компания GIGABYTE анонсировала сервер G190-G30 формата 1U, рассчитанный на монтаж в стойку.

Решение допускает установку двух процессоров Intel Xeon E5-2600 v4 или Xeon E5-2600 v3. Предусмотрены 16 слотов для модулей оперативной памяти DDR4-2133/2400, ёмкость каждого из которых может достигать 128 Гбайт.

Сервер может комплектоваться четырьмя ускорителями NVIDIA Tesla V100/P100 в форм-факторе SXM2. Предусмотрены два слота PCIe x16 (Gen3 x8) для низкопрофильных карт расширения.

Сервер имеет размеры 440 × 43,5 × 900 мм. Возможно использование четырёх 2,5-дюймовых накопителей с поддержкой «горячей» замены. Оснащение включает двухпортовый сетевой контроллер GbE LAN (Intel I350-AM2) и порт 10/100/1000 Management LAN. Устройство оборудовано двумя блоками питания мощностью 2000 Вт каждый.

Сервер допускает использование программных платформ Windows Server, Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu и VMware ESXi. Информации об ориентировочной цене новинки на данный момент, к сожалению, нет. 

Постоянный URL: http://servernews.ru/967632
06.12.2017 [23:45], Сергей Юртайкин

IBM представила первый сервер на процессоре POWER9

IBM представила свой первый собственный сервер на процессоре POWER9. Особенность решения под названием IBM Power Systems AC922 заключается в том, что новая аппаратная платформа разработана специально для работы с интенсивными вычислительными нагрузками технологий искусственного интеллекта (ИИ).

CPU IBM POWER9

CPU IBM POWER9

В IBM отмечают, что Power 9 позволяет ускорить тренировки фреймворков глубинного обучения обучения почти в четыре раза, благодаря чему клиенты смогут быстрее создавать более точные ИИ-приложения. Утверждается, что новый сервер разработан для получения значительных улучшений производительности всех популярных фреймворков ИИ, таких как Chainer, TensorFlow и Caffe, а также современных баз данных, использующих ускорители, например, Kinetica.

Сервер IBM Power System AC922

Сервер IBM Power System AC922

Сервер IBM Power Systems AC922 использует шину PCI-Express 4.0 и технологии NVIDIA NVLink 2.0 и CAPI 2.0/OpenCAPI, способные ускорить пропускную способность в 9,5 раза по сравнению с системами x86 на базе PCI-E 3.0. Это, в частности, позволяет задействовать ускорителям (GPU или FPGA) системную ОЗУ без значительных, по сравнению с прошлыми решениями, потерь производительности, что важно для обработки больших массивов данных. Кроме того, новые поколения карт расширения и ускорителей уже поддерживают эту шину.

IBM Power Systems AC922 создан в нескольких конфигурациях, оснащаемых двумя процессорами POWER9. Стандартные версии включают CPU c 16 (2,6 ГГц, турбо 3,09 ГГц) и 20 (2,0/2,87 ГГц) ядрами (4 потока на ядро), а позже появятся версии с 18- и 22 -ядерными процессорами. Всего в сервере есть 16 слотов для модулей ECC DDR4-памяти, что на текущий момент позволяет оснастить его 1 Тбайт RAM. Для хранения данных предусмотрено два слота для 2,5" SSD/HDD (RAID-контроллера нет).

AC922 может иметь на  борту от двух до четырёх ускорителей NVIDIA Tesla V100 форм-фактора SXM2 с памятью 16 Гбайт и шиной NVLink 2.0. В сумме они дают до 500 Тфлопс на расчётах половинной точности. Дополнительные ускорители можно подключить к слотам PCI-E 4.0. 

Сервер рассчитан на установку четырёх дополнительных низкопрофильных карт расширения: два слота PCI-E 4.0 x16, один PCI-E 4.0 x8 и один PCI-E 4.0 x4. Все слоты, кроме последнего, также умеют работать с CAPI. Также есть два порта USB 3.0. Поддерживается ОС Red Hat Enterprise Linux 7.4 for Power LE.

Процессоры IBM Power 9, которые нашли применение в IBM Power Systems AC922, легли в основу суперкомпьютеров Summit и Sierra Министерства энергетики США, а также используются компанией Google. Чипы и использующие их системы стали частью совместной работы участников организации OpenPower Foundation, в которую входят IBM, Google, Mellanox, NVIDIA и др.

Процессор IBM Power 9

Процессор IBM Power 9

«Мы создали уникальную в своём роде систему для работы с технологиями ИИ и когнитивными вычислениями, — говорит старший вице-президент подразделения IBM Cognitive Systems Боб Пиччиано (Bob Picciano). — Серверы на Power 9 являются не только основой самых высокопроизводительных компьютеров, они позволят заказчикам масштабировать невиданные ранее инсайты, что будет способствовать научным прорывам и революционным улучшениям бизнес-показателей».

Сервер имеет стандартное 2U-шасси и оснащается двумя (1+1) блоками питания мощностью 2,2 кВт каждый. Система охлаждения может быть гибридной. Начало продаж  IBM Power Systems AC922 намечено на 22 декабря 2017 года. В 2018 году будут доступны конфигурации с шестью ускорителями Tesla и СЖО.

Постоянный URL: http://servernews.ru/962463
10.08.2017 [13:40], Алексей Степин

IBM ставит рекорды масштабируемости в сфере машинного обучения

Технологии машинного обучения и искусственного интеллекта на базе нейронных сетей в наши дни являются широко востребованными, на них возлагаются большие надежды в самых различных промышленных и научных отраслях. Очевидно также, что тенденция к распараллеливанию программных алгоритмов и не думает сокращаться, но не всякий софт хорошо масштабируется по мере роста количества вычислительных блоков. Компания IBM это понимает хорошо — она активно работает над оптимизацией программного обеспечения нейронных сетей. Буквально на днях разработчики «голубого гиганта» продемонстрировали новое ПО, которое одновременно ускоряет обучение нейронных сетей и повышает аккуратность самого обучения.

Добиться этого удалось путём программной оптимизации масштабирования при увеличении количества графических ускорителей в системе. Исследовательская группа, возглавляемая Хиллери Хантер (Hillery Hunter), фокусировала свои усилия на уменьшении времени тренировки нейросетей на больших объёмах данных. В таких задачах ждать получения результата можно часами и даже днями, а задачей исследователей было добиться сокращения этого временного промежутка до минут или даже секунд при сохранении или повышении точности. Для этого пришлось активно оптимизировать фирменное программное обеспечение IBM для эффективной работы в системах с большим количеством GPU-ускорителей.

Оптимизации, внесённые в комплекс ПО Distributed Deep Learning (DDL), позволили добиться 95 % эффективности масштабирования в системе с 256 ускорителями NVIDIA Tesla P100. Тестирование было проведено в системе Caffe на задачах распознавания изображений. Полученный результат является новым рекордом. Ранее этот рекорд составлял 89 % и был достигнут командой Facebook при использовании аналогичного аппаратного комплекса. Точность распознавания на базе из 7,5 миллионов изображений достигла 33,8 %, что тоже выше предыдущего достижения, равного 29,8 %. Казалось бы, немного, но предыдущий результат занял у Microsoft 10 дней обучения сети в 2014 году, в то время, как IBM удалось уложиться всего в 7 часов за счёт использования графических ускорителей серии Tesla.

Постоянный URL: http://servernews.ru/956738
01.02.2017 [11:11], Сергей Карасёв

Сервер System76 Ibex Pro может комплектоваться восемью ускорителями NVIDIA Tesla P100

Компания System76 выпустила высокопроизводительный сервер Ibex Pro, который может поставляться с программной платформой Ubuntu Server 16.04.1 LTS или Ubuntu Server 16.10.

Стоечная система может нести на борту два серверных процессора Intel Xeon E5 v4 2600 Series. Объём оперативной памяти DDR4-2400 в максимальной конфигурации достигает 1536 Гбайт. В составе подсистемы хранения данных могут быть задействованы восемь 3,5-дюймовых накопителей с интерфейсом Serial ATA 3.0.

Для системы предлагается установка восьми ускорителей NVIDIA Tesla P100 на архитектуре Pascal. Структура памяти CoWoS (чип-на-пластине-на-подложке) с HBM2 с 4096-битной шиной позволила втрое увеличить полосу пропускания памяти по сравнению с архитектурой NVIDIA Maxwell.

Ускорители Tesla P100 для PCIe характеризуется производительностью 4,7 Тфлопс для вычислений двойной точности, 9,3 Тфлопс для вычислений одинарной точности и 18,7 Тфлопс для вычислений половинной точности с технологией NVIDIA GPU Boost.

Цена сервера System76 Ibex Pro начинается с $9575 и может достигать $114 725. Сконфигурировать систему под собственные нужды можно здесь

Постоянный URL: http://servernews.ru/946856
18.10.2016 [12:48], Алексей Степин

Альянс Google и Rackspace представил сервер на базе IBM POWER9

Не столь давно мы рассказывали читателям о новых версиях процессоров IBM POWER8 с поддержкой шины NVLink. Эти чипы предназначались для использования совместно с новейшими ускорителями NVIDIA Tesla для использования в сфере HPC и машинного обучения. Но POWER8 не является последним поколением процессоров, разрабатываемых «голубым гигантом». Альянс Google и Rackspace объявил о выпуске новой серверной платформы Zaius на базе чипов POWER9. О планах по созданию таких серверов в рамках инициативы Open Compute Project было объявлено ещё весной этого года, а теперь мы имеем дело с реальным глубоко проработанным проектом. Над созданием системы Zaius P9 Server активно работали Google, Rackspace, IBM и Ingrasys, учтены были все возможные пожелания сообщества OCP. В итоге система вышла уникальной. Она поддерживает OpenCAPI 2.0, NVLink 2.0 и четвёртое поколение шины PCI Express; в отличие от предыдущих наработок в рамках OCP в ней используются новейшие процессоры POWER9.

Напомним, что POWER8 имеют внешний кеш L4, объединённый с контроллерами памяти, но в POWER9 эти компоненты переехали в состав процессора. Каждый из двух чипов POWER9 имеет 8 каналов DDR4 с пропускной способностью до 2400 МТ/с и два канала NVLink/OpenCAPI. Это позволяет установить до четырёх ускорителей Tesla и при этом не упереться в нехватку пропускной способности подсистемы памяти. Всего на системной плате сервера имеется 32 слота DDR4 DIMM. Поддержка PCI Express 4.0 будет использована для высокоскоростных навесных сетевых адаптеров формата OCP 2.0. Zaius P9 относится к классу NUMA-систем, процессоры в нём используют собственные контроллеры памяти и общаются между собой посредством двухканальной шины X Bus. На приведённой блок-схеме её пропускная способность не указана, но она наверняка достаточно высока: у IBM, как разработчика серии POWER, огромный опыт в создании мощных серверных систем и мейнфреймов. Из документации IBM понятно, что речь идёт о скоростях порядка 38,4 Гбайт/с × 2.

Примерная компоновка системной платы Zaius P9

Примерная компоновка системной платы Zaius P9

Новые процессоры используют набор инструкций Power ISA 3.0, выпускаются с использованием 14-нм техпроцесса GlobalFoundries и могут иметь о 12 до 24 ядер. Прочие характеристики тоже впечатляют: так, объём кеша L3 на чип может достигать 120 Мбайт, а тактовые частоты — отметки 4 ГГц. По всей видимости, в Zaius P9 установлены чипы версии SO, специально предназначенные для двухсокетных систем. Любопытно, что новые серверы предназначены для работы с основным напряжением питания 48 вольт, поддерживается стандарт 48V-POL. В качестве BIOS или, точнее, BMC (на схеме это ПО предназначено для управляющего процессора AST 25X0), используется полностью открытая разработка Open BMC. Google планирует выдвинуть дизайн Zaius P9 на рассмотрение сообщества OCP Foundation и надеется, что он будет принят, а внедрение нового высоковольтного стандарта питания серверов продолжится. Компания надеется, что новые гетерогенные вычислительные системы открытого стандарта ждёт большое будущее в её собственных облачных проектах.

Постоянный URL: http://servernews.ru/941143
13.09.2016 [15:03], Иван Грудцын

NVIDIA представила ускорители Tesla P40 и Tesla P4

В ассортименте специализированных ускорителей компании NVIDIA появились модели Tesla P40 и Tesla P4, предназначенные для решения задач из области так называемого глубокого обучения (англ. deep learning). С помощью данных устройств самообучающиеся системы могут не только очень быстро делать логические выводы, но и анализировать десятки потоков видео одновременно. Новые адаптеры пришли на смену ускорителям поколения Maxwell — Tesla M40 и Tesla M4.

Tesla P40 использует полную версию графического процессора GP102, который, в свою очередь, является упрощённым вариантом HPC-чипа GP100. Карта оперирует 3840 потоковыми процессорами Pascal, 240 текстурными блоками (TMU), 96 блоками рендеринга (ROP), 384-разрядной шиной памяти и 24 Гбайт локальной памяти стандарта GDDR5. Применение относительно медленных микросхем буферной RAM, работающих на частоте 1800 (7200) МГц, сочетается у Tesla P40 с невысоким номиналом GPU — от 1303 МГц (базовая частота) до 1531 МГц (boost-режим). Пропускная способность подсистемы памяти равна 346 Гбайт/с.

NVIDIA Tesla P40

Энергопотребление модели P40 при полной загрузке GPU составляет в среднем 250 Вт, как и у NVIDIA TITAN X. Система охлаждения выполнена в виде крупного двухслотового радиатора, который должен продуваться вентиляторами серверных стоек. Габариты Tesla P40 равны 267(Д) × 112(Ш) × ~40(В) мм. В соответствии со спецификацией, ускоритель характеризуется производительностью в 12 TFLOPS при операциях с числами одинарной точности и 47 TOPS при целочисленных (INT8) операциях. Кроме того, поддерживается одновременный анализ 35 потоков видео формата H.264.

Возможности Tesla P4 скромнее ввиду использования ядра Pascal GP104. Чип содержит 2560 потоковых процессоров, 160 текстурных блоков, 64 блока растровых операций, шину памяти разрядностью 256 бит и 8 Гбайт GDDR5. Частота GPU довольно мала как для собрата GeForce GTX 1080 — от 810 до 1063 МГц. Микросхемы RAM работают на номинальных 1500 (6000) МГц, обеспечивая общую пропускную способность в 192 Гбайт/с. В зависимости от задач, Tesla P4 может иметь лимит мощности в 50 или 75 Вт. Дополнительное питание карте не требуется.

NVIDIA Tesla P4

Модель P4 выполнена в виде низкопрофильного адаптера с пассивной СО. Устройство демонстрирует производительность в 5,5 TFLOPS (числа одинарной точности) и 22 TOPS (целые числа). Как и P40, её «младшая сестра» может анализировать 35 видеопотоков в режиме реального времени.

Ускоритель Tesla P40 будет задействоваться в составе серверов от авторизованных партнёров NVIDIA начиная с октября, а Tesla P4 дебютирует в ноябре.

Постоянный URL: http://servernews.ru/939332
Система Orphus