Как появление Linux привело к созданию крупнейшего в мире облака AWS

 

Сегодня работа серверного оборудования под управлением Linux никого не удивляет: «пингвин» проник практически во все ИТ-сферы, включая HPC и облачные службы. Но так было не всегда. Если верить рассказам бывшего сотрудника Amazon, своим существованием столь популярная ныне облачная служба AWS (Amazon Web Services) обязана именно Linux.

В наши дни серверная архитектура в существенной степени унифицирована, как, впрочем, и «железная» инфраструктура — к так называемой «коммодизации» рынок стремился давно. Основой служит стандартная стоечная система с одним-двумя процессорами Intel Xeon или AMD EPYC, в нужных случаях дополненная ускорителями, «умными» сетевыми адаптерами, а в последнее время и DPU. В начале двухтысячных в этом мире доминировала вовсе не связка x86/Linux.

Как рассказал в своём Twitter бывший сотрудник Amazon, Дэн Роуз (Dan Rose), работавший в Amazon в период с 1999 по 2006 годы, основные затраты компании в то время приходились на ЦОД, оснащённые по последнему слову техники. Этим «последним словом» в то время являлись серверы Sun с SunOS, лучше всего отвечавшие девизу «get big fast» и обеспечивавшие высокую доступность запускаемых на них служб.

Недостатки у аппаратного и программного обеспечения Sun были характерными для любого проприетарного решения: стоимость и ориентация на закрытое фирменное программное обеспечение. Но таков был тогда рынок UNIX-систем: все крупные игроки вроде Sun, HP, IBM или SGI поддерживали свой вариант операционной системы, несовместимый с оборудованием соседнего поставщика.

2000-2003 годы: доля процессоров Sun SPARC довольно велика, победное шествие x86 только начинается

2000-2003 годы: доля процессоров Sun SPARC довольно велика, победное шествие x86 только начинается

Как мы знаем из истории, поздние девяностые годы ознаменовались первым интернет-бумом. Казалось, росту и развитию сетевых технологий не будет конца: всевозможные интернет-стартапы появлялись, как грибы после дождя; к 1999 году 39% венчурного капитала пришлось на такие компании. В таких условиях использование дорогого, но надёжного оборудования Sun было оправданной стратегией.

Однако в двухтысячных случилось то, что сегодня называют «крахом доткомов». К концу 2001 года индекс NASDAQ рухнул сразу на 62%. Доходы интернет-компаний обвалились, они стали разоряться одна за другой. Сказалось это и на рынке оборудования: часто новейшие серверы распродавались на eBay по цене в десять раз ниже изначальной, и это ударило по Sun, которая впоследствии так и не сможет оправиться от такого удара.

Sun Enterprise 10000: четыре процессора UltraSPARC-II, 400 МГц, 8 Мбайт кеша, 2 Гбайт оперативной памяти

Типичный сервер Sun Enterprise 10000: четыре процессора UltraSPARC-II, 400 МГц, 8 Мбайт кеша, 2 Гбайт оперативной памяти

Удар сказался и на Amazon. Теоретически, крах доткомов мог бы стать основанием для пересмотра договоров с Sun в более выгодную для Amazon сторону, но Безос выбрал более радикальный вариант. Вся инженерная часть компании была брошена на проект по переводу ИТ-инфраструктуры с Sun/SunOS на серверы HP, работающие под управлением Linux. По меркам 2000 года это было довольно смелое предприятие: ядро Linux 1.0.0 появилось лишь в 1994 году и ещё не успело снискать славы как основа для надёжной серверной системы.

Проект занял все силы Amazon. Разработка всех новых продуктов была приостановлена, успех означал снижение стоимости ИТ-инфраструктуры на 80% и более, но неудача грозила смертью компании. И к такому состоянию компания была близка в период 2000-2003 годов. Однако, как рассказывает Роуз, переход на Linux увенчался успехом и сайт вновь заработал надёжно; более того, выяснилось, что в распоряжении Amazon теперь имеется легко масштабируемая практически до бесконечности инфраструктура.

Linux 1.0.0, 1994 год

Как крупная торговая сеть, Amazon сталкивалась с сезонными пиками и падениями спроса, которые соответствующим образом отражались и на загрузке серверного оборудования. Если в период рождественских и новогодних праздников она была максимальной, то в остальное время года часть оборудования неизбежно простаивала. У основателя компании, Джеффа Безоса, родилась логичная мысль: почему бы не сдать эти мощности в аренду другим компаниям?

Этот момент и следует считать началом зарождения облачных служб AWS, какими мы их знаем сегодня. Переход на Linux сделал ИТ-инфраструктуру Amazon проще и однороднее, а крах доткомов для ряда сегментов сделал арендную модель существенно более выгодной, нежели строительство собственных ЦОД. По всей видимости, идея «облаков» зародилась бы и без Amazon, но, как считает Роуз, неизвестно, насколько позже это могло бы произойти в альтернативной истории.

AWS Graviton2: 64 ядра, 32 Мбайт L3, ARM Neoverse N1

AWS Graviton2: 64 ядра, 2,5 ГГц, 32 Мбайт L3, ARM Neoverse N1

Сегодня AWS — огромный бизнес, предоставляющий массу самых разнообразных ИТ-услуг. Возможно, очередная смена эпох и закат x86 на за горами: в распоряжении компании имеется собственный процессор Graviton2 на базе архитектуры ARM, но системы на его основе в любом случае будут функционировать под управлением Linux. Впрочем, с ростом популярности SaaS, managed-сервисов и serverless-решений конечному потребителю всё менее важно, на каком именно программно-аппаратном стеке работают системы.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Источник:

Постоянный URL: https://servernews.ru/1031172

Комментарии

Система Orphus