Материалы по тегу: s3

15.03.2021 [16:02], Владимир Мироненко

S3, первый сервис публичного облака Amazon AWS, отпраздновал 15-летний юбилей

В минувшее воскресенье объектное хранилище Amazon S3 отпраздновало 15-летний юбилей. Как сообщил главный евангелист Amazon Web Services Джефф Барр (Jeff Barr), в настоящее время в S3 хранится более 100 трлн объектов, и регулярно достигаются пики в десятки миллионов запросов в секунду. Это почти 13 тыс. объектов на каждого жителя планеты или 50 объектов на каждую из примерно двух триллионов галактик (согласно оценке 2021 года) во Вселенной.

Барр рассказал, что сервис начинался с простой концептуальной модели: сегменты с уникальными именами, которые могут содержать любое количество объектов, каждый из которых идентифицируется строковым ключом. Первоначальный вариант API был столь же простым. Эта простота помогла избежать ошибок и оставила немало возможностей для развития S3 с учётом пожеланий клиентов. Все эти решения остаются в силе, и код, написанный в день запуска, будет нормально работать и сегодня.

Предоставление разработчикам возможности легко хранить столько данных, сколько они хотят, с простой моделью ценообразования стало одной из особенностей нового сервиса. Джефф Барр отметил, что с сервис с самого начала создавался с упором на долговечность. «Мы с самого начала знали, что аппаратные, программные и сетевые сбои случаются постоянно, и создали S3, чтобы обрабатывать их прозрачно и изящно. Например, мы автоматически используем несколько массивов хранения, стоек, ячеек и зон доступности (77 и больше)», — рассказал Барр. Наряду с этим компания всегда придерживались принципов безопасности.

«Мы во много раз снизили цену за гигабайт-месяц S3, а также ввели классы хранилища, которые позволяют платить ещё меньше за хранение данных, к которым вы обращаетсь нечасто (S3 Glacier и S3 Glacier Deep Archive) или для данных, которые вы можете воссоздать при необходимости (S3 One Zone-Infrequent Access). Мы также добавили S3 Intelligent-Tiering для отслеживания шаблонов доступа и автоматического перемещения объектов на соответствующий уровень хранения»,— рассказал бывший вице-президент Amazon Колин Брайар (Colin Bryar).

В настоящее время компания продолжает проверять и улучшать каждую часть реализации S3 с целью повышения производительности, масштабируемости и надёжности. В конце апреля компания проведёт бесплатное интерактивное виртуальное четырёхдневное мероприятие World PI Week, в рамках которого руководители и эксперты AWS расскажут об истории AWS и ключевых решениях, которые были приняты при создании и развитии S3.

Постоянный URL: http://servernews.ru/1034872
25.02.2021 [00:57], Владимир Мироненко

Seagate совместно с Equinix анонсировала облачное S3-хранилище Lyve Cloud

Компания Seagate Technology анонсировала Storage-as-a-Service платформу (хранилище как сервис) Seagate Lyve Cloud, созданную в сотрудничестве с Equinix. Lyve Cloud — это S3-совместимое облачное хранилище, которое для того, чтобы помочь клиентам получить большую отдачу от своих неструктурированных данных. С её помощью Seagate намерена предложить дополнительные облачные сервисы вместе с расширением их географии.

Чтобы предоставить Seagate Lyve Cloud большему количеству клиентов, компания размещает инфраструктуру Lyve Cloud в непосредственной близости от Equinix Metal в центрах обработки данных Equinix International Business Exchange (IBX). Это позволит клиентам использовать объектное хранилище как услугу даже на периферии. Пользователи также получат доступ к Equinix Fabric для подключения источников данных к различным пограничным и облачным приложениям для гибридных и мультиоблачных архитектур.

Все вышеперечисленное позволяет уменьшить задержку, поскольку данные хранятся вблизи места их генерации. «Используя Lyve Cloud и платформу Equinix, заказчики получают оптимизированный и экономичный вариант объектного хранилища, которое позволит сделать их облако действительно компонуемым», — отметил директор по стратегии и развитию Equinix Эрик Шварц (Eric Schwartz). Под термином «действительно компонуемый» подразумевается то, что клиенты смогут арендовать определённую ёмкость в определённое время.

Lyve Cloud имеет сертификаты ISO27001 и SOC2. Сообщается, что платформа обеспечивает конфиденциальность, отсутствие привязки к вендору и сборов на исходящий трафик, а также снижает совокупную стоимость владения для хранения больших наборов данных. Lyve Cloud основана на архитектуре конвергентной инфраструктуры для объектного хранения данных Lyve Drive Rack и решении Exos AP (5U84), имеющем до 84 жёстких дисков Exos по 18 Тбайт каждый, а также ПО для хранения CORTX.

Постоянный URL: http://servernews.ru/1033465
19.01.2021 [16:12], Юрий Поздеев

StorCycle 3.3 от Spectra Logic «подружился» с облачными хранилищами AWS и Azure

Spectra Logic обновила свое программное обеспечение (StorCycle версии 3.3) для управление жизненным циклом файлового хранилища, добавив поддержку хранилищ в Azure, AWS S3 Standard и Glacier (включая Deep Archive), а также некоторые другие улучшения. StorCycle позволяет перемещать редко используемые файлы из основного локального хранилища в облачное.

Хранилище от Spectra Logic работает с локальными файловыми NAS, объектными хранилищами с протоколом S3, ленточными библиотеками и публичными облаками. Для пользователя работа с данными значительно не меняется, приложения продолжают работать с файлами, при этом не важно где они физически находятся (отличаться будет только время доступа).

Для внедрения StorCycle доступны два варианта:

  • Архивирование проектов: когда точно известно какие данные где хранятся, позволяет архивировать каталоги с добавлением метаданных. Такой способ подходит для проектов, которые долго не потребуются;
  • Автоматическая миграция: производится сканирование данных, определение файловых хранилищ, структуры каталогов и типов данных. После сканирования можно настроить политики переноса редко используемых данных, в зависимости от даты, размера или типа файла.

Лицензии для StorCycle предлагается в следующих редакциях:

  • Administrator: до 3 пользователей, количество Spectra Storage — без ограничений, Free Cloud Out — 25 Тбайт;
  • Workgroup: до 25 пользователей, количество Spectra Storage — без ограничений, Free Cloud Out — 50 Тбайт;
  • Datacenter: до 100 пользователей, количество Spectra Storage — без ограничений, Free Cloud Out — 100 Тбайт, запланированное удаление данных;
  • Enterprise: без ограничений по количеству пользователей, количество Spectra Storage — без ограничений, Free Cloud Out — без ограничений, запланированное удаление данных.

Лицензии доступны в двух вариантах: постоянные и подписка. Еще одним важным нововведением в StorCycle версии 3.3 является использование открытого RESTful API для сканирования, миграции и восстановлении данных, что позволяет интегрировать StorCycle в систему управления и рабочие процессы организации. Новая версия ПО StorCycle уже доступна клиентам компании.

Постоянный URL: http://servernews.ru/1030442
23.11.2020 [12:51], Юрий Поздеев

Pavilion Data Systems анонсировала HyperOS 3.0

Pavilion Data Systems представила новую версию своей HyperOS, предназначенной для управления высокоплотными и производительными СХД Pavilion. Основным нововведением стало добавление поддержки NFS и S3 в массивы Pavilion Hyperparallel Flash Array, благодаря чему обеспечивается единое пространство имен, упрощается развертывание и масштабирование хранилища, которое позволяет получить доступ к данным по блочным, файловым и объектным протоколам.

Использование глобального пространства имен Pavilion HyperParallel File System позволяет добавлять в одну систему неограниченное количество узлов Pavilion HyperParallel Flash Array, с управлением через единый интерфейс. Поддерживается различная комбинация количества контроллеров, с любой комбинацией протоколов: iSCSI, NVMe-oF/TCP, NVMe-oF/RoCE, NFS, S3, а также поддерживаются внешние файловые системы, такие как IBM Spectrum Scale, Lustre или BeeGFS.

На данный момент Pavilion HeperParallel Flash Array поддерживают порты Ethernet и InfiliBand 100 Гбит/с (до 20 контроллеров и до 40 портов на один HyperParallel Flash Array).

С внедрением поддержки NFS, Pavilion добавляет и новые службы данных для этого протокола: многоуровневое хранение, репликацию, расширенные функции безопасности, моментальные снимки, клонирование, шифрование и сжатие. Сервисы данных для протокола S3 включают в себя сжатие, репликацию, управление доступом к файлам, управление идентификацией, многоуровневое облачное хранение и интеграцию с несколькими облачными провайдерами.

По словам Pavilion Data Systems, дезагрегированное высокопроизводительное хранилище NFS и S3, использующее NVMe-oF и RDMA для снижения задержек, будет иметь решающее значение для предприятий, поскольку они работают с большими объемами данных, в том числе и на границе сети.

По информации от Pavilion Data Systems, ее новая система способна обеспечить пропускную способность 1,2 Тбайт/с при чтении и 900 Гбайт/с при записи, обеспечивая при этом 200 млн IOPS с задержкой, не превышающей 25 мкс на стойку. Еще одной интересной особенностью Pavilion является SWARM-восстановление, когда в случае сбоя диска несколько контроллеров параллельно восстанавливают информацию с вышедшего из строя накопителя, обеспечивая при этом очень быстрое восстановление (более 12 Тбайт информации восстанавливается менее чем за час).

Постоянный URL: http://servernews.ru/1026020
28.07.2020 [23:40], Владимир Мироненко

Backblaze возместит расходы клиентам на переход из AWS S3 в Backblaze B2 Cloud Storage

Backblaze объявила во вторник о всеобщей доступности AWS S3-совместимых API, бета-версия которых вышла 4 мая. По словам вице-президента компании Ахина Томаса (Ahin Thomas), S3-совместимый API значительно упрощает разработчикам доступ к B2 Cloud Storage. Это позволяет им легко адаптировать код и (пере)направлять существующие рабочие нагрузки и инструменты в B2.

Backblaze также запустила программу стимулирования миграции на её сервисы — Cloud to Cloud Migration Program, в рамках которой она оплачивает желающим перейти из AWS S3 в B2 сборы Amazon за передачу данных в облако Backblaze. Это касается пользователей, которые переносят не менее 50 Тбайт данных и будут хранить их не менее года. Если объём перемещаемых данных меньше 50 Тбайт или клиент не желает хранить данные в Backblaze B2 Cloud Storage в течение года, услуга миграции стоит $0,04 за 1 Гбайт.

Генеральный директор Backblaze Глеб Будман (Gleb Budman) выделил две основные проблемы, существовавшие ранее при переносе данных из S3 в облако Backblaze — это сама проблема перехода на B2 и затраты на эту операцию. Ранее клиентам требовалось сначала перенести данные из S3 в локальное хранилище, а затем уже в Backblaze B2. При больших объёмах, данных это могло занять недели или месяцы. Кроме того, клиенты должны платить 9 центов за Гбайт в качестве платы, взимаемой Amazon за перенос данных из её хранилища. Теперь всё стало проще. По словам Будмана, один клиент перенес 700 Тбайт данных в Backblaze B2 менее чем за неделю.

Отметим, что цены Backblaze гораздо более привлекательные, чем у конкурентов. Если у Amazon S3 расценки на хранение данных начинаются с $0,021 за Гбайт в месяц при частом доступе, то хранение в Backblaze B2 обходится в $0,005 за Гбайт в месяц. За два месяца бета-тестирования около 3000 клиентов использовали более 1000 уникальных S3-совместимых инструментов для взаимодействия с S3-слоем.

Постоянный URL: http://servernews.ru/1016868
08.06.2020 [14:29], Юрий Поздеев

Fujifilm создала объектное S3-хранилище для ленточных библиотек

Традиционно ленты используются как долговременное хранилище для резервных копий. Запись осуществляется последовательно, по мере заполнения кассеты с лентой она либо перезаписывается с начала, либо хранится как отчуждаемая копия в отдельном помещении.

Последним крупным нововведением в области ленточных хранилищ стало внедрение особой файловой системы LTFS в 2011 году. Работа упростилась настолько, что добавлять и извлекать файлы или каталоги стало можно простым перетаскиванием мышью.

Несмотря на то, что многим ленточные системы кажутся архаичными, они продолжают развиваться, и теперь Fujifilm разработала метод переноса объектов и их метаданных с жестких дисков или SSD на ленточную систему. 

Новый фреймворк с открытым исходным кодом называется OTFormat, он позволяет записывать и читать объекты без преобразования и дополнительной обработки. ПО Object Archive от Fujifilm использует OTFormat и предоставляет интерфейс API S3, что позволяет встроить ленточное хранилище во множество современных систем хранения.

Самое главное преимущество ленты — цена. Она до сих пор является самым дешевым способом хранения информации, обходя по этому показателю даже публичное облако. Однако относительно низкая скорость чтения/записи и особенность доступа позволяют использовать ленточные библиотеки только для архивных данных, где допустимо долгое время восстановления информации.

Согласно официальной документации Fujifilm, лента имеет 4-х кратное превосходство по надежности перед жесткими дисками. Также не стоит забывать, что кассеты являются отчуждаемыми копиями (т.е. могут храниться отдельно годами), что является хорошей защитой от разнообразных программ-шифровальщиков и других возможных атак.

Текущее поколение ленты, LTO-8, позволяет хранить до 12 Тбайт несжатых данных, однако уже есть планы по развитию вплоть до LTO-12 ёмкостью 192 Тбайт. Таким образом, есть еще большой запас у самой технологии хранения на магнитной ленте и ее рано списывать со счетов.

На данный момент пока нет информации о том, как будет выглядеть интерфейс нового фреймворка от Fujifilm, однако анонс должен произойти в ближайшие месяцы.

Постоянный URL: http://servernews.ru/1012871
07.02.2012 [12:07], Георгий Орлов

Сервис Amazon S3 преодолел отметку в 760 млрд хранимых объектов

Представители компании Amazon сообщили, что 2011 год стал годом беспрецедентного роста облачного сервиса хранения данных Amazon S3 (Simple Storage Service). Amazon предпочитает не раскрывать финансовые данные, касающиеся облачных сервисов AWS, но периодически сообщает некоторые цифры, которые позволяют судить о масштабах деятельности компании в этой области и динамике роста этих масштабов. За период с четвертого квартала 2010 года по четвертый квартал 2011 года количество хранимых пользователями в облаке S3 объектов утроилось. По словам Джеффа Барра (Jeff Barr), который был одним из творцов Amazon Web Services, в облаке S3 хранится сейчас примерно 762 миллиарда объектов, то есть примерно по 108 объектов на каждого жителя планеты.

aws

По мнению обозревателя интернет-издания Data Center Knowledge Рича Миллера (Rich Miller), такой рост объема облачных операций Amazon "почти наверняка" сопровождается серьезными финансовыми успехами компании. Приведенные Барром цифры свидетельствуют о том, что Amazon продолжает сохранять лидирующие позиции в сфере облачных сервисов. Этот рынок уже не является новым, и компании сейчас приходится конкурировать сразу с несколькими крупными провайдерами. Именно поэтому сообщение о годовом росте облака Amazon S3 на 290% произвело на аналитиков отрасли самое серьезное впечатление.

Источник:

Постоянный URL: http://servernews.ru/595423
15.12.2010 [17:33], Валерий Косихин

Лимит размера файла на хостинге Amazon S3 увеличен до 5 Тбайт

Компания Amazon объявила о значительном увеличении квоты на размер файла при использовании файлового хостинга S3 (Simple Storage Service). Теперь там разрешено хранить файлы объемом от одного байта до 5 Тбайт.

До сей поры при необходимости передать друг другу файл, превышающий по объему 5 Гбайт, пользователи были вынуждены разделять его на несколько более мелких, а затем "сшивать" воедино с помощью промежуточного сетевого сервиса или программы на стороне получателя. Увеличение квоты на три порядка позволит хранить в недрах Amazon S3 такие массивные объекты, как медицинские базы, несжатые видеозаписи высокого разрешения или бекапы серверов. Для закачки гигантских объемов на хостинг предназначен специальный Multipart Upload API – он же использовался ранее для разделения таких крупных файлов.

Участники проекта OpenStack также работают над поддержкой файлов колоссального размера. Менеджер сообщества разработчиков Брег Пиатт (Bret Piatt) из компании Rackspace заверил, что эта опция станет доступна в начале следующего года вместе с новой версией продукта под кодовым названием Bexar. Новый лимит размера файла составит те же самые 5 Тбайт, что и у Amazon.

Напомним, что OpenStack – это продукт с открытым исходным кодом, с помощью которого можно развернуть полный аналог сервисов S3 и Elastic Compute Cloud. В качестве главной движущей силы проекта OpenStack выступают альянс Rackspace и NASA. Основным ПО системы являются "облачный" контроллер Nova, разработанный NASA, и Cloud Files – контроллер хранилища от Rackspace.

Источник:

Постоянный URL: http://servernews.ru/593944
Система Orphus