AWS представила новый сервис Amazon S3 Files, который «напрямую соединяет любые вычислительные ресурсы AWS с вашими данными в Amazon S3». Компания отметила, что благодаря новому сервису «Amazon S3 становится первым и единственным облачным объектным хранилищем, обеспечивающим полнофункциональный высокопроизводительный файловый доступ к вашим данным». Хранилище обеспечивает полную семантику ФС (NFS 4.1+) и низкую задержку, при этом ваши данные никогда не покидают S3, подчеркнула компания. Новая функция появилась через 20 лет после запуска облака AWS — именно S3-хранилище стало первым публичным облачным сервисом. Он заработал в марте 2006 года.
Объектные хранилища традиционно не используются в HPC-задачах, поскольку обычно требуется POSIX-доступ на чтение и запись отдельных файлов, а не изменение целых объектов и семантика GET/PUT/DELTE. Amazon S3 отдаёт приоритет надёжности и низкой стоимости, в то время как HPC-нагрузкам обычно необходим очень быстрый доступ с низкой задержкой, а цена и надёжность являются второстепенными факторами, пишет HPCwire. S3 Files на базе EFS обеспечивает семантику ФС, такую как согласованность данных при чтении после записи, блокировка файлов и права POSIX в сочетании с масштабируемостью, надёжностью и экономичностью S3. S3 Files уже доступен в 34 регионах AWS.
S3 Files интеллектуально преобразует ФС-операции в эффективные S3-запросы. Файловые приложения работают с данными S3 без изменений в коде, ИИ-агенты сохраняют данные и совместно используют их в разных конвейерах, а инструменты и приложения могут работать с файлами в S3 напрямую из любого инстанса, контейнера и функции. S3 Files использует многоуровневое кеширование данных (и метаданных) для снижения задержки доступа (менее 1 мс) и обеспечивает совокупную пропускную способность чтения до нескольких Тбайт/с. Размер файла по умолчанию для автоматического чтения из традиционного S3 составляет 125 Кбайт. Файлы меньшего размера могут оказаться в высокопроизводительном хранилище и стать доступными через NFS, если служба хранения сочтёт это необходимым; пользователи могут изменить этот параметр.
Источник изображения: AWS
Хотя, возможно, S3 Files, не будет таким же быстрым, как Lustre (который также предлагает AWS), это всё равно довольно быстрый файловый доступ. Поставщики файловых хранилищ, такие как NetApp и Qumulo, уже предоставляют комбинированные сервисы файлового и объектного хранения в AWS. Теперь они столкнутся с усилением конкуренции, отметил ресурс Blocks & Files. Например, есть Amazon FSx for NetApp ONTAP, Dell PowerScale for AWS, VAST AI OS и Cloud Native Qumulo (CNQ). Так, CNQ тоже предлагает более 1 Тбайт/с и 1 млн IOPS при использовании стандартных клиентов NFS.
Аналитики рассматривают нововведение как стратегический шаг AWS по позиционированию S3 как основного слоя хранения данных для ИИ-агентов и современных приложений, выходящий за рамки традиционного использования ИИ в озерах данных и пакетной аналитике, пишет InfoWorld. Ранее предприятиям, разрабатывающим и развёртывающим агентные системы и другие современные ИИ-приложения, обычно приходилось либо формировать отдельную СХД с файловым доступом, либо создавать слой трансляции для работы с S3-хранилищем, отмечает Pareekh Consulting. S3 Files упростит архитектуру хранения, объединив озёра данных, файловые системы и промежуточные уровни хранения в рамках Amazon S3.
Источник:
