Перейти к содержимому
WebShield Docs

Объектное хранилище (S3)

S3-совместимое объектное хранилище WebShield — бакеты, ключи доступа, тарификация и настройка клиентов.

Объектное хранилище WebShield — S3-совместимое, для бэкапов, медиа, логов и данных приложений. Подойдёт любой S3-клиент: aws CLI, rclone, s3cmd, SDK AWS.

  • Endpoint: https://s3.webshield.pro (path-style адресация: https://s3.webshield.pro/<bucket>/<key>)
  • Оплата: платите за то, что реально храните и отдаёте. Хранимый объём — за ГБ в месяц, исходящий трафик — сверх бесплатного лимита. Списание с баланса — раз в месяц. Актуальные цены — на странице услуги.
  1. Откройте раздел Хранилище S3 в личном кабинете.
  2. Нажмите Подключить хранилище — появится первый ключ с полным доступом ко всем бакетам.
  3. Сразу сохраните Secret Access Key: он показывается один раз, при выпуске ключа.

Раскройте Подключение по S3 и ключи доступа под списком бакетов: здесь находятся адрес сервера и ключи. При первом подключении этот блок открывается сам. Кнопка Новый ключ открывает окно с названием, правами, бакетами и сроком действия. Выпущенные ключи показаны строками таблицы. Для работы с файлами в браузере отдельный ключ не нужен.

Один ключ на всё — удобно, пока его не украли. Заведите отдельный ключ под каждое приложение: бекап сервера, сайт, CI. Утечёт ключ сайта — бекапы останутся недосягаемы.

У ключа три уровня прав:

Права Что умеет
Чтение скачивание и список файлов
Чтение и запись ещё загрузка, удаление, теги; ставит срок блокировки при записи, но снять защиту Object Lock не может
Полный доступ всё, включая обход GOVERNANCE и снятие legal hold
  • Ключ действует на выбранные бакеты или на все, включая будущие. Удалили последний бакет ключа — ключ перестаёт работать, а не получает доступ ко всему.
  • Можно задать срок: после него ключ отключается сам.
  • Права и бакеты ключа не меняются. Нужны другие — выпустите новый ключ, переключите на него приложение и удалите старый. Так же делается и плановая смена ключа.
  • Новый ключ начинает работать, удалённый — перестаёт, в течение минуты.
  • Ключей на аккаунт — до 20.

Нажмите Создать бакет: в открывшемся окне задайте имя и регион. В форме видно полное имя с префиксом аккаунта. После создания сразу откроются файлы нового бакета.

  • Имена бакетов автоматически получают префикс аккаунта (например, u42-): вы вводите backups, итоговый бакет — u42-backups. В S3-клиентах используйте полное имя.
  • Бакеты создаются сразу после регистрации, без предоплаты: при первом бакете кабинет попросит согласиться с оплатой по факту. До первой оплаты действуют ограничения: не больше двух бакетов по 10 ГБ и 50 ГБ трафика публичных бакетов в месяц (сверх — анонимное чтение закрывается до конца месяца). Заполненный бакет становится «только для чтения», и удалить из него файлы тоже не получится. Пополнение на любую сумму снимает ограничения.
  • При создании бакета выбирается регион: ru-1 (Россия) или eu-1 (Европа). Регион определяет, где данные хранятся постоянно; он задаётся при создании и не меняется. Endpoint для всех регионов один и тот же.
  • По умолчанию бакет приватный. Публичный бакет разрешает анонимное скачивание объектов по прямой ссылке (https://s3.webshield.pro/<bucket>/<key>) — например, для картинок и файлов сайта; листинг содержимого при этом остаётся закрытым. Доступ переключается галочкой Публичный в разделе Настройки бакета; изменение применяется в течение минуты.
  • Кнопка «Файлы» у бакета открывает встроенный файловый менеджер: просмотр папок, загрузка небольших файлов, скачивание и удаление объектов. Для массовых операций и крупных объектов используйте S3-клиент.
  • Галочка в шапке файлов выделяет загруженные строки. Выбор папки включает всё её содержимое, даже если она не раскрыта; следующие страницы списка выбираются отдельно. Корзина справа в шапке удаляет выбранное и доступна, когда есть выделенные объекты.
  • Во время загрузки видны ход передачи и кнопка отмены; после передачи дождитесь сохранения на сервере. После отмены или ошибки часть файлов могла сохраниться — проверьте список перед повтором.
  • Имя может содержать строчные буквы, цифры и дефисы (до 40 символов).
  • Бакеты создаются и удаляются только в личном кабинете. Удаление непустого бакета запрашивает отдельное подтверждение и безвозвратно удаляет все объекты.
  • Версионирование включается галочкой в разделе Настройки бакета: при каждой перезаписи объекта сохраняется его предыдущая версия, удаление ставит delete-маркер вместо стирания. Версии доступны стандартными S3-вызовами (list-object-versions, get-object --version-id, восстановление — копированием нужной версии поверх текущей).
  • Защита от удаления — срок блокировки файлов бакета, см. ниже.
  • Object Lock (WORM) включается галочкой в разделе Настройки бакета и сам ничего не блокирует: срок задаёт защита от удаления или S3-клиент (put-object-retention). Режим GOVERNANCE обходит ключ с полным доступом, поэтому от кражи такого ключа защищает только COMPLIANCE. Object Lock работает на версиях объектов, поэтому включает и версионирование.
  • Обе настройки необратимы (как в AWS S3): выключить версионирование или Object Lock после включения нельзя.
  • Старые версии занимают оплачиваемое место наравне с обычными объектами. Без защиты от удаления старые версии автоматически не чистятся — удаляйте ненужные S3-клиентом (delete-object --version-id).
  • Версии, как и обычные объекты, хранятся в хранилище региона наравне с текущими данными.

Срок — 7, 14, 30 или 90 дней — выбирается в разделе Настройки бакета → Защита от удаления. Там же находятся восстановление удалённых файлов и удаление бакета.

  • Каждый файл, записанный в бакет, хранилище блокирует на этот срок. Запрос на удаление только прячет файл, перезапись создаёт новую версию — прежние данные остаются.
  • Файлы, лежавшие в бакете до включения, блокируются первым проходом сразу после включения.
  • Блокировку файлов, которые не удаляли, хранилище продлевает само, раз в полсрока.
  • Удалённое и перезаписанное хранится до конца срока и затем удаляется автоматически, раз в сутки. Пока хранится — занимает оплачиваемое место.
  • Вернуть удалённое снимает удаление с файлов, удалённых после указанного момента, если их срок ещё не вышел. Если ключ украли — сначала удалите его.
  • Сократить срок для уже записанных файлов нельзя: новый срок и выключение действуют для новых файлов, прежние блокировки доживают свой срок. Пока они действуют, бакет не удалить.
  • Включение защиты включает версионирование и Object Lock, выключить их потом нельзя.

Object Lock без защиты от удаления ничего не блокирует. Обычное удаление оставляет прежнюю версию, но удаление конкретной версии (aws s3api delete-object --version-id, rclone с --s3-versions) стирает её сразу и безвозвратно. Старые версии при этом сами не чистятся.

Пример для бэкапов — руководство по restic.

Объём файлов и начисления S3 за текущий месяц видны над списком бакетов. Трафик и ставки — в раскрывающемся блоке Потребление и стоимость. Общий баланс с учётом всех услуг и платежей находится в разделе Баланс и расчёты по всем услугам по ссылке из этого блока.

  • Хранение тарифицируется за ГБ·месяц по среднесуточному объёму: ежедневно начисляется 1/N месячной цены (N — дней в месяце).
  • Исходящий трафик бесплатен в пределах трёхкратного среднемесячного объёма хранения (храните 100 ГБ — 300 ГБ отдачи в месяц бесплатно); сверх лимита тарифицируется за ГБ. Входящий трафик и операции (GET, HEAD, LIST, PUT, POST и т.д.) не тарифицируются и не ограничиваются по количеству.
  • Начисления видны в кабинете каждый день, а списываем с баланса раз в месяц — по итогам календарного месяца.
  • Если после списания баланс ушёл в минус, доступ не отключается сразу: мы отправим уведомление с просьбой оплатить счёт. Если долг не погашен в течение 7 дней, хранилище переводится в режим «только чтение»: скачивание работает, загрузка отклоняется, данные не удаляются. Полный доступ восстанавливается автоматически после оплаты.
  • Одиночный PUT ограничен 5 ГБ; более крупные объекты загружайте через multipart upload (S3-клиенты делают это автоматически).
  • Объекты публичных бакетов раздаются через ближайший к посетителю edge-узел WebShield и кешируются на нём: повторные скачивания и Range-запросы (перемотка видео) обслуживаются локально, без похода в хранилище.
  • После перезаписи объекта под тем же именем старая версия может отдаваться из кеша до 1 часа. Нужна мгновенная смена — загрузите файл под новым именем (например, с версией в имени: logo-v2.png).
  • Заголовок Cache-Control, заданный при загрузке объекта, учитывается и edge-кешем, и браузерами: для неизменяемых файлов задайте длинный max-age.
  • Подписанные запросы (S3-клиенты с ключами, presigned-ссылки) не кешируются и всегда идут к хранилищу напрямую.
  • Отключение публичности бакета останавливает раздачу (включая закешированные объекты) в течение одной-двух минут.

С endpoint WebShield работает любой S3-совместимый клиент. Пошаговые инструкции по настройке:

  • AWS CLI — официальный клиент командной строки.
  • rclone — синхронизация и зеркалирование каталогов.
  • s3cmd — лёгкий клиент командной строки.
  • SDK — boto3 (Python), JavaScript, Go, PHP.

Настроить ночные бэкапы компьютера, сервера и баз 1С — руководство по restic.

В любом клиенте нужны три вещи: endpoint https://s3.webshield.pro, пара ключей доступа из личного кабинета и path-style адресация.

  • Используйте path-style адресацию (большинство клиентов включают её автоматически при нестандартном endpoint; в boto3 это поведение по умолчанию).
  • Трафик к endpoint проходит через edge WebShield с rate-limit и защитой.