Синхронизация VPS Linux с хранилищем объекта (RCLONE)

Поддержание синхронизации VPS Linux с хранением объектов - это разумный способ управления резервными копиями, хранение статических активов или данных разгрузки для производительности и гибкости хранения.

Это руководство проходит через процесс, используя RCLONE, легкий и мощный инструмент, который работает с большинством служб хранения объектов.

Предпосылки

Вот что вы захотите иметь на месте перед началом работы:

• VPS Linux: Вам понадобится доступ к оболочке к вашим VPS.Здесь расположены файлы или каталоги, которые вы хотите синхронизировать.
  
  
• Поставщик хранилища объектов: Есть несколько поставщики услуг хранения объектов на выбор.Выберите тот, который может масштабироваться с вашими ресурсами, интегрируется с существующей инфраструктурой и, конечно, соответствует вашему бюджету.
  
  
• Доступ к учетным данным: Вам понадобится ключ доступа и секретный ключ для аутентификации с API вашего поставщика хранилища.Они надежно используются инструментом синхронизации для взаимодействия с вашим ведром.

Шаг 1: Установите Rclone

RCLONE-это бесплатная утилита командной строки с открытым исходным кодом для управления файлами в облачном хранилище.Он поддерживает множество различных поставщиков и хорошо работает для синхронизации, копирования, шифрования и автоматизации переводов.

1. Войдите в свой VPS через SSH.

ssh user@your-vps-ip

2. Установите Rclone:

curl https://rclone.org/install.sh | sudo bash

Это принесет и установит последнюю версию.

Если вы предпочитаете использовать диспетчер пакетов вашей системы:

Debian/Ubuntu:

sudo apt install rclone

Centos/Rhel:

sudo yum install epel-release
sudo yum install rclone

Федора:

sudo dnf install rclone

Шаг 2: Настройте пульт дистанционного управления

Теперь вы настроите rclone, чтобы он мог поговорить с вашим ведром хранения

Запустите интерактивный инструмент конфигурации:

rclone config

Следуйте этим шагам в меню:

1. выбирать п Чтобы создать новый пульт.
   
2. Дайте ему имя как МиремотПолемЭто имя используется в командах для обозначения соединения
   
3. Выберите своего поставщика хранилища из списка.
   
4. Введите свой ключ доступа и секретный ключ.
   
5. Введите любые конкретные региона конечные точки или конфигурацию по мере необходимости.
   
6. Примите параметры по умолчанию, если вы не знаете, что вам нужно что -то конкретное.
   

Теперь давайте проверим вашу настройку:

rclone ls myremote:

Если все настроено правильно, вы либо увидите список ваших ведер хранилища, либо не вернется ничего, не показывая ошибку.

Эта конфигурация создает продолжение, многократно используемый профиль подключения и позволяет использовать его в нескольких каталогах или сценариях.

Шаг 3: Синхронизируйте ваши файлы

Теперь, когда Rclone настроен, вы можете синхронизировать локальный каталог (например, ваш сайт или файлы проекта) с вашим хранилищем объектов.

Например, скажем, вы хотите создать резервную копию своего сайта с / var / www / html в хранилище вашего объекта:

rclone sync /var/www/html myremote:backups/html --progress

Вот что делает эта команда:

• Сравнивает локальную папку (/var/www/html) с целью хранения объектов (MyRemote: Backups/HTML
• Передает любые новые или обновленные файлы
• Удаляет файлы из пункта назначения, которого больше не существует в локальном источнике (вы можете избежать этого - см. Ниже)

Если вы хотите загрузить только новые или измененные файлы, не удаляя что -либо из пункта назначения, вы можете использовать копия вместо:

rclone copy /var/www/html myremote:backups/html --progress

Шаг 4: Автоматизируйте процесс с помощью Cron

Для автоматического обновления ваших файлов вы можете настроить задание Cron:

1. Повторите свой Crontab:

crontab -e

2. Добавьте эту строку в синхронизацию файлов каждый день в полночь:

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

Вы можете изменить время и путь по мере необходимости.Убедитесь, что путь к Rclone соответствует месту, где он был установлен (что вам скажет).

Шаг 5 (необязательно): зашифруйте ваши файлы

Если вы обрабатываете конфиденциальные данные-файлы использования, внутренние документы или что-то, что вы не хотите,-Rclone позволяет добавлять шифрование на стороне клиента перед загрузкой.

Вот как мы это настроили:

1. снова конфигурация Rclone:

rclone config

2. Добавьте новый пульт и выберите крипта как тип хранения.

3. Укажите его на папку вашего исходного удаленного дистанционного управления (например, Myremote: резервные копии/HTML).

4. Выберите пароль и подтвердите.

После этого вы можете использовать свой зашифрованный пульт для загрузки файлов, подобных этим:

rclone sync /var/www/html mycryptremote:html --progress

Дополнительные настройки для лучшего управления

Вот несколько полезных флагов, которые вы можете использовать:

-Фаст-лист Ускоряет процесс сканирования больших файлов, используя больше памяти во время списка файлов:

rclone sync /var/www/html myremote:backups/html --fast-list

--bwlimit полоса пропускания Caps, чтобы избежать замедления других процессов:

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

--log-file Ведет подробная запись каждого синхронизации в файле журнала:

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

Альтернативы RCLONE

В то время как Rclone является одним из наиболее гибких и широко рекомендуемых инструментов для синхронизации с хранением объектов, есть и другие утилиты, о которых стоит знать, особенно если вы ищете разные рабочие процессы, более глубокую интеграцию или конкретную совместимость.

Вот некоторые альтернативы, как они работают, и когда они могут лучше подходить в зависимости от ваших потребностей.

Сравнение инструментов с первого взгляда

s3cmd-простой и удобный для сценариев

S3CMD - это инструмент командной строки Специально создан для взаимодействия с службами хранения объектов Amazon S3 и S3.Он хорошо подходит для сценариев простой загрузки, загрузки и синхронизации, особенно в заданиях Cron или автоматических трубах развертывания.

Если вы управляете ведрами S3 по окружающей среде или хотите инструмент, который внимательно придерживается API S3, S3CMD предлагает простые, знакомые команды и солидную документацию.

Когда его использовать:

• Вы уже работаете с S3 или совместимым поставщиком (Wasabi, Backblaze B2 с включенным API S3 и т. Д.).
  
• Вам нужен легкий, простой инструмент, который хорошо играет с сценариями оболочки.
  
• Вы предпочитаете инструмент, разработанный специально для протокола S3.
  

Установка:

sudo apt install s3cmd   # On Debian/Ubuntu

Конфигурация:

s3cmd --configure

Вам будет предложено:

• Ключ доступа
  
• Секретный ключ
  
• Конечная точка (если не использует AWS)
  
• Дополнительные настройки шифрования или HTTPS

Пример базового синхронизации:

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - Mount Horese Horage как файловая система

S3FS позволяет вам установить ведро S3, как если бы это был местный каталог.Это означает, что вы можете использовать стандартные команды Linux (CP, MV, RSYNC и т. Д.) Для работы с облачным хранилищем, как вы бы обычный диск.

Это особенно полезно, если у вас есть инструменты, которые не являются облачными, но могут записать на путь файла.S3FS делает его плавным, чтобы перенаправить этот вывод на хранение объектов.Тем не менее, производительность не всегда такая быстрая, как нативные файловые системы, и она не идеальна для высокочастотной активности чтения/записи.

Когда его использовать:

• Вам нужны приложения для чтения/записи файлов, как если бы они были на локальном диске.
  
• Вы работаете с программным обеспечением, которое не поддерживает прямые загрузки облаков.
  
• Вы предпочитаете гибкость прямого доступа к файловой системе к хранилищу объектов.

Установка:

sudo apt install s3fs

Устройства настройки:

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Установите ведро:

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - идеально подходит для интеграций Amazon S3

AWS CLI является официальным инструментом командной строки Amazon для управления почти каждой частью AWS, включая S3.

Если вы делаете больше, чем просто резервные копии - такие как установление разрешений на ковшом, управление управлением версиями или запуск функций Lambda - CLI AWS предоставляет больше управления и опций, чем другие инструменты.

Когда его использовать:

• Вы уже используете службы AWS и хотите интегрировать задачи хранения в свой рабочий процесс.
  
• Вам нужен полный доступ к функциям S3, таким как правила жизненного цикла, разрешения и теги объекта.
  
• Вы хотите совместимость с автоматизацией или конвейерами CI/CD.

Установка (Linux):

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

Настройте это:

aws configure

При запросе, введите:

• Ключ доступа
  
• Секретный ключ
  
• Регион по умолчанию
  
• Формат вывода (JSON, текст и т. Д.)

Пример синхронизации:

aws s3 sync /var/www/html s3://your-bucket-name/html

Заключение

Поддерживать VPS в синхронизации с хранением объектов - это надежный способ резервного копирования данных и сделать контент доступным.Независимо от того, используете ли вы регулярные загрузки или синхронизируете живые папки, Rclone дает вам инструменты для эффективного этого.

Благодаря опциям для шифрования, ведения журнала и автоматизации вы можете настроить систему, которая тихо работает на заднем плане - просто так, как вы этого хотите.