Backup или резервное копирование данных самое важное и необходимое действие. Только постоянное регулярное сохранение резервной копии в надежном месте и их постоянная проверка и мониторинг даст полную гарантию защиты данных от потери.

Введение

Правильное создание и безопасное хранение бэкапов задача важная и необходимая. Можно относится халатно, но тогда в случае проблем можете обнаружить что резервных копий нет или они просто испорчены.

Из статьи вы узнаете как я подхожу к этому вопросу и защищаю бэкапы всех своих ресурсов надежно и безопасно в системах Linux.

В примере будет рассмотрен вариант для резервного копирования файлов и базы данных сайта, но можно этот подход использовать и для других задач.

Можно использовать для резервных копий разные програмные комплексы или пользоватся средствами которыё предоставляют хостинги, но для этого необходимо их изучать или производить финансовые затраты. Лично я предпочитаю использовать механизмы провереные временем и хранить все бэкапы на своих ресурсах.

Основа безопасности бэкапов

Правильность и безопасность бэкапов включает в себя несколько простых правил:

  1. Хранение бэкапов за продолжительный период времени. Вариантов почему лучше хранить бэкапы долго множество. Например, удалили какой то материал, но решили восстановить спустя некоторое время или необходимо найти ошибку когда появилась проблемма которую обнаружили не сразу.
  2. Забарать бэкапы стороним сервером. В идиле лучше использовать под резервные копии специальный сервер использующийся только для бэкапов. В случае если копии бэкапов отправляются с самого сервера где делаются бэкапы это опасно, так как в случае взлома или вируса вы можете потерять все копии.
  3. Мониторинг как создание бэкапа так и аналитика его размеров. Как бы вы не пытались отслеживать периодически сами как делаются бэкапы по закону подлости, когда они потребуются, обнаружите что они или не делаются или испорчены.

Ниже я по порядку опишу все свои действия которые использую на практике. Будут использованы стандартные программы используемые во всех версиях Linux.

Создание бэкапов на сервере

Самое надежное это когда производится создание резервных копии на самом сервере, так как это гарантирует что вы не получите проблем связаных с удаленым подключением к стороним ресурсам. Например, при использовании непосредственого бэкапа на Yndex Disk у меня переодически были ошибки при создании бэкапа.

Структура папок для бэкапов

Создавать папки можно где угодно. Например, мне больше нравится создавать их в корне папку backup и держать там всё что связанно с резервными копиями.

Создадим необходимые папки куда будем ложить бэкапы

mkdir -p /backup/bin
mkdir -p /backup/sevo44.ru/{day,month,source}

-p -- создаст все отсутсвующие папки

В итоге мы получили следующие папки:

  • /backup — папка где будет находиться всё что связано с резервными копиями;
  • /backup/bin — папка где будут находиться скрипты запускаемые по расписанию;
  • /backup/sevo44.ru/day — папка где будут лежать ежедневные бэкапы;
  • /backup/sevo44.ru/month — папка где будут лежать ежемесячные бэкапы;
  • /backup/sevo44.ru/source — папка в которой я храню копии которые были первоночальными. Например, в случае когда ресурс переносится с другова сервера или возвращается в жизнь после продолжительного перерыва в работе.

Backup и его периодичность

Всегда сложно выбрать какой необходим период хранения и интервал резервного копирования. Для меня удобней организовать резервное копирование по следующей схеме:

  • Дневные копии — хранить 30 дней,
  • Месячные копии — хранить год.

Подход к резервированию сугубо личное дело и зависит от множества факторов. Главное чтобы эти копии всегда были доступны, исправны и удовлетворяли вашим требованиям.

Создание скриптов для бэкапов

Создадим два скрипта для ежедневного и ежемесячного бэкапа.

Создадим скрипт который будем ежедневно запускать по расписани:

vim /backup/bin/day-backup-sevo44.ru.sh
= необходимый код =
#!/bin/sh

# Текущая дата в формате 2015-09-29_04-10
date_time=`date +"%Y-%m-%d_%H-%M"`

# Папка для бэкапа
inf_dir='/var/www/sevo44.ru/www'
# Куда размещаем backup
bk_dir='/backup/sevo44.ru/day'

# Название архива с файломи
name_www='www-sevo44.ru'
# Название архива с базой
name_sql='sgl-sevo44.ru'

# Пользователь базы данных
user='sevo44-ru'
# Пароль пользователя базы данных
password='пароль'
# Имя базы данных для бэкапа
bd_name='sevo44-ru'

# Команды для выполнения

# В случае необходимости хранить только последний бэкап
# очищаем папку удаляя только файлы в папке
rm -f $bk_dir/*

# Создание файла с датой для мониторинга в zabbix
echo `date +"%Y-%m-%d_%H-%M"` > $bk_dir/timestamp

# Создание архива папки с файлами
/bin/tar -czvf $bk_dir/$name_www-$date_time.tar.gz $inf_dir

# Создание архива базы данных
/usr/bin/mysqldump --opt -v --databases $bd_name -u$user -p$password | /bin/gzip -c > $bk_dir/$name_sql-$date_time.sql.gz

# Удаляем архивы старше 5-ти дней
#/usr/bin/find $bk_dir -type f -mtime +5 -exec rm {} \;

Для ежемесячных бэкапов создадим такой скрипт:

vim /backup/bin/month-backup-sevo44.ru.sh
= необходимый код =
#!/bin/sh

# Текущая дата в формате 2015-09-29_04-10
date_time=`date +"%Y-%m-%d_%H-%M"`

# Папка для бэкапа
inf_dir='/var/www/sevo44.ru/www'
# Куда размещаем backup
bk_dir='/backup/sevo44.ru/month'

# Название архива с файломи
name_www='www-sevo44.ru'
# Название архива с базой
name_sql='sgl-sevo44.ru'

# Пользователь базы данных
user='sevo44-ru'
# Пароль пользователя базы данных
password='пароль'
# Имя базы данных для бэкапа
bd_name='sevo44-ru'

# Команды для выполнения

# В случае необходимости хранить только последний бэкап
# очищаем папку удаляя только файлы в папке
rm -f $bk_dir/*

# Создание файла с датой для мониторинга в zabbix
echo `date +"%Y-%m-%d_%H-%M"` > $bk_dir/timestamp

# Создание архива папки с файлами
/bin/tar -czvf $bk_dir/$name_www-$date_time.tar.gz $inf_dir

# Создание архива базы данных
/usr/bin/mysqldump --opt -v --databases $bd_name -u$user -p$password | /bin/gzip -c > $bk_dir/$name_sql-$date_time.sql.gz

# Удаляем архивы старше одного года
#/usr/bin/find $bk_dir -type f -mtime +365 -exec rm {} \;

Первая и последняя команда в обоих скриптах взаимоисключающие. При варианте когда мало места и есть возможность хранить только один бэкап первая команда должна выполняться а последняя нет. В случае достаточного места под бэкапы первую команду не выполняем а в последней выставляем количество дней за которые хранятся бэкапы.

После создания скриптов сделаем их исполнительными выполнив необходимую команду:

chmod +x -R /backup/bin

Добавление заданий в cron

Время в которое необходимо выпонять выбирайте на свое усмотрение. В большенстве случаев лучше использовать ночное время так как в это время сервера загружены минимально и можно использовать их ресурсы для выпонения своих внутрених задач.

Обезательно учитывайте время когда делается первый бэкап, так как дальнейшие копии сделаных бэкапов надо делать позже по времени для избежания путаници и правильного мониторинга.

В случае если создается резервная копия для разных ресурсов выставляйте время с учетом времи которое необходимо для создания бэкапа.

Открываем необходимый файл и добавляем нужный код:

vim /etc/crontab
= необходимый код =
### Backup
# sevo44.ru
# ежедневно
20 1 * * * root /backup/bin/day-backup-sevo44.ru.sh >/dev/null 2>&1
# ежемесячно 1-го числа
25 1 1 * * root /backup/bin/month-backup-sevo44.ru.sh >/dev/null 2>&1

Согласно команде каждый день в 1:20 бедет выполнятся скрипт для создания ежедневного бэкапа и ежемесячно первого числа в 1:25 будет создаватся ежемесячная резервная копия.

Перезагрузим cron в системе CentOS для применения изминений:

systemctl restart crond

Проверка создания бэкапов

Убедится что все работает правильно можно только запустив скрипт у посмотреть результат его работы.

Мне больше нравится брать код непосредственно из файла crontab, так как это последнее место которое выявит ошибки связаных с правильностью написания пути к скрипту.

=== Выводим на укран всё что есть заданиях ===
cat /etc/crontab
= часть вывода =
20 1 * * * root /backup/bin/day-backup-sevo44.ru.sh >/dev/null 2>&1

=== Копируем выделеный код и выполняем в консоли ===
/backup/bin/day-backup-sevo44.ru.sh
= часть вывода =
...
/var/www/sevo44.ru/www/modules/mod_syndicate/tmpl/
/var/www/sevo44.ru/www/modules/mod_syndicate/tmpl/default.php
/var/www/sevo44.ru/www/modules/mod_syndicate/mod_syndicate.xml
/var/www/sevo44.ru/www/modules/mod_syndicate/helper.php
/var/www/sevo44.ru/www/LICENSE.txt
-- Connecting to localhost...
-- Retrieving table structure for table oxsht_assets...
-- Sending SELECT query...
-- Retrieving rows...
...
-- Disconnecting from localhost...

Из вывода видно какие файлы забекапились и что база данных тоже успешно зарезервиловалась. Для полной уверности зайдите и проверте наличие созданых архивов.

Осталось дождаться времени выполнения и проверить как отрабатывает команду cron.

Посмотреть результат работы cron можно заглянув в файл:

cat /var/log/cron
= вывод удачной работы задания =
Apr 18 01:20:00 ih378656 CROND[17528]: (root) CMD (/backup/bin/day-backup-sevo44.ru.sh >/dev/null 2>&1)

Никогда не игнорируйте проверку резервных копий и обязательно настройте надежную систему мониторинга.

Создание копии backups используя rsync

В моем случае под всевозможные бэкапы используется специальный сервер настроеный только для бэкапов.

Подключается к серверу с которого надо забирать бэкапы будем по сертификату. Для копирования будем использовать утилиту rsync.

Именно на этом сервере производится мониторинг правильности создания бэкапов и их размеры средствами программы для мониторинга Zabbix.

Узнать как работать со свободным програмным комплексом для мониторинга вы можете из раздела Мониторинг Zabbix.

Возможности этой программы удовлетворят любые потребности для осуществления любых параметров практически любой системы.

Подключение по сертификату

Более подробно о том как настраивать механизм подключения по сертификаты можете найти в статье RSA или авторизация SSH по ключу.

Скопируем на подключаемый ресурс необходимую часть ключа:

ssh-copy-id -i /root/.ssh/id_rsa.pub -p 25555 root@192.168.0.33

После успешного выполнения пробуем подключиться:

ssh -p 25555 root@192.168.0.33

В случае успеха идём дальше.

Для безопасности можно создать пользователя на ресурсе откуда забираете данные и ограничить его только в папке откуда забираем резервные копии.

Создание скрипта для выполнения rsync

Создадим необходимый скрипт:

vim /backup/bin/rsync-lemp.sevo44.ru.sh
= необходимый код =
#!/bin/bash

# Записываем информацию в лог о начале
#echo "`date +"%Y-%m-%d_%H-%M-%S"` Start rsync lemp.sevo44.ru" >> /var/log/rsync-lemp.sevo44.ru.log

# Копирование бэкапов с lemp.sevo44.ru
/usr/bin/rsync -avzhe "ssh -p 25555" root@192.168.0.33:/backup/ /backup/lemp.sevo44.ru
# Зеркало бэкапов с lemp.sevo44.ru
#/usr/bin/rsync --delete -avzhe "ssh -p 25555" root@192.168.0.33:/backup/ /backup/lemp.sevo44.ru

# Записываем информацию в лог о конце
#echo "`date +"%Y-%m-%d_%H-%M-%S"` End rsync lemp.sevo44.ru" >> /var/log/rsync-lemp.sevo44.loc.log

# Удаляем архивы старше 15-ти дней если не использовать параметр --delete 
# 
/usr/bin/find /backup/lemp.sevo44.ru/sevo44.ru/day -type f -mtime +15 -exec rm {} \;

Скрипт задокументирован и выберите параметры исходя из ваших требований.

Расшифрую параметры указаные в коде:

  • a — режиме архива;
  • v — увеличение детализации;
  • z — сжатие данных файла во время передачи;
  • h — вывод чисел в удобочитаемом формате;
  • e — используем ssh подключение.

После создания скриптов сделаем их исполнительными выполнив необходимую команду:

chmod +x -R /backup/bin

Добавление задания в cron

Обезательно учитывайте время когда делается первый бэкап, так как дальнейшие копии сделаных бэкапов надо делать позже по времени для избежания путаници и правильного мониторинга.

В случае если создается резервная копия для разных ресурсов выставляйте время с учетом времи которое необходимо для создания бэкапа.

Открываем необходимый файл и добавляем нужный код:

vim /etc/crontab
= необходимый код =
### rsync
# lemp.sevo44.ru
# ежедневно
30 6 * * * root /backup/bin/rsync-lemp.sevo44.ru.sh >/dev/null 2>&1

Согласно команде каждый день в 6:30 бедет выполнятся скрипт который будет забирать резервные копии согласно вашим пожеланиям.

Дальнейшие проверки аналогичны действиям указаным в разделе выше.

В случае вывода ошибки при выполнении скрипта:

Unexpected remote arg: root@192.168.0.33:/backup/
rsync error: syntax or usage error (code 1) at main.c(1343) [sender=3.1.2]

Смотрите правильность указания всех путей и параметров или выполните в консоли команду rsync —help и разбирайте в параметрах команды.

Использование Yndex.Disk для backups

При регистрации домена мне нравится переводить его управление на Yandex. Для бэкапов создаю отдельный почтовый ящик на домене и туда копирую бэкапы сайта. Удобно передовать заказчику управление доменом и резервные копии в одном месте.

Yandex.Disk дает возможность подключится с помощью WebDav. Необходимо добавить пакет davfs2 для работы по WebDav.

Более подробно с описанием сервиса Yandex Disk вы можете ознакомиться перейдя в раздел техподдержки Яндекса.

Установка Davfs2

Расмотрим настройку на примере системы CentOS 7.

Подключим репозиторий Еpel:

yum -y install epel-release

Установим пакет davfs2:

yum -y install davfs2

Настройка WebDav для Yandex.Disk

Создадим папку куда будем монтировать:

mkdir /backup/mnt/ydisk-sevo44.ru-backups

Чтобы не путаться в конце я указываю логин почты на котором находиться диск.

Смонтируем Yandex.Disk в необходимую папку:

mount -t davfs https://webdav.yandex.ru /backup/mnt/ydisk-sevo44.ru-backups/
= вывод команды с необходимыми данными =
Please enter the username to authenticate with server
 https://webdav.yandex.ru or hit enter for none.
 Username: вводим логин
 Please enter the password to authenticate user zeroxzed@yandex.ru with server
 https://webdav.yandex.ru or hit enter for none.
 Password: вводим пароль
 /sbin/mount.davfs: Warning: can't write entry into mtab, but will mount the file system anyway

Диск смонтировался в указаную папку.

Отмантировать диск можно командой:

umount /backup/mnt/ydisk-sevo44.ru-backups/

Введение вручную данных при монтировании не всегда удобно и для удобства мы автоматизируем этот процесс.

Отредактируем файл /etc/davfs2/secrets, добавив в конец строку с данными для авторизации:

vim /etc/davfs2/secrets
= необходимые данные для добавления =
# путь монитрования - почтовый ящик - пароль
/backup/mnt/ydisk-sevo44.ru-backups/ backups@sevo44.ru password

Так мы можем задать любое количество строчек с необходимыми ресурсами Yandex.Disk.

В случае если вы хотите чтобы диск монтировался при перезагрузке системы то в etc/fstab необходимо добавить строчку:

mcedit /etc/fstab
= необходимые данные для добавления =
https://webdav.yandex.ru /backup/mnt/ydisk-sevo44.ru-backups davfs rw,user,_netdev 0 0
# обязательно переход на новую строку

Теперь при перезагрузке сервера диск автоматически монтируется.

Не советую использовать монитрование через fstab, так как в случае обрыва связи копии не будут копироваться.

Можно конечно настроить механизм который будет окнтролировать это подключение и поднимать его в случае обрыва, но мне это кажется ненужным усложнением.

Создание скрипта для работы с Yandex.Disk

Создалим скрипт для выполнения копирования резервных копий на Yandex.Disk:

vim /backup/bin/ydisk-sevo44.ru-backups.sh
= необходимые данные =
#!/bin/sh

# Монтируем Yandex.Disk
mount -t davfs https://webdav.yandex.ru /backup/mnt/ydisk-sevo44.ru-backups/

# Создание зеркала ежедневных архивов
rsync -avzh --delete /backup/sevo44.ru/day /backup/mnt/ydisk-sevo44.ru-backups/

# Копирование резервных копий  
#rsync -avzh /backup/sevo44.ru/day /backup/mnt/ydisk-sevo44.ru-backups/

# Удаляем копии старше 10 дней при использовани копирования
#/usr/bin/find $bk_dir -type f -mtime +30 -exec rm {} \;

# Отмонтирует Yandex.Disk
umount /backup/mnt/ydisk-sevo44.ru-backups/

# Очищения кэш davfs2
find /var/cache/davfs2/ -mindepth 1 -a -print0 | xargs -n 100 -0 rm -rf

Скрипт выполнит следующие действия:

  1. Сомнтирует удаленый Yandex.Disk;
  2. Сделает зеркало с папки /backup/sevo44.ru/day;
  3. Отмонтирует Yandex.Disk;
  4. Очистит кэш создаваемый при работе davfs2.

Очищать кэш созданый при работе davfs2 надо обезательно иначе место на диске быстро закончиться.

После создания скриптов дадим необходимые права для всех файлов в папке backup:

chmod +x -R /backup/bin

Добавление задания в cron

Откроем для редактирования /etc/crontab файл откуда выполнятся задания:

vim /etc/crontab
= необходимые данные для добавления =
# sevo44.ru backup to Ydisk.Disk
# Каждый день в 6:30 запускается ежедневный backup
30 6 * * * root /root/backup/sevo44.ru/day.sh >/dev/null 2>&1

Перезагрузим cron в системе CentOS 7 для применения изминений:

systemctl restart crond

Проверки осуществляем по аналогии с предыдущими главами.

Заключение

Посторался описать максимально понятно все варианты которые я использую при создании резервных копий данных сайтов. В случае если вы найдете ошибки или знаете как можно улучшить данные примеры пожалуйста напишите в коментариях к статье.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Понравилась статья? Поделитесь ей с друзьями!

Похожие по теме записи

Пожалуйста, оставляйте свои комментарии

Мне это важно, так как получая обратную связь я получаю информацию которая позволяет мне улучшить качество написания статей. Кроме того, оставляя комментарии вы помогаете сайту получить более высокий рейтинг у поисковых систем.

8 комментариев для статьи “Backup надежный и безопасный

  1. Хороший способ . Спасибо.
    По мне есть два недостатка. 1. Пароль от базы передаётся в открытом виде в консоль (например Percona ругается что нельзя так делать, хотя и не препятствует). 2. Добавить бы уведомление на почту по событию — успех или не успех при бэкапе.
    Доработать если — будет лучший способ!

    1. Согласен с недостатками. От использования Yandex диска для бэкапов я отказался, так как периодически бывали ошибки. Сейчас использую совсем другую схему при создании бэкапов о которой расскажу в одной из новый статей.

    2. Алексей, намекните о каком инструменте пойдёт речь 🙂
      Ещё есть такой вопрос — про мониторинг — как считаете monit подойдёт для мониторинга основных узлов веб-сервера? Просто у него настройка скажем так очень дружелюбная. Но за простоту наверняка придётся чем то расплачиваться. Вы пробовали его в работе?
      Читаю ещё статьи вашего коллеги про zabbix — как то очень тяжёлый он для меня. Ещё читал на просторах инета про nagios — если приходилось сталкиваться, дайте пожалуйста отзыв, чисто ощущение от работы/надёжности и пр.

      1. Инструменты обычные rsync и ssh с сертификатом. Главное это подход который позволяет иметь железобетонные бэкапы защищены от любых видов взлома.
        О этот zabbix 🙂 я долго вникал в его нюансы. Сейчас мне кроме него в мониторинге ничего не надо. Дело в том что в сети куча статей про установку и какие то куски про настройку. Документация написана таким хорошим техническим языком что понять что к чему очень сложно. Давно хотел начать писать про zabbix, но не мог до конца разложить по полочкам в своей голове всю основу работы. Сейчас первая статья будет про установку, потом про то как система работает и что может с пояснением видов клиентов и тд. и тп. Подпишитесь и будете получите на почту сообщения о новых статьях. Никаких мусорных рассылок я не делаю.

        1. Подписался. И уже получил на днях первую статью про Zabbix 🙂
          А Duplicity Вы сейчас не используете в работе?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *