Les sauvegardes
Sauvegarder son système, ses données
Sauvegarder son système ou ses données : que garder ? Quels logiciels utiliser ? Sur quel support ?
Que sauvegarder
Avant d'entamer les différentes manières et d'apprendre les divers outils permettant d'effectuer une sauvegarde, il est tout d'abord nécessaire de définir ce que l'on souhaite sauver. On peut soit choisir de sauvegarder uniquement ses données importantes (plus simple à mettre en place), soit son système entier.
Les types de sauvegardes
Il existe deux types de sauvegardes :
- Totales : avec une sauvegarde totale, on sauve l'intégralité des données que l'on souhaite garder
- Partielles : Une sauvegarde partielle suit une sauvegarde totale ou une sauvegarde partielle. Ici, nous allons seulement sauver les nouveaux fichiers ou ceux qui ont été modifiés depuis la dernière sauvegarde. Cette sauvegarde est beaucoup plus rapide, mais peut demander beaucoup de manipulations en cas de restauration. Pour restaurer, il faudra partir de la dernière sauvegarde totale, puis passer dans l'ordre chronologique les sauvegardes partielles.
Les médias
Les médias possibles sont :
- CD/DVD : ils permettent de stocker les données par tranches de 650 Mo, 700 Mo, 4.7 Go ou 8 Go. Ces médias optiques ont un support chimique, ce qui implique une déterioration avec le temps. Un CD gravé aujourd'hui et stocké dans son boîtier ne sera peut être pas lisible dans 10 ans!
- disque dur : ce disque peut être interne, usb, un disque réseau (NAS), ou un partage réseau (lufs/nfs/samba/ftp). Il présente d'avoir l'avantage d'une capacité plus importante, voire la possibilité d'externaliser ses sauvegardes (utile si la maison brûle).
- Clé usb : leurs capacités augmentent et peuvent être supérieures à celle d'un CD. Un de ses avantages est que c'est un média de stockage peu cher qui peut fonctionner sur d'anciens ordinateurs (pas besoin de graveur). C'est un des médias les plus pratiques : rapidité d'écriture par rapport à un CD (pas d'image à faire), peu encombrant, mais il est limité en cycles de lecture/écriture.
Le choix du média sera dicté en partie selon la quantité de données à sauvegarder.
Les outils de sauvegarde
Avant de sauvegarder, il faut commencer par recenser ce que l'on souhaite garder. De plus, l'idée serait que les utilisateurs n'aient aucun fichier en cours de modification au moment de la sauvegarde. On ne pourra pas garantir, le cas contraire, que son fichier sera bien sauvegardé.
la commande tar
La commande tar permet de sauvegarder un ensemble de fichiers dans une archive qui peut être compressée. Les fichiers ne seront donc pas directement lisibles.
Sauvegarde avec tar
Présentation des options
Pour créer une archive, il suffit d'utiliser la commande: tar c nom_archive [fichier repertoire1] [fichier ou repertoire2]... Différentes options peuvent s'avérer utiles :
- -v : mode verbeux, liste les fichiers qui sont en cours d'archivage
- -z (resp. j) : permet de compresser l'archive avec le format gzip (resp. bzip2). Le format bzip2 permet d'avoir des fichiers plus petits au coût d'un traitement plus long
- --preserve : permet de sauvegarder les permissions. De plus, lors de la restauration, les fichiers seront "détarrés" dans le même ordre
- --same-owner : permet de sauvegarder l'appartenance du fichier
- -T fichier : fichier est un fichier où chaque ligne correspond à un fichier ou répertoire à sauvegarder
- -X fichier : fichier est un fichier où chaque ligne correspond à un fichier ou répertoire à exclure parmis les répertoires à sauvegarder
- --exclude=fichier : fichier sera exclu de la sauvegarde
- -N date : permet de ne sauvegarder que les fichiers postérieurs à la date définie. La date doit être fournie sous la forme AAAA-MM-JJ HH:MM:SS". On obtient se format grâce à la commande date "+%Y:%m:%d %H:%M:%S"
- --totals : affiche le nombre d'octets écrits lors de la sauvegarde
- -g fichier : permet d'effectuer des sauvegardes incrémentales, en se basant sur un fichier de status. Ce fichier est soit utilisé (sauvegarde incrémentale), soit créé (sauvegarde full). Attention, cette option n'est valable que pour les versions GNU!
ATTENTION: Il faut toujours exclure les répertoires /dev et /proc! Sous linux, tout est fichier. Le matériel est identifié dans /dev par des fichiers spéciaux. Vouloir sauvegarder /dev via tar est vain. Dans /proc, il y a un fichier spécial, /proc/kcore, qui correspond à la RAM de l'ordinateur. Je n'ai pas fait le test, mais le "restaurer" est à vos risques et périls (kernel panic).
Exemple de sauvegarde de données
Voici un petit script permettant de mettre en place une sauvegarde totale et/ou différentielle de données :
#!/bin/bash
# Options # -d : sauvegarde differentielle # -h : affiche les options possibles
# Si on demande l'aide, on l'affiche, et on sort if [ "$1" = "-h" ] ; then echo "Usage : $0 : sauvegarde totale" echo "Usage : $0 -d : sauvegarde différentielle" echo "Usage : $0 -h : cette aide" fi
# Initialisation des variables DATE=$(date "+%Y-%m-%d %H:%M:%S") TYPE="FULL" REP=/backup FICHIER_EXCLUDE=/etc/save.exclude FICHIER_INCLUDE=/etc/save.include FICHIER_STATUS=/etc/save.state COMPRESSION=9
# Si le script est appelé avec l'option "-d", alors on fait une sauvegarde différentielle if [ "$1" = "-d" ] ; then TYPE="INCR" tar cP --atime-preserve -g $FICHIER_STATUS --preserve --same-owner --totals -T $FICHIER_INCLUDE -X $FICHIER_EXCLUDE | gzip -$COMPRESSION > ${REP}/save-INCR-${DATE}.tgz # Sinon, on fait une sauvegarde totale else rm -f $FICHIER_STATUS tar cP -g $FICHIER_STATUS --atime-preserve --preserve --same-owner --totals -T $FICHIER_INCLUDE -X $FICHIER_EXCLUDE | gzip -$COMPRESSION > ${REP}/save-FULL-${DATE}.tgz fi
Exemple de sauvegarde système
Le script suivant permet de faire une sauvegarde système, plus complet, a pour but de faire une sauvegarde système sur un serveur NFS. Il utilise un fichier de configuration. Le prérequis est de renseigner le fichier /etc/save.conf et d'utiliser udev.
Le fichier save.conf doit être de la forme :
# Le reste est optionnel
#COMPRESSION=1 #SERVEUR="10.0.0.2:/path #MONTAGE="/mnt/nfs" #INCLUDE="/toto"
Et le script :
#!/bin/sh
# Options # -d : sauvegarde differentielle # -h : affiche les options possibles
# Si on demande l'aide, on l'affiche, et on sort if [ $1 = "-h" ] ; then echo "Usage : $0 : sauvegarde totale" echo "Usage : $0 -d : sauvegarde différentielle" echo "Usage : $0 -h : cette aide" fi
PID=$$
# On donne une priorité faible au processus pour ne pas dégrader les performances des autres applications renice +19 $PID . /etc/save.conf
MONTAGE=${MONTAGE:="/tmp/save.$PID"} SERVEUR=${SERVEUR:="10.0.0.1:/backup"}
COMPRESSION=${COMPRESSION:=9} NOM=$(hostname) CONFIGURATION=${MONTAGE}/${NOM}.conf DATE="$(date "+%Y-%m-%d %H:%M:%S")" FICHIER_EXCLUDE=/tmp/save.$PID.exlude FICHIER_INCLUDE=/tmp/save.$PID.include FICHIER_STATUS=/etc/save.state LVMVERSION=1
affiche_action() {
echo -e "$1 ........... \c"
}
affiche_resultat() {
if [ $1 = 0 ] ; then echo -e '[\c' tput setaf 2 echo -e "OK\c" tput setaf 7 echo -e ']' return 0 else echo -e '[\c' tput setaf 1 echo -e "KO\c" tput setaf 7 echo -e ']' return 1 fi
}
quit() {
affiche_action "Nettoyage en cours" rm -f $FICHIER_EXCLUDE rm -f $FICHIER_INCLUDE umount $MONTAGE rmdir $MONTAGE affiche_resultat $? exit $1
}
# Montage du partage nfs affiche_action "Montage du partage NFS vers $SERVER" mkdir $MONTAGE mount -t nfs $SERVER $MONTAGE affiche_resultat $? || quit 1
# Sauvegarde des donnees de partitionnement affiche_action "Sauvegarde du partitionnement" echo "[disks]" > $CONFIGURATION /sbin/fdisk -l | tr '*' ' ' | awk '/^\/dev/ {print $1,$2,$3,$5}' >> $CONFIGURATION affiche_resultat $? || quit 1
echo "[bootdisk]" >> $CONFIGURATION fdisk -l | awk '/^\/dev\/.*\*/ {print $1}' >> $CONFIGURATION
# Sauvegarde du lvm : PV, VG, LV et version du LVM affiche_action "Sauvegarde des groupes de volumes du LVM"
echo "[LVM-VG]" >> $CONFIGURATION liste=$(pvscan | grep -o 'PV.*/dev/.*VG.*' | tr -d '"' | sed 's,^.*PV \(/dev/[^ ]*\).* VG \([^ ]*\).*,\1 \2,') liste2=$(echo $liste | grep -o '/dev/[^ ]*') for element in $liste2 ; do LVM=1 $REP/bin/lvm.static pvscan 2>/dev/null | grep $element 2>/dev/null | grep -q lvm2 [ $? = 0 ] && LVM=2 echo $(echo $liste | grep -o "$element [^ ]*") $LVM >> $CONFIGURATION done affiche_resultat $? || quit 1
affiche_action "Sauvegarde des volumes logiques du LVM" echo "[LVM-LV]" >> $CONFIGURATION for volume in $(lvscan | grep -o '"/dev[^"]*"' | tr -d '"') ; do
extend=$(lvdisplay $volume | awk '/Allocated LE/ {print $3}') echo "$volume $extend" >> $CONFIGURATION
done affiche_resultat $? || quit 1
# Sauvegarde des labels affiche_action "Sauvegarde des labels des partitions" echo "[labels]" >> $CONFIGURATION for partition in $(/sbin/fdisk -l | grep -o '^/dev/[^ ]*') ; do
label=$(/sbin/e2label $partition 2>/dev/null) echo "$partition=$label" >> $CONFIGURATION
done affiche_resultat $? || quit 1
# Sauvegarde des points de montage affiche_action "Sauvegarde des points de montage" echo "[montage]" >> $CONFIGURATION mount | awk '/ext[23]/ {print $1,$3}' >> $CONFIGURATION affiche_resultat $? || quit 1
# Sauvegarde de la hierarchie exclue affiche_action "Creation de la liste des repertoires exclus a recontruire" echo "[hierarchie]" >> $CONFIGURATION rm -f $FICHIER_EXCLUDE
# On exclu les partages NFS et les montages loop mount | awk '/type nfs/ { print $3}' >> $FICHIER_EXCLUDE mount | awk '/loop=/ { print $3}' >> $FICHIER_EXCLUDE
# Rajout des répertoires à exclure par défaut [ -d /media ] && EXCLUDE="/media $EXCLUDE" EXCLUDE="/mnt /sys /dev /tmp /proc /var/run /var/log /var/lock /var/spool /var/tmp /var/cache $EXCLUDE" for rep in $EXCLUDE ; do
case $rep in /mnt) echo "/mnt" >> $CONFIGURATION for rep in $(ls -F /mnt | tr -d '/') ; do [ -d /mnt/$rep ] && echo "/mnt/$rep" >> $CONFIGURATION done ;; /media) echo "/media" >> $CONFIGURATION [ -d /media ] && for rep in $(ls -F /media | tr -d '/') ; do [ -d /media/$rep ] && echo "/media/$rep" >> $CONFIGURATION done ;; /dev) echo "/dev" >> $CONFIGURATION ;; /tmp) echo "/tmp" >> $CONFIGURATION ;; /proc) echo "/proc" >> $CONFIGURATION ;; /sys) echo "/sys" >> $CONFIGURATION ;; /var*) echo "/var" >> $CONFIGURATION ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; /usr/src) echo $rep >> $CONFIGURATION ;; /home) echo "/home" >> $CONFIGURATION for rep in $(ls -F /home | tr -d '/') ; do [ -d /home/$rep ] && echo "/home/$rep" >> $CONFIGURATION done ;; /usr*) ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; /bin*) ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; /sbin*) ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; /lib*) ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; /boot*) ls -R $rep | grep ':$' | tr -d ':' >> $CONFIGURATION ;; *) [ -d $rep ] && echo $rep >> $CONFIGURATION ;; esac echo $rep >> $FICHIER_EXCLUDE
done affiche_resultat $? || quit 1 echo '*/lost+found' >> $FICHIER_EXCLUDE
# Sauvegarde de grub affiche_action "Sauvegarde de grub" echo "[GRUB]" >> $CONFIGURATION cat /boot/grub/menu.lst | grep '^[^#].*root (hd' | head -n 1 | grep -o 'root.*' >> $CONFIGURATION affiche_resultat $? || quit 1
# Si l'option -d est passee en parametre, on fait une sauvegarde differentielle INCLUDE=${INCLUDE:=/} rm -f $FICHIER_INCLUDE for rep in $INCLUDE ; do
echo $rep >> $FICHIER_INCLUDE
done
if [ $# -ge 1 ] && [ $1 = "-d" ] ; then
affiche_action "Sauvegarde du systeme sur $SERVEUR/${NOM}-INCR-${DATE}" tar cP -g $FICHIER_STATUS --atime-preserve --preserve --same-owner --totals -T $FICHIER_INCLUDE -X $FICHIER_EXCLUDE | gzip -$COMPRESSION > $MONTAGE/${NOM}-INCR-${DATE}.tar.gz affiche_resultat $? || quit 1
else
affiche_action "Sauvegarde du systeme sur $SERVEUR/${NOM}-FULL-${DATE}"
rm -f $FICHIER_STATUS
tar cP -g $FICHIER_STATUS --atime-preserve --preserve --same-owner --totals -T $FICHIER_INCLUDE -X $FICHIER_EXCLUDE | gzip -$COMPRESSION > $MONTAGE/${NOM}-FULL-${DATE}.tar.gz affiche_resultat $? || quit 1 fi
# Sauvegarde de MAKEDEV qui se trouve dans /dev affiche_action "Sauvegarde de MAKEDEV" [ -f /dev/MAKEDEV ] && cp /dev/MAKEDEV $MONTAGE/ affiche_resultat 0
quit 0
Restauration avec tar
Présentation de la commande
Pour restaurer un tar, il suffit d'utiliser la commande: tar x nom_archive Là encore, il existe diverses options:
- -v : mode verbeux : afficher les fichiers en cours d'extraction
- -z (resp. j) : permet de décompresser l'archive compressée avec le format gzip (resp. bzip2)
- --atime-preserve : permet de ne pas modifier la date d'accès du fichier restauré
- -C repertoire : permet de désarchiver dans le répertoire mentionné
- --preserve : permet de restaurer les permissions. De plus, lors de la restauration, les fichiers seront "détarrés" dans le même ordre
- --same-owner : permet de restaurer l'appartenance du fichier
- --numeric-owner : utilise les numéros pour les appartenances group/utilisateur. Petit exemple vécu : restauration à partir d'un live-cd. Sur le live-cd, l'utilisateur gdm avait comme uid 32. Sur la distrib, gdm correspondait à 42, et 32 à rpc. Lors du reboot, gdm refusait de se lancer car le répertoire /var/gdm ne lui appartenait pas. Il est donc préférable de restaurer les uid/gid au lieu d'utiliser les noms.
Voici un exemple de commande pour restaurer une archive :
tar zxvf --atime-preserve --preserve --same-owner --numeric-owner /backup/archive.tgz
la commande rsync
rsync permet de synchroniser des répertoires/fichiers destinations par rapport à des répertoires/fichiers sources. La synchronisation se fait soit en local, soit sur une machine distante. Il est possible de demander à rsync d'utiliser ssh afin de crypter les transmissions.
La commande rsync
Pour l'utiliser il suffit d'utiliser: rsync [options] source(s) destination
Les options :
- -v : mode verbeux
- -a : mode archive (correspond à -rlptgoD)
- -q : supprime les messages d'information (mais pas d'erreur)
- -r : récursif (pour les répertoires)
- -l : copie les liens symboliques en liens symboliques
- -p : préserve les permissions
- -o : garde le propriétaire (option disponible uniquement pour root)
- -g : garde le groupe
- --device : garde les fichiers de périphériques (uniquement pour root, et utile pour une sauvegarde système)
- -H : garde les hardlink. Attention, cette option est coûteuse en ressources!
- --specials : garde les fichiers spéciaux
- -t : garde l'horodatage
- -e remoteshell : spécifie le shell distant à utiliser (ssh par exemple)
- --delete : supprime sur la destination les fichiers qui n'existent pas sur la source
- --numeric-ids : ne fait pas la conversion uid/gid en user/group.
- -z : compresse pendant la transmission
- --exclude=PATTERN : définit un motif à exclure (par exemple */lost+found)
- --exclude-from fichier : lit les motifs dans le fichier
- --bwlimit=VALEUR : limit la bande passante à VALEUR Ko
Bien entendu, man rsync vous donnera toutes les options disponibles
Exemple de sauvegarde incrémentale avec rsync
Côté machine à sauvegarder
Dans la crontab de la machine à sauvegarder, vers 22h00, on lance le script suivant :
# répertoires à sauvegarder DIRS="/home/jice /home/fred /etc /root /boot /var/lib/mysql /var/spool/mail" # fichier contenant les fichiers à exclure de la sauvegarde # voir EXCLUDE PATTERNS dans rsync(1) EXCLUDEFILE="/home/jice/bin/excludes" OPTIONS="-avz -e ssh" OPTIONS="$OPTIONS --exclude-from $EXCLUDEFILE --bwlimit=50" OPTIONS="$OPTIONS $*" rsync $OPTIONS $DIRS jice@mon.serveur.net:backup/current # copie du fichier "flag" pour dire au serveur que le backup a été fait scp /home/jice/bin/backup_done jice@mon.serveur.net:~
Ce script fait un backup vers le répertoire backup/current du serveur (nommé mon.serveur.net) ; à la fin, il copie un fichier (vide) backup_done à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.
PS : voici un exemple de fichier excludes
# excludes pour le backup sur zowie jice/tmp* jice/multimedia/video/* jice/compil/* fred/compil/* */.local/share/Trash/* */.kde/share/config/session/konqueror* */temp/* */tmp/* */cache/* */Cache/* */.thumbnails/* */.xvpics/* */.kde/tmp-* */.mcop/* */.ncftp/trace* */.nx/* *.o *.so *.mp3 *.avi *.rar*.ace
Notez que ce fichier peut contenir ou bien le nom complet d'un fichier, ou bien un "morceau" de nom de fichier avec des étoiles comme caractère joker. Pour plus d'information, tapez dans une console : man rsync et cherchez EXCLUDE PATTERNS.
Côté serveur de sauvegarde
Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les midi) :
#!/bin/sh
if [ -f ~/backup_done ]; then KEEP=8 DIR=~/backup
# arborescence : # ~/backup/2006-04-03 # ~/backup/2006-04-04 # ~/backup/2006-04-05 # ~/backup/current
# calcule date du jour DATE=`date --date=yesterday "+%Y-%m-%d"`
# crée le répertoire pour les backups du jour mkdir $DIR/$DATE
# supprime les vieux directories ls -d $DIR/2* | sort | head --lines=-$KEEP | xargs rm -rf
# copie (hard links) les données cp -al $DIR/current/* $DIR/$DATE
# supprime le fichier flag rm ~/backup_done
# on fait le rsync ensuitefi
Si le backup a été fait (présence du fichier backup_done, il effectue une rotation des backups.
En utilisant le cp avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).
Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.
A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans ~/backup/current/repertoire/fichier et la version précédente qui a été copiée par le script ci-dessus dans ~/backup/<la date du dernier backup>/repertoire/fichier.
Plus d'explications :
- on a deux fichiers current/toto et hier/toto qui pointent vers le même contenu. Ces 2 fichiers (ou plus) on été obtenus suite au script de rotation, par la copie avec hardlinks. On a donc :
current/toto --> contenu <-- hier/toto
\ '--------- avant-hier/toto
- si le fichier a été modifié, rsync va envoyer le nouveau fichier sous un nom temporaire toto.tmp (par exemple). On a donc :
current/toto --> contenu <-- hier/toto
\ '--------- avant-hier/toto
current/toto.tmp --> nouveau contenu
- ensuite, rsync supprime current/toto On obtient, par la magie des hardlinks :
contenu <-- hier/toto
\ '--------- avant-hier/toto
current/toto.tmp --> nouveau contenu
- enfin, toto.tmp est renommé en toto :
contenu <-- hier/toto
\ '--------- avant-hier/toto
current/toto --> nouveau contenu
- on obtient bien 2 versions différentes, celle d'hier et d'avant-hier (le fichier n'avait alors pas changé), et celle d'aujourd'hui.
Ainsi j'ai toujours les backup des 8 (réglable par la variable KEEP ci-dessus) derniers jours disponible. Je peux retrouver les dernières versions d'un fichier en cas de problème.
Spécificités de la sauvegarde système
Si l'on veut effectuer une sauvegarde système, il est nécessaire de prendre en compte les points suivants:
- faire une sauvegarde en gardant les uid/gid
- ne pas sauvegarder les répertoires inutiles (/tmp, /dev, /proc, /sys, le contenu des points de montages hors disques locaux (nfs, cdrom,...)) On peut également ne pas sauvegarder le contenu de /var/tmp, /var/cache, /var/lock, /var/run, /var/spool. Attention, il est important de garder la hiérarchie de ces répertoires!
- garder la table des partitions, avec le label des partitions si il y en a un (commande 'e2label')
- sauvegarder les informations de lvm (l'idéal étant de pouvoir utiliser lvmcfgbackup et lvmcfgrestore. Sinon, ce n'est pas la taille de chaque volume qu'il faut sauvegarder, mais le nombre de Logical Extends. En spécifiant une taille, celle-ci sera arrondie pour avoir un nombre de LE fixe. Ce nombre ne sera pas forcément identique que celui utilisé lors de la création, et empêchera donc de restaurer le système de manière identique).
- arrêter autant que faire se peut les services qui tournent.
Les conseils
- Vérifier la sauvegarde après l'avoir faite : test md5 par exemple. Ce n'est pas lorsqu'on en aura besoin qu'il faut se rendre compte que le graveur ne gravait plus!
- Tester la restauration
- Vérifier régulièrement (tous les ans) que l'on arrive bien à relire sa sauvegarde (voire refaire une sauvegarde sur un média neuf tous les 2 ans par exemple)
Les outils graphiques / semi-graphiques
- mondorescue
- kbackup
- amanda backup
- bacula
- backuppc
@ Retour à la rubrique Administration système
Copyright
© 2006 Oudoubah
Ce document est publié sous licence Creative Commons Attribution, Partage à l'identique 4.0 : https://creativecommons.org/licenses/by-sa/4.0/ |