Discussion:Les sauvegardes

salut ! est-ce que tu comptes parler des outils spécifiques des distributions, comme celui de Mandriva par exemple ? LeaJice 5 sep 2006 à 20:40 (CEST)

re. Tu pourrais ajouter dans ton § rsync un truc sur les sauvegardes incrémentales. Je m'explique. Je fais un backup régulier sur un serveur sur le net. Dans la crontab de la machine à sauvegarder, vers 22h00, j'ai un rsync bien configuré (je te mettrai le script ici quand j'aurai accès à ma machine perso), qui fait un backup dans le répertoire current ; à la fin, il copie un fichier backup_done à la racine de mon compte sur le serveur, afin de dire au serveur que le backup a bien été fait.
Côté serveur, j'ai ce script qui fait une rotation des backups (en cron tous les midi) : #!/bin/sh

if [ -f ~/backup_done ]; then

       KEEP=8
       DIR=~/backup

       # arborescence :
       # ~/backup/2006-04-03
       # ~/backup/2006-04-04
       # ~/backup/2006-04-05
       # ~/backup/current

       # calcule date du jour
       DATE=`date --date=yesterday "+%Y-%m-%d"`

       # crée le répertoire pour les backups du jour
       mkdir $DIR/$DATE

       # supprime les vieux directories
       ls -d $DIR/2* | sort | head --lines=-$KEEP | xargs rm -rf

       # copie (hard links) les données
       cp -al $DIR/current/* $DIR/$DATE

       # supprime le fichier flag
       rm ~/backup_done

       # on fait le rsync ensuite

fi

Si le backup a été fait (présence du fichier backup_done, il effectue une rotation des backups.
En utilisant le cp avec les hard links, on ne copie pas réellement les fichiers, mais on crée un deuxième fichier qui pointe vers le contenu du premier (donc on peut avoir autant de hardlink qu'on veut sur le même fichier, la place disque utilisée n'est toujours que de la taille d'un seul fichier).
Rsync lorsqu'il enverra, lors de la prochaine sauvegarde, un fichier modifié, utilisera un nom différent temporaire, avant de le renommer vers son nom normal. Ainsi, il ne va pas écraser le contenu du fichier hardlinké, car à la fin de la copie du fichier, Rsync supprime le fichier, puis renomme le fichier temporaire vers son nom normal.
A ce moment là, on a sur le serveur 2 versions du même fichier : la version courante qui vient d'être sauvegardée dans ~/backup/current/repertoire/fichier et la version précédente qui a été copiée par le script ci-dessus dans ~/backup/<la date du dernier backup>/repertoire/fichier.

Plus d'explications :

• on a deux fichiers current/toto et hier/toto qui pointent vers le même contenu. Ces 2 fichiers (ou plus) on été obtenus suite au script de rotation, par la copie avec hardlinks. On a donc :

current/toto --> contenu <-- hier/toto

                              \
                               '--------- avant-hier/toto

• si le fichier a été modifié, rsync va envoyer le nouveau fichier sous un nom temporaire toto.tmp (par exemple). On a donc :

current/toto --> contenu <-- hier/toto

                              \
                               '--------- avant-hier/toto

current/toto.tmp --> nouveau contenu

• ensuite, rsync supprime current/toto On obtient, par la magie des hardlinks :

contenu <-- hier/toto

                         \
                          '--------- avant-hier/toto

current/toto.tmp --> nouveau contenu

• enfin, toto.tmp est renommé en toto :

contenu <-- hier/toto

                         \
                          '--------- avant-hier/toto

current/toto --> nouveau contenu

• on obtient bien 2 versions différentes, celle d'hier et d'avant-hier (le fichier n'avait alors pas changé), et celle d'aujourd'hui.

Ainsi j'ai toujours les backup des 8 (réglable par la variable KEEP ci-dessus) derniers jours disponible. Je peux retrouver les dernières versions d'un fichier en cas de problème.
Si tu veux, tu peux reprendre ça dans ton article. LeaJice 6 sep 2006 à 11:48 (CEST)

en utilisant xdeltas

Sur Léa j'utilise un script du style : #!/bin/sh FICHIERS="user@serveur:/path/to/backup-mysql.tar.bz2 user@serveur:/path/to/backup-www.tar.gz"


if [ ! "$1" = "--skip-download" ] ; then

rm -f *bz2 *gz scp ${FICHIERS} .

DATE=$(date +"%Y%m%d")

mkdir ${DATE} mv *bz2 *gz ${DATE}/

cd ${DATE} for file in *bz2 ; do echo -n "bunziping ${file} " nice -n 19 bunzip2 ${file} echo " [ok]" echo -n "gziping ${file%%.bz2} " nice -n 19 gzip ${file%%.bz2} echo " [ok]" done cd ..

fi

DSTDIR=$(ls -dp * | grep -E "/\$" | sort | uniq | tail -n 2|head -n 1) SRCDIR=$(ls -dp * | grep -E "/\$" | sort | uniq | tail -n 1)

echo "SOURCE DIR  : ${SRCDIR}" echo "DESTINATION DIR : ${DSTDIR}"

if [ -f ${DSTDIR}deltas ] ; then source ${DSTDIR}deltas DELTAS=$((DELTAS+1)) else DELTAS=1 fi

if [ $DELTAS -gt 9 ] ; then echo "Vous avez créé 10 deltas de suite, par sécurité je ne créee pas de deltas cette fois" exit 0 else echo "C'est votre delta n°${DELTAS}/10" fi

echo "DELTAS=${DELTAS}" > ${SRCDIR}deltas

cd ${SRCDIR} for file in *.gz ; do if [ -f ../${DSTDIR}${file} ] ; then echo -n "Création du delta : ../${DSTDIR}${file}.delta " nice -n 19 xdelta delta ${file} ../${DSTDIR}${file} ../${DSTDIR}${file}.delta echo "[ok]" echo -n "J'efface : ../${DSTDIR}${file} " rm ../${DSTDIR}${file} echo "[ok]" fi done cd .. le script doit être lancé dans le répertoire où doivent se retrouver les backups et les backups doivent être en .bz2 ou .gz. à chaque nouvel appel du script un répertoire est créé, et le dernier contient une version complète, les précédants des xdeltas entre la version n et la n+1

C'est quoi xdeltas ? LeaJice 6 sep 2006 à 20:08 (CEST)

C'est l'équivalent de diff mais fonctionne aussi pour des fichiers binaires (et ça gère nativement le gzip pour faire le xdelta - aka: diff)