Save différentielle et gestion de "versions"

BrunoL · 04-05-2012 17:27:56

Bonjour,

Je cherche à mettre en œuvre un environnement de sauvegarde sur des répertoires dont une des particularités est qu'ils contiennent de gros fichiers 250 à 500 Mo qui quotidiennement n'évoluent que de quelques Ko.

Après recherches j'opterais pour duplicity si un point pouvait être éclairé d'où ma question :
Duplicity fait des sauvegardes incrémentales/différentielles donc ne sauvegarde que les parties de fichiers ayant changé depuis la dernière save. Exactement ce que je cherche MAIS il existe une fonctionnalité qui permet de supprimer des versions antérieures ... comment est-ce possible ?

J'ai mon fichier à j0 F (sauvegarde initiale),
à j+1 F est sauver en F +deltaF1 (seul deltaF1 et transféré et stocké),
à j+2 F est sauvé en F +deltaF1 + deltaF2 (seul deltaF2 et transféré et stocké),
à j+3 F est sauvé en F +deltaF1 + deltaF2 + deltaF2 (seul deltaF3 et transféré et stocké),
etc ...

comment est-il possible de virer une version ? Pour restaurer à J+4 mon fichier F j'ai besoin de tous les morceaux !

A l'évidence quelque chose m'échappe.

Merci pour vos éclaircissement. Je suis également tout à fait ouvert à des suggestions d'autres outils mais qui reste à un usage privé/simple

bract · 04-05-2012 18:02:43

bonjour

un autre outil:
j'utilise sbackup depuis 3 ans.
il est efficace et se paramètre sans difficulté, cependant il n'est que dans les dépôts de sid

zoroastre74 · 04-05-2012 18:17:57

Yep!

Si ton fichier de sauvegarde évolue peu en taille, alors pourquoi faire de l'incrémentiel ??? Quelle est la fréquence de tes sauvegardes ???

La plupart du temps, il existe une option pour supprimer les sauvegardes datant de plus de x mois.
Ne connaissant pas Duplicity, je ne peux t'aider plus...Que dis la doc ???

Pour ma part, j'utilise Dar

@+

Zoroastre.

Dernière modification par zoroastre74 (04-05-2012 18:21:26)

BrunoL · 04-05-2012 18:40:04

Merci pour vos réponses. bract je n'ai pas vu sbackup en particulier mais j'ai constaté que la plupart de ces outils s'appuyaient en fait sur 2 "moteurs" (rsync, j'ai oublié l'autre) et mes debian n'ont jamais survécu à une manipulation sur les dépôts donc j'assure en ne faisant ... rien

zoroastre74 la sauvegarde est quotidienne pour le moment je tourne avec 4 générations donc quelques Go. Dans ce cadre de générations multiples je comprends la suppression de versions. La solution du différentiel me semble vraiment top j'économiserai au moins 2/3 de l'espace et je pourrai même envisager des save par le net (actuellement DD externe, très relative comme sécurité ...).

Blacksad · 05-05-2012 10:20:23

BrunoL a écrit :

comment est-il possible de virer une version ? Pour restaurer à J+4 mon fichier F j'ai besoin de tous les morceaux !

A l'évidence quelque chose m'échappe.

Merci pour vos éclaircissement. Je suis également tout à fait ouvert à des suggestions d'autres outils mais qui reste à un usage privé/simple

Rien ne t'échappe non ^^ Il ne faut surtout pas virer une version.
Tu dois garder la totale et toutes les incrémentales.
Une incrémentale c'est la différence entre l'état actuel et la dernière sauvegarde (totale ou incrémentale). Si tu perd une des incrémentales, (ou que l'une d'elle fonctionne mal, c'est surtout ce cas là le plus fréquent), toutes celles qui suivent sont inutilisable.

Il convient donc pour les sauvegardes de gros volumes de tourner pour répartir les sauvegardes totales sur les plages horaires qui t'arrangent.
Faire que des incrémentales est suicidaire car à J+50 tu dois avoir 1 sauvegarde totale et 49 sauvegardes incrémentales qui ont fonctionné.
En passant, il vaut mieux pour tes sauvegardes (j'ai cru comprendre que c'était des sauvegardes distante) sauvegarder en locale puis transférer plutôt que sauvegarder directement sur le site distant (si la possibilité de revenir à J-1 est réellement une nécessité).

Un exemple parce-que je suis jamais clair: du dois sauvegarder quotidiennement /truc et /machin mais ils sont trop volumineux et durent trop longtemps pour faire en même temps et régulièrement une totale.
Tu fais une totale de /truc le mardi à 00H00 avec une incrémentale les autres jours à 23H (en supposant qu'elle dure moins d'une heure), une totale de /machin le mercredi à 00H00 et une incrémentale les autres jours à 23H.
Quand une totale réussie, les incrémentales et la totale précédente peuvent alors être supprimées.

Selon le nombre de répertoire, le volume à répartir, fait toi un planning sur une semaine en x, les heures en y, sous un tableur. Selon la durée des sauvegardes tu colories les périodes utilisées par telle et telle sauvegarde, ca te permettra d'ajouter ultérieurement facilement des sauvegarde sans que 2 se recouvrent.
Ca te permet de caser tes sauvegardes sur les plages horaire qui t'arrangent.

Les programmes en graphique donnent une apparence de simplicité mais je trouve qu'il n'y a rien de plus simple qu'un petit script utilisant rsync dans cron, surtout pour modifier plus tard si une autre sauvegarde doit être ajoutée.

zoroastre74 · 05-05-2012 11:07:55

Yep!

Duplicity est un utilitaire en ligne de commande. D'ailleurs, en mattant les options possibles, il existe ceci :

--full-if-older-than [i]time[/i]

L'essentiel est de comprendre que lorsqu'une sauvegarde incrémentielle/différentielle est effectuée, elle utilise des masques qui reprennent le contenu des anciènnes sauvegardes. Ceux-ci sont comparés et modifies la création de la sauvegarde en cours afin de ne reprendre que les éléments ayant changés. Il est donc impossible de briser la chaine des sauvegardes à l'exception d'en reprendre une complète. C'est d'ailleurs la raison pour laquelle la première sauvegarde est importante car elle sert de réferent pour les suivantes.

@+

Zoroastre.

BrunoL · 05-05-2012 19:19:01

Merci pour vos réponses. J'ai compris le principe et je continue donc avec duplicity.

Blacksad, très claire ton explication et avec l'exemple tout y est ... il n'y a plus qu'à !

Ta méthode me convient très bien. J'ai prévu de l'adapter par une reconstruction et vérification sur le serveur de sauvegarde. Je précise.
- à la place de ta totale le mercredi je reconstituerai cette totale par application des différentielles sur la totale précédente,
- ensuite pour m'assurer que cette "nouvelle" totale est conforme je calcule son md5-serveur
- sur la machine source je calcule le md5-source du fichier de référence
- Enfin je vérifie que les 2 md5 concordent.

Si c'est OK alors le beurre, l'argent du beurre et la crémière

Espace de sauvegarde minimum, temps de transfert minimum au détriment de temps processeur sur des machine qui n'en manquent pas.

Bon c'est un idée pas encore concrétisée mais j'y travaille.

Vous y voyez un inconvénient qui m'aurait échappé ? Existe t'il un soft qui le fait déjà ? avec linux tout est possible

A+

Debian-facile

#1 04-05-2012 17:27:56

Save différentielle et gestion de "versions"

#2 04-05-2012 18:02:43

Re : Save différentielle et gestion de "versions"

#3 04-05-2012 18:17:57

Re : Save différentielle et gestion de "versions"

#4 04-05-2012 18:40:04

Re : Save différentielle et gestion de "versions"

#5 05-05-2012 10:20:23

Re : Save différentielle et gestion de "versions"

#6 05-05-2012 11:07:55

Re : Save différentielle et gestion de "versions"

#7 05-05-2012 19:19:01

Re : Save différentielle et gestion de "versions"

Pied de page des forums