[RESOLU] Backup avec Rsync + Cron

d33p · 02-06-2017 04:22:33

Bonjour,

J'aimerais faire des backup une fois par mois des contenus de certains de mes disques, et ce, de façon automatisée, voila ce que j'ai fait:
J'ai installé Rsync sur la machine.
Ensuite, j'ai configuré ce fichier:

/tmp/crontab.vq21eM/crontab 

à l'aide de la commande

cron -e

voici comment je l'ai edité:

MAILTO=""

0 1 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD1/ /backup/WD1a/WD2

0 2 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD3/ /backup/WD4

0 3 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD5/ /backup/WD6

0 4 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD7/ /backup/WD8

0 5 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD9/ /backup/WD10

0 6 * * root rsync -rlpdgv --delete --ignore-errors --force --exclude-from=/share --exclude-from=/backup / /backup/WD1a/server_backup

1 - 2 - 3 - 4 etc... pour moi signifie que la 1ere sauvegarde va se lancer le 01 de chaque mois, la 2e le 02 de chaque mois, etc...

Puis, ctrl+x, puis ctrl+y, puis redemarrage du serveur...

Est-ce que cela vous semble plausible?
Y a t il des moyens de verifier que cela tourne?
(au cas ou, j'avais laissé un fichier "temoin" sur les volumes de destination, "blabla.txt", qui, si cela fonctionnait, aurait normalement dû être supprimé avec le "--delete", mais ce matin, j'ai vérifié, ce fichier est toujours dans les destinations... etrange?)

Merci, à bientôt.

d33p

Dernière modification par d33p (30-06-2017 19:03:08)

dejieres · 02-06-2017 08:22:34

Je pense que le plus simple est d'ajouter l'option --log-file=... à la commande rsync. De cette manière, tu sauras ce qui se passe.
Si aucun fichier n'est créé, c'est que la tâche ne s'est pas exécutée. S'il y a un fichier, il te dira peut-être pourquoi ça n'a pas marché.
Tu peux aussi trouver trace des déclenchements de cron dans /var/log/syslog.

d33p · 02-06-2017 09:25:54

hello voisin,

d'accord, je vais regardé ceci.
je re-posterai, lorsque, et si j'ai du nouveau à l'aide de ce que tu preconises.

merci, à bientôt.

d33p

dejieres · 02-06-2017 10:07:15

Voisin ?
Tu es toi aussi originaire des contrées sauvages et inexplorées de l'est de l'est ?

d33p · 02-06-2017 10:12:33

au bout du bout, 15 km de la Belgique et 15 km du Luxembourg environ, meurthe&moselle, vers Longwy, la ville qui bouge... -__-'

dejieres · 02-06-2017 10:18:05

Plutôt de l'autre côté pour moi. Du côté de Sarreguemines, pas loin de l'Al[sace|lemagne]

d33p · 02-06-2017 11:16:20

ce sont des beaux coins par la-bas.

@ bientot

d33p

d33p · 02-06-2017 19:36:11

re- hello,

dans /var/log/syslog, je vois:

Jun  2 20:23:16 srv1 cron[5966]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)

Jun  2 20:23:35 srv1 systemd[1]: Started Regular background program processing daemon.

Jun  2 20:23:35 srv1 cron[5972]: cron: can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable

Jun  2 20:23:35 srv1 systemd[1]: cron.service: Main process exited, code=exited, status=1/FAILURE

Jun  2 20:23:35 srv1 cron[5972]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)

Jun  2 20:23:35 srv1 systemd[1]: cron.service: Unit entered failed state.

Jun  2 20:23:35 srv1 systemd[1]: cron.service: Failed with result 'exit-code'.

Jun  2 20:23:39 srv1 cron[5975]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)

ou des choses du genre:

Jun  2 15:17:01 srv1 CRON[3456]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)

 

je ne capte pas bien, en plus l'histoire du hourly... Alors que je pensais avoir configuré pour une sauvegarde par mois...

Dernière modification par d33p (03-06-2017 05:06:06)

d33p · 02-06-2017 20:09:43

j'vais encore creuser, mais si quelqu'un a une idée

d33p · 03-06-2017 05:21:11

j'ai testé les commandes rsync à la main et cela fonctionne sans erreur, il semble que le probleme soit lié à cron, lorsque je parcours le net, c'est pas tres rassurant, il a l'air bien buggué ce programme...

Severian · 03-06-2017 07:37:58

tu as essayé de le lancer en utilisant un service systemd ?
exemple de ce que j'utilise pour une "sauvegarde" de mes docs toute les semaine
rsync-home.service

[Unit]

Description=sauvegarde home

[Service]

Type=oneshot

ExecStart=/home/sev/.bin/sev-rsync-backup

[Install]

WantedBy=default.target

rsync-home.timer

[Unit]

Description=sauvegarde home par rsync

[Timer]

OnCalendar=weekly

AccuracySec=1h

Persistent=true

[Install]

WantedBy=default.target

le script

#!/bin/bash

rm /media/divers/rsync-home-sev-log/log-*

rsync -a --stats --human-readable --log-file=/media/divers/rsync-home-sev-log/log.txt --log-file-format="" --del --ignore-errors --force -F /home/sev/ /media/divers/rsync-home-sev/home/ | tee -a /media/divers/rsync-home-sev-log/log-`date +%Y%m%d-%H%M`.txt

sleep 1

rsync -a --stats --human-readable --log-file=/media/divers/rsync-home-sev-log/log.txt --log-file-format="" --del --ignore-errors --force -F /media/docs/Documents /media/divers/rsync-home-sev/docs/ | tee -a /media/divers/rsync-home-sev-log/log-`date +%Y%m%d-%H%M`.txt

sleep 1

echo -e "Mail envoyé le $(date)\n*************************\nLogs de sauvegarde rsync\n*************************\n`cat /media/divers/rsync-home-sev-log/log-*`" | mail -s "Logs de sauvegarde rsync" sev@pcsev

jette un œil sur les man de systemd.time, systemd.timer et systemd.service

d33p · 03-06-2017 11:06:22

Hello, merci pour vos infos.

Je vais plancher les deux options, je reviens vers vous dès que j'avance.

Par contre, comme j'avais lancé les rsync à la mano, je ne vais pas repondre rapidement, car je vais attendre que les taches se deroulent jusqu'à la fin avant de faire autre chose. (je ne veux pas brusquer le serveur ou risquer d'impacter les rsync en cours) la derniere fois les backup ont duré 2 jours...

@ bientot

d33p

dejieres · 03-06-2017 12:58:51

Ben en fait, y'a pas qu'un seul cron.

Les daily, hourly, ... que tu peux voir correspondent aux dossiers du même nom sous /etc/ (/etc/cron.hourly, ...). Les scripts placés dans ces dossiers sont exécutés avec la périodicité idoine.

Ta commande, c'était plutôt crontab -e, non ? commande qui permet de définir les tâches planifiées par utilisateur.

Pour définir des tâches qui ne se pas propres à un utilisateur, tu peux éditer directement /etc/crontab.

d33p · 03-06-2017 16:14:08

Hello,

Ta commande, c'était plutôt crontab -e, non ?

Oui, j'ai lancé ceci et édité, mais cela ne faisait rien et ce que j'ai posté plus haut n'a pas l'air très rassurant avec ces histoires de "death" etc... je ne sais pas dechiffrer plus que ça, mais ça sent pas bon ^^

Ben en fait, y'a pas qu'un seul cron.

Les daily, hourly, ... que tu peux voir correspondent aux dossiers du même nom sous /etc/ (/etc/cron.hourly, ...). Les scripts placés dans ces dossiers sont exécutés avec la périodicité idoine.

Oui, mais dans la mesure ou je n'ai pas configuré quoi que ce soit en "hourly", je ne comprends pas pourquoi ça apparait dans les logs...

au passage, j'avais modifié les commandes rsync, je les ai lancé manuellement, ça tourne toujours (pour le moment tant que la sauvegarde tourne, je ne touche pas au serveur).
Voici la version finale de la commande rsync que j'ai lancé:

rsync -avhP --delete-before /share/WD3/ /backup/WD4

merci
@ bientot

d33p

Dernière modification par d33p (03-06-2017 18:18:11)

d33p · 03-06-2017 17:12:08

c'est une horreur apres des heures de copie, j'ai pour resultat final "error read only file"

Read-only file system (30)

rsync error: error in file IO (code 11) at receiver.c(393) [receiver=3.1.2]

J'ai egalement des:

cannot access '/share/WD3/fichiers1': Bad message

Tous mes backups ont planté avec des erreurs de ce type...
Je suis tres mal là, et en plus je ne comprends pas ces erreurs...

En plus, il devait ne pas reecrire sur les fichiers existants et ne toucher qu'aux fichiers ou repertoires changés et là il reprend à chaque fois à zero...

Dernière modification par d33p (03-06-2017 17:39:19)

dejieres · 03-06-2017 19:00:21

je n'ai pas configuré quoi que ce soit en "hourly"

Mais le système va quand même lancer la tâche toutes les heures, même s'il n'y a rien a exécuter. D'où sa présence dans les logs.

Tu peux donner quelques lignes de log de plus, autour des lignes que tu donnes ci-dessus ? Ça se produit sur des fichiers particuliers ?

Pour ton test, tu as lancé rsync en root ou avec ton utilisateur ?

d33p · 03-06-2017 20:41:54

j'ai lancé en root pour avoir tous les droits, enfin, c'est ce que je croyais, mais l'histoire des fichiers en read only ça m'intrigue...
voici un exemple avec des lignes de log en plus comme tu le demandes

*** Skipping any contents from this failed directory ***

rsync: recv_generator: mkdir "/backup/WD3/user1/SOFTWARE" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

user1/Recettes/

user1/SOFTWARE/

rsync: recv_generator: mkdir "/backup/WD3/user1/_backup_debian" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

user1/_backup_debian/

rsync: recv_generator: mkdir "/backup/WD3/user1/_backup_fedora" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

user1/_backup_fedora/

rsync: recv_generator: mkdir "/backup/WD3/user1/_brix" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

rsync: recv_generator: mkdir "/backup/WD3/user1/_server_debian_user" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

rsync: recv_generator: mkdir "/backup/WD3/user1/email_backup" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

rsync: recv_generator: mkdir "/backup/WD3/user1/key" failed: Read-only file system (30)

*** Skipping any contents from this failed directory ***

rsync: chown "/backup/WD3/lost+found" failed: Read-only file system (30)

rsync: chown "/backup/WD3/movies_02" failed: Read-only file system (30)

merci

d33p

d33p · 04-06-2017 06:42:26

je pense que je vais decouvrir un probleme *caché* peut etre lié au matos, il me semble que les disques sur lesquels j'ai ces erreurs read / write sont uniquement ceux qui sont dans ma baie additionnelle USB, sur ceux en interne les backups ont fonctionnés... je redonne des nouvelles lorsque j'ai demonté et checké tout ceci...

Thuban · 04-06-2017 08:43:09

Read-only : ça vaudrait le coup de forcer une vérification du système de fichiers (fsck)

Au passage, c'est une bonne idée de mettre le chemin complet vers l'exécutable dans les tâches cron (qui n'a pas toujours le même PATH) : /usr/bin/rsync par exemple.

d33p · 04-06-2017 22:45:49

Hello, j'ai passé une partie de la journée avec fsck, franchement c'etait pas beau à voir... il y a bien un souci... maintenant, je suis en train de voir si ça vient de la partition ou du disque physique lui-même...
C'est dingue, je partais sur un post "assez basique" et le probleme de partition ou de disque m'a fait partir sur des resultats completements aleatoires... donc les commandes logiques se transformaient en un espece de truc qui plantait...
lorsque j'ai lancé le fsck sur le volume, il ne voulait pas du -a, cela me forçait à passer en manuel... ensuite il y avait tellement d'erreurs que mon ecran ressemblait à celui de "la matrice"...
J'ai été en fait obligé de passer par fsck car le serveur plantait, le mount ne se faisait pas et nfs plantait egalement... j'ai du desactiver à l'aide de "#" le volume dans etc/fstab ainsi que /etc/exports ...
vref

...
Lorsque ce souci est reglé et que je peux refaire du rsync et cron sur des bases solides, je reviendrai implementer ce post... pour le moment j'ai un autre combat : recuperer mes données, car le HDD1 defect a corrompu son doublon lors de la sauvegarde "ratée"...

PS: merci Thuban pour l'info avec cron, je note

.

@ bientot

d33p

Dernière modification par d33p (04-06-2017 22:49:38)

d33p · 05-06-2017 06:24:44

https://debian-facile.org/viewtopic.php?id=18044
petite interlude dans ce post, lorsque j'aurais fait le point sur mes HDDs, je pourrais continuer

merci

d33p

d33p · 30-06-2017 13:10:25

Hello,

J'ai reglé mon souci avec les disques... (en fait, cela venait du boitier externe en usb3)
Je reviens donc sur le sujet des backups...
Avant de repartir sur cron, dans un premier temps avec rsync, j'ai l'impression qu'il recopie tous les fichiers & repertoires à chaque lancement de la commande, au cas ou voici la syntaxe que j'utilise à present:

rsync -rlpdgv --delete --ignore-errors --force /depart/ /arrivee/

Enfin, c'est plus qu'une impression, car si je check la date de modif des fichiers dans /arrivee/ , en effet, elle change apres chaque lancement de commande, de plus, les backups prennent un temps fou...
J'ai loupé un truc pour qu'il ne recopie pas l'existant?
Mon but c'est:
-qu'il copie les nouveaux fichiers qui sont dans /depart/ vers /arrivee/
-qu'il efface les fichiers effacés qui étaient dans /depart/ dans /arrivee/
-qu'il ne reecrive pas à chaque fois sur ce qui est identique dans /depart/ et dans /arrivee/

merci, à bientôt.

d33p

d33p · 30-06-2017 13:30:59

J'ai trouvé, il faut ajouter "--inplace"
c'est à dire :

rsync -rlpdgv --delete --ignore-errors --force --inplace /depart/ /arrivee/

à ce moment là, rsync ne touche que ce qui à changé.

d33p

d33p · 30-06-2017 13:32:57

Severian, je ne comprends pas ou tu veux en venir, je n'ai pas ces notions là, tu peux me guider un peu dans ta demarche s'il te plait?
ou à la place de cron, je me servirais de script faits à la mano?

merci,

d33p

d33p · 30-06-2017 13:37:55

Au passage, c'est une bonne idée de mettre le chemin complet vers l'exécutable dans les tâches cron (qui n'a pas toujours le même PATH) : /usr/bin/rsync par exemple.

hello, tu pourrais entrer un peu plus dans les details stp?

merci.

d33p

Debian-facile

#1 02-06-2017 04:22:33

[RESOLU] Backup avec Rsync + Cron

#2 02-06-2017 08:22:34

Re : [RESOLU] Backup avec Rsync + Cron

#3 02-06-2017 09:25:54

Re : [RESOLU] Backup avec Rsync + Cron

#4 02-06-2017 10:07:15

Re : [RESOLU] Backup avec Rsync + Cron

#5 02-06-2017 10:12:33

Re : [RESOLU] Backup avec Rsync + Cron

#6 02-06-2017 10:18:05

Re : [RESOLU] Backup avec Rsync + Cron

#7 02-06-2017 11:16:20

Re : [RESOLU] Backup avec Rsync + Cron

#8 02-06-2017 19:36:11

Re : [RESOLU] Backup avec Rsync + Cron

#9 02-06-2017 20:09:43

Re : [RESOLU] Backup avec Rsync + Cron

#10 03-06-2017 05:21:11

Re : [RESOLU] Backup avec Rsync + Cron

#11 03-06-2017 07:37:58

Re : [RESOLU] Backup avec Rsync + Cron

#12 03-06-2017 11:06:22

Re : [RESOLU] Backup avec Rsync + Cron

#13 03-06-2017 12:58:51

Re : [RESOLU] Backup avec Rsync + Cron

#14 03-06-2017 16:14:08

Re : [RESOLU] Backup avec Rsync + Cron

#15 03-06-2017 17:12:08

Re : [RESOLU] Backup avec Rsync + Cron

#16 03-06-2017 19:00:21

Re : [RESOLU] Backup avec Rsync + Cron

#17 03-06-2017 20:41:54

Re : [RESOLU] Backup avec Rsync + Cron

#18 04-06-2017 06:42:26

Re : [RESOLU] Backup avec Rsync + Cron

#19 04-06-2017 08:43:09

Re : [RESOLU] Backup avec Rsync + Cron

#20 04-06-2017 22:45:49

Re : [RESOLU] Backup avec Rsync + Cron

#21 05-06-2017 06:24:44

Re : [RESOLU] Backup avec Rsync + Cron

#22 30-06-2017 13:10:25

Re : [RESOLU] Backup avec Rsync + Cron

#23 30-06-2017 13:30:59

Re : [RESOLU] Backup avec Rsync + Cron

#24 30-06-2017 13:32:57

Re : [RESOLU] Backup avec Rsync + Cron

#25 30-06-2017 13:37:55

Re : [RESOLU] Backup avec Rsync + Cron

Pied de page des forums