Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 02-06-2017 05:22:33

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

[RESOLU] Backup avec Rsync + Cron

Bonjour,

J'aimerais faire des backup une fois par mois des contenus de certains de mes disques, et ce, de façon automatisée, voila ce que j'ai fait:
J'ai installé Rsync sur la machine.
Ensuite, j'ai configuré ce fichier:

/tmp/crontab.vq21eM/crontab


à l'aide de la commande

cron -e


voici comment je l'ai edité:

MAILTO=""

0 0 1 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD1/ /backup/WD1a/WD2
0 0 2 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD3/ /backup/WD4
0 0 3 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD5/ /backup/WD6
0 0 4 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD7/ /backup/WD8
0 0 5 * * root rsync -rlpdgv --delete --ignore-errors --force /share/WD9/ /backup/WD10
0 0 6 * * root rsync -rlpdgv --delete --ignore-errors --force --exclude-from=/share --exclude-from=/backup / /backup/WD1a/server_backup



1 - 2 - 3 - 4 etc... pour moi signifie que la 1ere sauvegarde va se lancer le 01 de chaque mois, la 2e le 02 de chaque mois, etc...

Puis, ctrl+x, puis ctrl+y, puis redemarrage du serveur...

Est-ce que cela vous semble plausible?
Y a t il des moyens de verifier que cela tourne?
(au cas ou, j'avais laissé un fichier "temoin" sur les volumes de destination, "blabla.txt", qui, si cela fonctionnait, aurait normalement dû être supprimé avec le "--delete", mais ce matin, j'ai vérifié, ce fichier est toujours dans les destinations... etrange?)

Merci, à bientôt.

d33p

Dernière modification par d33p (30-06-2017 20:03:08)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#2 02-06-2017 09:22:34

dejieres
Membre
Lieu : Moselle
Distrib. : Jessie 64 bits
Noyau : Linux 3.16.0-4-amd64
(G)UI : Gnome 3.14+3 amd64
Inscription : 07-02-2017

Re : [RESOLU] Backup avec Rsync + Cron

Je pense que le plus simple est d'ajouter l'option --log-file=... à la commande rsync. De cette manière, tu sauras ce qui se passe.
Si aucun fichier n'est créé, c'est que la tâche ne s'est pas exécutée. S'il y a un fichier, il te dira peut-être pourquoi ça n'a pas marché.
Tu peux aussi trouver trace des déclenchements de cron dans /var/log/syslog.

Hors ligne

#3 02-06-2017 10:25:54

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

hello voisin,

d'accord, je vais regardé ceci.
je re-posterai, lorsque, et si j'ai du nouveau à l'aide de ce que tu preconises.

merci, à bientôt.

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#4 02-06-2017 11:07:15

dejieres
Membre
Lieu : Moselle
Distrib. : Jessie 64 bits
Noyau : Linux 3.16.0-4-amd64
(G)UI : Gnome 3.14+3 amd64
Inscription : 07-02-2017

Re : [RESOLU] Backup avec Rsync + Cron

yes.gif

Voisin ?
Tu es toi aussi originaire des contrées sauvages et inexplorées de l'est de l'est ? big_smile

Hors ligne

#5 02-06-2017 11:12:33

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

au bout du bout, 15 km de la Belgique et 15 km du Luxembourg environ, meurthe&moselle, vers Longwy, la ville qui bouge... -__-'

science sans conscience n'est que ruine de l'âme...

Hors ligne

#6 02-06-2017 11:18:05

dejieres
Membre
Lieu : Moselle
Distrib. : Jessie 64 bits
Noyau : Linux 3.16.0-4-amd64
(G)UI : Gnome 3.14+3 amd64
Inscription : 07-02-2017

Re : [RESOLU] Backup avec Rsync + Cron

Plutôt de l'autre côté pour moi. Du côté de Sarreguemines, pas loin de l'Al[sace|lemagne] smile

Hors ligne

#7 02-06-2017 12:16:20

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

ce sont des beaux coins par la-bas.

@ bientot

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#8 02-06-2017 20:36:11

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

re- hello,

dans /var/log/syslog, je vois:

Jun  2 20:23:16 srv1 cron[5966]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)
Jun  2 20:23:35 srv1 systemd[1]: Started Regular background program processing daemon.
Jun  2 20:23:35 srv1 cron[5972]: cron: can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable
Jun  2 20:23:35 srv1 systemd[1]: cron.service: Main process exited, code=exited, status=1/FAILURE
Jun  2 20:23:35 srv1 cron[5972]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)
Jun  2 20:23:35 srv1 systemd[1]: cron.service: Unit entered failed state.
Jun  2 20:23:35 srv1 systemd[1]: cron.service: Failed with result 'exit-code'.
Jun  2 20:23:39 srv1 cron[5975]: (CRON) DEATH (can't lock /var/run/crond.pid, otherpid may be 1349: Resource temporarily unavailable)
 


ou des choses du genre:

Jun  2 15:17:01 srv1 CRON[3456]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
 


je ne capte pas bien, en plus l'histoire du hourly... Alors que je pensais avoir configuré pour une sauvegarde par mois...

Dernière modification par d33p (03-06-2017 06:06:06)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#9 02-06-2017 21:09:43

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

j'vais encore creuser, mais si quelqu'un a une idée tongue

science sans conscience n'est que ruine de l'âme...

Hors ligne

#10 03-06-2017 06:21:11

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

j'ai testé les commandes rsync à la main et cela fonctionne sans erreur, il semble que le probleme soit lié à cron, lorsque je parcours le net, c'est pas tres rassurant, il a l'air bien buggué ce programme...

science sans conscience n'est que ruine de l'âme...

Hors ligne

#11 03-06-2017 08:37:58

Severian
Membre
Distrib. : Debian GNU/Linux 8.7 (jessie)
Noyau : Linux 4.9.0-0.bpo.1-amd64
(G)UI : Openbox 3.6.1-4
Inscription : 13-12-2014

Re : [RESOLU] Backup avec Rsync + Cron

tu as essayé de le lancer en utilisant un service systemd ?
exemple de ce que j'utilise pour une "sauvegarde" de mes docs toute les semaine
rsync-home.service

[Unit]
Description=sauvegarde home

[Service]
Type=oneshot
ExecStart=/home/sev/.bin/sev-rsync-backup

[Install]
WantedBy=default.target
 



rsync-home.timer

[Unit]
Description=sauvegarde home par rsync

[Timer]
OnCalendar=weekly
AccuracySec=1h
Persistent=true

[Install]
WantedBy=default.target



le script

#!/bin/bash
rm /media/divers/rsync-home-sev-log/log-*
rsync -a --stats --human-readable --log-file=/media/divers/rsync-home-sev-log/log.txt --log-file-format="" --del --ignore-errors --force -F /home/sev/ /media/divers/rsync-home-sev/home/ | tee -a /media/divers/rsync-home-sev-log/log-`date +%Y%m%d-%H%M`.txt
sleep 1
rsync -a --stats --human-readable --log-file=/media/divers/rsync-home-sev-log/log.txt --log-file-format="" --del --ignore-errors --force -F /media/docs/Documents /media/divers/rsync-home-sev/docs/ | tee -a /media/divers/rsync-home-sev-log/log-`date +%Y%m%d-%H%M`.txt
sleep 1
echo -e "Mail envoyé le $(date)\n*************************\nLogs de sauvegarde rsync\n*************************\n`cat /media/divers/rsync-home-sev-log/log-*`" | mail -s "Logs de sauvegarde rsync" sev@pcsev
 



jette un œil sur les man de systemd.time, systemd.timer et systemd.service  wink


"il est urgent d'attendre" (bendia)
ob3-de10.pngbanner98x30.png

En ligne

#12 03-06-2017 12:06:22

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Hello, merci pour vos infos.

Je vais plancher les deux options, je reviens vers vous dès que j'avance.

Par contre, comme j'avais lancé les rsync à la mano, je ne vais pas repondre rapidement, car je vais attendre que les taches se deroulent jusqu'à la fin avant de faire autre chose. (je ne veux pas brusquer le serveur ou risquer d'impacter les rsync en cours) la derniere fois les backup ont duré 2 jours...

@ bientot

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#13 03-06-2017 13:58:51

dejieres
Membre
Lieu : Moselle
Distrib. : Jessie 64 bits
Noyau : Linux 3.16.0-4-amd64
(G)UI : Gnome 3.14+3 amd64
Inscription : 07-02-2017

Re : [RESOLU] Backup avec Rsync + Cron

Ben en fait, y'a pas qu'un seul cron.

Les daily, hourly, ... que tu peux voir correspondent aux dossiers du même nom sous /etc/ (/etc/cron.hourly, ...). Les scripts placés dans ces dossiers sont exécutés avec la périodicité idoine.

Ta commande, c'était plutôt crontab -e, non ? commande qui permet de définir les tâches planifiées par utilisateur.

Pour définir des tâches qui ne se pas propres à un utilisateur, tu peux éditer directement /etc/crontab.

Hors ligne

#14 03-06-2017 17:14:08

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Hello,

Ta commande, c'était plutôt crontab -e, non ?


Oui, j'ai lancé ceci et édité, mais cela ne faisait rien et ce que j'ai posté plus haut n'a pas l'air très rassurant avec ces histoires de "death" etc... je ne sais pas dechiffrer plus que ça, mais ça sent pas bon ^^

Ben en fait, y'a pas qu'un seul cron.

Les daily, hourly, ... que tu peux voir correspondent aux dossiers du même nom sous /etc/ (/etc/cron.hourly, ...). Les scripts placés dans ces dossiers sont exécutés avec la périodicité idoine.


Oui, mais dans la mesure ou je n'ai pas configuré quoi que ce soit en "hourly", je ne comprends pas pourquoi ça apparait dans les logs...

au passage, j'avais modifié les commandes rsync, je les ai lancé manuellement, ça tourne toujours (pour le moment tant que la sauvegarde tourne, je ne touche pas au serveur).
Voici la version finale de la commande rsync que j'ai lancé:

rsync -avhP --delete-before /share/WD3/ /backup/WD4



merci
@ bientot

d33p

Dernière modification par d33p (03-06-2017 19:18:11)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#15 03-06-2017 18:12:08

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

c'est une horreur apres des heures de copie, j'ai pour resultat final "error read only file"

Read-only file system (30)
rsync error: error in file IO (code 11) at receiver.c(393) [receiver=3.1.2]



J'ai egalement des:

cannot access '/share/WD3/fichiers1': Bad message



Tous mes backups ont planté avec des erreurs de ce type...
Je suis tres mal là, et en plus je ne comprends pas ces erreurs...

En plus, il devait ne pas reecrire sur les fichiers existants et ne toucher qu'aux fichiers ou repertoires changés et là il reprend à chaque fois à zero...

Dernière modification par d33p (03-06-2017 18:39:19)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#16 03-06-2017 20:00:21

dejieres
Membre
Lieu : Moselle
Distrib. : Jessie 64 bits
Noyau : Linux 3.16.0-4-amd64
(G)UI : Gnome 3.14+3 amd64
Inscription : 07-02-2017

Re : [RESOLU] Backup avec Rsync + Cron

je n'ai pas configuré quoi que ce soit en "hourly"

Mais le système va quand même lancer la tâche toutes les heures, même s'il n'y a rien a exécuter. D'où sa présence dans les logs.

Tu peux donner quelques lignes de log de plus, autour des lignes que tu donnes ci-dessus ? Ça se produit sur des fichiers particuliers ?

Pour ton test, tu as lancé rsync en root ou avec ton utilisateur ?

Hors ligne

#17 03-06-2017 21:41:54

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

j'ai lancé en root pour avoir tous les droits, enfin, c'est ce que je croyais, mais l'histoire des fichiers en read only ça m'intrigue...
voici un exemple avec des lignes de log en plus comme tu le demandes

*** Skipping any contents from this failed directory ***
rsync: recv_generator: mkdir "/backup/WD3/user1/SOFTWARE" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
user1/Recettes/
user1/SOFTWARE/
rsync: recv_generator: mkdir "/backup/WD3/user1/_backup_debian" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
user1/_backup_debian/
rsync: recv_generator: mkdir "/backup/WD3/user1/_backup_fedora" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
user1/_backup_fedora/
rsync: recv_generator: mkdir "/backup/WD3/user1/_brix" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync: recv_generator: mkdir "/backup/WD3/user1/_server_debian_user" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync: recv_generator: mkdir "/backup/WD3/user1/email_backup" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync: recv_generator: mkdir "/backup/WD3/user1/key" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync: chown "/backup/WD3/lost+found" failed: Read-only file system (30)
rsync: chown "/backup/WD3/movies_02" failed: Read-only file system (30)


merci

d33p


science sans conscience n'est que ruine de l'âme...

Hors ligne

#18 04-06-2017 07:42:26

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

je pense que je vais decouvrir un probleme *caché* peut etre lié au matos, il me semble que les disques sur lesquels j'ai ces erreurs read / write sont uniquement ceux qui sont dans ma baie additionnelle USB, sur ceux en interne les backups ont fonctionnés... je redonne des nouvelles lorsque j'ai demonté et checké tout ceci...

science sans conscience n'est que ruine de l'âme...

Hors ligne

#19 04-06-2017 09:43:09

Thuban
Modérateur
Distrib. : OpenBSD
Noyau : current
(G)UI : xfce ou dwm
Inscription : 09-01-2009
Site Web

Re : [RESOLU] Backup avec Rsync + Cron

Read-only : ça vaudrait le coup de forcer une vérification du système de fichiers (fsck)

Au passage, c'est une bonne idée de mettre le chemin complet vers l'exécutable dans les tâches cron (qui n'a pas toujours le même PATH) : /usr/bin/rsync par exemple.

Y3HGA-H

Hors ligne

#20 04-06-2017 23:45:49

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Hello, j'ai passé une partie de la journée avec fsck, franchement c'etait pas beau à voir... il y a bien un souci... maintenant, je suis en train de voir si ça vient de la partition ou du disque physique lui-même...
C'est dingue, je partais sur un post "assez basique" et le probleme de partition ou de disque m'a fait partir sur des resultats completements aleatoires... donc les commandes logiques se transformaient en un espece de truc qui plantait...
lorsque j'ai lancé le fsck sur le volume, il ne voulait pas du -a, cela me forçait à passer en manuel... ensuite il y avait tellement d'erreurs que mon ecran ressemblait à celui de "la matrice"...
J'ai été en fait obligé de passer par fsck car le serveur plantait, le mount ne se faisait pas et nfs plantait egalement... j'ai du desactiver à l'aide de "#" le volume dans etc/fstab ainsi que /etc/exports ...
vref tongue ...
Lorsque ce souci est reglé et que je peux refaire du rsync et cron sur des bases solides, je reviendrai implementer ce post... pour le moment j'ai un autre combat : recuperer mes données, car le HDD1 defect a corrompu son doublon lors de la sauvegarde "ratée"...

PS: merci Thuban pour l'info avec cron, je note tongue .

@ bientot

d33p

Dernière modification par d33p (04-06-2017 23:49:38)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#21 05-06-2017 07:24:44

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

https://debian-facile.org/viewtopic.php?id=18044
petite interlude dans ce post, lorsque j'aurais fait le point sur mes HDDs, je pourrais continuer tongue

merci

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#22 30-06-2017 14:10:25

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Hello,

J'ai reglé mon souci avec les disques... (en fait, cela venait du boitier externe en usb3)
Je reviens donc sur le sujet des backups...
Avant de repartir sur cron, dans un premier temps avec rsync, j'ai l'impression qu'il recopie tous les fichiers & repertoires à chaque lancement de la commande, au cas ou voici la syntaxe que j'utilise à present:

rsync -rlpdgv --delete --ignore-errors --force /depart/ /arrivee/


Enfin, c'est plus qu'une impression, car si je check la date de modif des fichiers dans /arrivee/ , en effet, elle change apres chaque lancement de commande, de plus, les backups prennent un temps fou...
J'ai loupé un truc pour qu'il ne recopie pas l'existant?
Mon but c'est:
-qu'il copie les nouveaux fichiers qui sont dans /depart/ vers /arrivee/
-qu'il efface les fichiers effacés qui étaient dans /depart/ dans /arrivee/
-qu'il ne reecrive pas à chaque fois sur ce qui est identique dans /depart/ et dans /arrivee/

merci, à bientôt.

d33p


science sans conscience n'est que ruine de l'âme...

Hors ligne

#23 30-06-2017 14:30:59

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

J'ai trouvé, il faut ajouter "--inplace"
c'est à dire :

rsync -rlpdgv --delete --ignore-errors --force --inplace /depart/ /arrivee/


à ce moment là, rsync ne touche que ce qui à changé.

d33p


science sans conscience n'est que ruine de l'âme...

Hors ligne

#24 30-06-2017 14:32:57

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Severian, je ne comprends pas ou tu veux en venir, je n'ai pas ces notions là, tu peux me guider un peu dans ta demarche s'il te plait?
ou à la place de cron, je me servirais de script faits à la mano?

merci,

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#25 30-06-2017 14:37:55

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] Backup avec Rsync + Cron

Au passage, c'est une bonne idée de mettre le chemin complet vers l'exécutable dans les tâches cron (qui n'a pas toujours le même PATH) : /usr/bin/rsync par exemple.


hello, tu pourrais entrer un peu plus dans les details stp?

merci.

d33p


science sans conscience n'est que ruine de l'âme...

Hors ligne

Pied de page des forums