logo Debian Debian Debian-France Debian-Facile Debian-fr.org Forum-Debian.fr Debian ? Communautés logo inclusivité

Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 24-11-2023 14:21:35

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Bonjour

Je me prends un peu la tête sur une problématique simple mais pour laquelle je trouve pas de solution satisfaisante. J'ai besoin sur une machine de récupérer à intervalles réguliers d'un serveur FTP distant les nouveaux fichiers présents dans ce FTP.
J'ai essayé d'abord avec wget mais en fait cela ne marche pas car si j'ai déplacé en local les anciens fichiers il va les retélécharger au lieu de ne télécharger que les nouveaux !
Une idée simple pour y parvenir ? cela doit se faire dans le terminal car je mettrais ça ensuite dans un cron wink

Merci par avance,

Vincèn

J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#2 24-11-2023 15:32:43

bendia
Chadministrateur
Distrib. : openSUSE Tumbleweed, Buster
Noyau : Linux 5.9.1-2-default + Linux 4.19.0-12-amd64
(G)UI : Gnome + Console et un peu Fluxbox
Inscription : 20-03-2012
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Avec un autre client FTP que wget, genre ftp ?

Ben
___________________
La seule question bête, c'est celle qu'on ne pose pas.

Hors ligne

#3 24-11-2023 15:37:01

Anonyme
Invité

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

vincen a écrit :


J'ai essayé d'abord avec wget mais en fait cela ne marche pas car si j'ai déplacé en local les anciens fichiers il va les retélécharger au lieu de ne télécharger que les nouveaux !
Une idée simple pour y parvenir ? cela doit se faire dans le terminal car je mettrais ça ensuite dans un cron wink


Cron bien sûr.
Si tu ôtes des fichiers, je ne vois qu'un script avec fichier texte mémoire de ce qui est déjà récupéré.
Une boucle sur les fichiers distants et un test pour lancer wget s'il n'y est pas et ajout de ce fichier à done.txt une fois fait.

Il serait plus facile de répondre si tu montrais la base de ton script.

#4 26-11-2023 09:59:36

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Merci pour vos retours et voici donc la ligne de commande que j'utilise:

wget --ftp-user="utilisateur" --ftp-password="motdepasse" -r -np -c -N ftp://monserveurftp/*



Ne peut-on pas dire à wget de récupérer que les fichiers apparus depuis la dernière récupération ?


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#5 26-11-2023 11:32:48

Anonyme
Invité

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Ce n'est pas encore un script, juste une ligne de commande.
Le manpage de wget est gros, je n'ai jamais tout testé mais n'y vois pas l'option magique que tu cherches.

man wget

#6 26-11-2023 11:52:26

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Anonyme a écrit :

Ce n'est pas encore un script, juste une ligne de commande.
Le manpage de wget est gros, je n'ai jamais tout testé mais n'y vois pas l'option magique que tu cherches.


Une idée de ce qui pourrait faire ça ? J'ai regardé curl et ftp en ligne de commande mais aucun des deux n'a l'air d'avoir ce genre d'options roll


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#7 26-11-2023 11:59:06

Anonyme
Invité

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

C'est pour ça que les scripts existent !

#8 26-11-2023 12:00:48

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Anonyme a écrit :

C'est pour ça que les scripts existent !


oki je vais essayer de trouver ça sur le net alors parce que les scripts shell j'y connais à peu près rien sad


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#9 27-11-2023 08:30:23

mister_g
Membre
Distrib. : debian sid
Noyau : Linux 6.6.13
(G)UI : fluxbox
Inscription : 20-07-2022

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

J'aurai quelques questions sur le fonctionnement de ton ftp.

Les fichiers qui sont déposés dans le ftp y restent au fil du temps ou sont supprimés après un délai ?
y-a-t-il des fichiers déposés chaque jour ou semaine (ou autre délai) avec un même nom  qui écrasent les précédents ?
tu copies les fichiers depuis le ftp toujours vers le même répertoire ?
est ce que tu les déplaces et/ou renommes les fichiers ensuite ?

Hors ligne

#10 27-11-2023 09:31:30

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

mister_g a écrit :

Les fichiers qui sont déposés dans le ftp y restent au fil du temps ou sont supprimés après un délai ?


Oui ils sont supprimés au bout d'un certain temps !

mister_g a écrit :

y-a-t-il des fichiers déposés chaque jour ou semaine (ou autre délai) avec un même nom  qui écrasent les précédents ?


non ils ont tous des noms uniques

mister_g a écrit :

tu copies les fichiers depuis le ftp toujours vers le même répertoire ?


oui tout à fait

mister_g a écrit :

est ce que tu les déplaces et/ou renommes les fichiers ensuite ?


oui une fois récupéré les fichiers sont déplaces et rangés


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#11 27-11-2023 10:40:50

mister_g
Membre
Distrib. : debian sid
Noyau : Linux 6.6.13
(G)UI : fluxbox
Inscription : 20-07-2022

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

as tu essayé avec curl comme ici : https://www.baeldung.com/linux/ftp-download-all-files

ou bien d'adapter ce script windows la : https://stackoverflow.com/questions/224 … iple-files

Hors ligne

#12 27-11-2023 12:41:02

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

mister_g a écrit :

as tu essayé avec curl comme ici : https://www.baeldung.com/linux/ftp-download-all-files

ou bien d'adapter ce script windows la : https://stackoverflow.com/questions/224 … iple-files


Pour curl déja essayé mais à priori on est sur les mêmes limitations que wget sad pour le script windows ça ne fait pas ce que le cherche malheureusement sad

J'ai trouvé ça que je vais tester dès que j'ai deux minutes pour voir ce que cela donne: https://stackoverflow.com/questions/630 … ash-script


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#13 27-11-2023 13:41:15

Croutons
Membre
Distrib. : Debian12
Noyau : Linux 6.1.0-13-amd64
(G)UI : Fluxbox(NakeDeb)
Inscription : 16-12-2016

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Hello
essaye voir avec wput (paquet du même nom)
l'option --timestamping semble faire ce que tu demande

man wput a écrit :

Si timestamping est activé, Wput récupère une liste de répertoires et l'analyse pour déterminer la date du fichier distant. Si le fichier local est plus récent que le fichier distant (il y a un écart de temps autorisé par défaut de 5 secondes, qui peut être ajusté dans le fichier wputrc), il est téléchargé, sinon il est ignoré. La date locale est déterminée par le mtime (heure de la dernière modification), en utilisant le fuseau horaire actuel. Cela devrait correspondre à la sortie de ls -l. Comme vous ne souhaitez généralement pas reprendre des fichiers existants, vous devriez également utiliser les options --reupload --dont-continue.


-->les cahiers du debutant<--      WikiDF-->Découvrir les principales commandes Linux<-- 
L' expérience, c'est le nom que chacun donne à ses erreurs. Oscar Wilde

Hors ligne

#14 27-11-2023 14:00:09

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Croutons a écrit :


essaye voir avec wput (paquet du même nom)
l'option --timestamping semble faire ce que tu demande


Merci pour la découverte de cette commande que je ne connaissais pas mais malheureusement elle fait que de l'envoi de fichiers et non de la réception de fichiers sad


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#15 27-11-2023 14:27:26

Croutons
Membre
Distrib. : Debian12
Noyau : Linux 6.1.0-13-amd64
(G)UI : Fluxbox(NakeDeb)
Inscription : 16-12-2016

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

oups oui love.gif
a y voir de plus près c'est pas faux
edit: ou wget2 d’après show wget2 ça doit le faire

Dernière modification par Croutons (27-11-2023 14:30:10)


-->les cahiers du debutant<--      WikiDF-->Découvrir les principales commandes Linux<-- 
L' expérience, c'est le nom que chacun donne à ses erreurs. Oscar Wilde

Hors ligne

#16 27-11-2023 15:37:14

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Croutons a écrit :

oups oui https://debian-facile.org/img/smilies/xtras/love.gif
a y voir de plus près c'est pas faux
edit: ou wget2 d’après show wget2 ça doit le faire


héhé bien tenté mais wget2 supporte que http et https pas de ftp sad


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

#17 27-11-2023 20:43:54

Croutons
Membre
Distrib. : Debian12
Noyau : Linux 6.1.0-13-amd64
(G)UI : Fluxbox(NakeDeb)
Inscription : 16-12-2016

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

vincen a écrit :

héhé bien tenté mais wget2 supporte que http et https pas de ftp sad


c'est pourtant ce qui est dit dans la description, après j'ai rien testé

apt show wget2


-->les cahiers du debutant<--      WikiDF-->Découvrir les principales commandes Linux<-- 
L' expérience, c'est le nom que chacun donne à ses erreurs. Oscar Wilde

Hors ligne

#18 28-11-2023 14:44:49

vincen
Adhérent(e)
Lieu : Lausanne, Suisse
Distrib. : Debian 11/12
(G)UI : KDE
Inscription : 19-08-2021
Site Web

Re : Récupérer d'un serveur ftp des fichiers à intervalles réguliers ?

Croutons a écrit :

vincen a écrit :

héhé bien tenté mais wget2 supporte que http et https pas de ftp sad


c'est pourtant ce qui est dit dans la description, après j'ai rien testé

apt show wget2


Effectivement petite erreur quelque part car le descriptif dit qu'il gère aussi FTP mais le man cite uniquement http/https/proxies big_smile
En tout cas l'option time-stamping ne marche pas dans mon cas car s'il trouve un fichier sur le serveur qui existe pas en local il va le retélécharger donc pas possible avec cet outil non plus sad

Visiblement je ne pourrais pas échapper à essayer de faire un script pour gérer ça hmm


J'écris en Bépo
Je stocke mes fichiers dans NextCloud
Tous mes ordinateurs tournent sous Linux et mes serveurs d'hébergement sous Linux/Webmin/Virtualmin wink
Vive l'informatique libre !

Hors ligne

Pied de page des forums