Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 05-02-2017 08:56:15

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

[RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

Hello,

Voila, hier soir, depuis ma Debian, j'ai lancé une copie de fichiers photos d'un disque dur reseau (en NTFS), environ 200GB, vers un disque externe USB 3.0 (en NTFS egalement).
Ce matin, je reviens devant le PC... Je vois le disque encore en train de travailler... Il m'annonce "9 jours de copie....", durant la nuit, il n'avait copié meme pas un tiers des fichiers (on parle de presque 8h00 pour moins de 60GB...)
Un peu deprimé, je relance mon windows 10 (qui est en multiboot), je lance la copie, boum, en 2 heures c'est reglé...

Est-ce que quelqu'un a des idées?
(Debian gere-t-'il mal le NTFS? l'USB 3.0? autre chose?)
** Je precise que pour le moment je dois rester encore un peu avec du NTFS car j'ai encore quelques machines du reseau sous Windows et pas assez de stockage pour transferer et passer les volumes de NTFS vers Ext4.

L'autre question qui viendra logiquement, est-ce que l'EXT4 est au top? Qu'en pensez vous?


@ bientot

d33p

Dernière modification par d33p (06-02-2017 10:21:59)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#2 05-02-2017 18:39:50

raleur
Membre
Inscription : 03-10-2014

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

d33p a écrit :

un disque dur reseau (en NTFS)


Au sens strict, cela désigne un disque dur exporté en tant que périphérique bloc sur le réseau (avec nbd, iSCSI, ATA over ethernet, DRBD ou autre), et contenant un système de fichiers NTFS. Mais c'est assez peu courant et requiert un accès exclusif (la machine hôte qui l'exporte ne doit pas monter le système de fichiers).

Ne serait-ce pas plutôt un système de fichiers en réseau (partage réseau) de type NFS ou Samba/SMB/CIFS ? Dans ce cas le type de système de fichiers NTFS sur le disque n'a d'importance que pour la machine (serveur) qui l'exporte, et pas pour la machine qui y accède via le réseau.

d33p a écrit :


Est-ce que quelqu'un a des idées?


Ouais : des tests séparés n'impliquant qu'un élément de la chaîne à chaque fois pour déterminer le goulet d'étranglement.

d33p a écrit :

(Debian gere-t-'il mal le NTFS?


D'une part NTFS n'est pas un système de fichiers natif de Linux ni même de type Unix, et d'autre part ses spécifications ne sont pas publiques dont sa prise en charge par le noyau Linux ou ntfs-3g a dû être développée par rétro-ingéniérie. D'autre part, ntfs-3g fonctionne en espace utilisateur via FUSE, ce qui ne permet pas atteindre les mêmes performances qu'une gestion entièrement dans le noyau comme pour ext4 ou même FAT.

d33p a écrit :

est-ce que l'EXT4 est au top?


Selon quel critère ? Toute optimisation suppose un critère. Il n'y a rien ni personne qui soit le meilleur dans tous les domaines. Même l'or et le diamant ont leurs défauts, et les prix Nobel sont rarement des champions olympiques.

Dernière modification par raleur (05-02-2017 18:43:42)

En ligne

#3 05-02-2017 21:12:32

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

salut raleur
merci de te pencher sur le post.

Au sens strict, cela désigne un disque dur exporté en tant que périphérique bloc sur le réseau (avec nbd, iSCSI, ATA over ethernet, DRBD ou autre), et contenant un système de fichiers NTFS. Mais c'est assez peu courant et requiert un accès exclusif (la machine hôte qui l'exporte ne doit pas monter le système de fichiers).

Ne serait-ce pas plutôt un système de fichiers en réseau (partage réseau) de type NFS ou Samba/SMB/CIFS ? Dans ce cas le type de système de fichiers NTFS sur le disque n'a d'importance que pour la machine (serveur) qui l'exporte, et pas pour la machine qui y accède via le réseau.


C'est un repertoire partagé sur une machine Windows, montée avec CIFS.

Ouais : des tests séparés n'impliquant qu'un élément de la chaîne à chaque fois pour déterminer le goulet d'étranglement.


Oui, tu as raison, je vais faire des tests avec ces données en local depuis la machine Debian vers le HDD usb 3.0 ainsi j'y verrais plus clair. (donc je peux faire : machine windows vers machine debian, puis machine debian vers hdd usb 3.0 etc...)

D'une part NTFS n'est pas un système de fichiers natif de Linux ni même de type Unix, et d'autre part ses spécifications ne sont pas publiques dont sa prise en charge par le noyau Linux ou ntfs-3g a dû être développée par rétro-ingéniérie. D'autre part, ntfs-3g fonctionne en espace utilisateur via FUSE, ce qui ne permet pas atteindre les mêmes performances qu'une gestion entièrement dans le noyau comme pour ext4 ou même FAT.


ok donc je vais devoir bientot migrer pour plus d'optimisation...

Selon quel critère ? Toute optimisation suppose un critère. Il n'y a rien ni personne qui soit le meilleur dans tous les domaines. Même l'or et le diamant ont leurs défauts, et les prix Nobel sont rarement des champions olympiques.


Sur les disques je vais aussi bien stocker de tres petits fichiers comme de tres gros fichiers, cela ira de la photo à la video...

@ bientot.

d33p


science sans conscience n'est que ruine de l'âme...

Hors ligne

#4 06-02-2017 06:56:41

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

hello,

une copie d'un gros fichier (11GB):
- du disque ext USB 3.0 vers le lecteur reseau en NTFS de la machine Windows, copie entre 80 et 110 MB/s
- du lecteur reseau en NTFS de la machine Windows vers le disque ext USB 3.0, copie entre 80 et 110 MB/s - idem
Donc la chaine du HDD externe au lecteur reseau à l'air bonne, au moins sur du gros fichier...

une copie de petits fichiers (j'ai re-testé avec les photos):
- du disque ext USB 3.0 vers le lecteur reseau en NTFS de la machine Windows, copie entre 0 et 70 MB/s
- du lecteur reseau en NTFS de la machine Windows vers le disque ext USB 3.0, copie entre 0 et 70 MB/s - idem
La copie reste parfois quelques secondes sur "0 MB/s" comme s'il faisait des pauses, il y a des piques à 70 MB/s, mais cela reste rare, on voit souvent les valeurs 0MB/s, 12-13MB/s parfois 40-50MB/s...

- du HDD usb 3.0 vers HDD interne Debian (en local), copie entre 80 & 130 MB/s
- HDD interne Debian vers HDD usb 3.0, copie entre 80 & 130 MB/s, idem...


Le probleme de lenteur semble apparaitre avec : copie de petits fichiers, via reseau sur HDD en NTFS. (c'est le colonel moutarde avec le chandelier dans la cuisine! tongue )

Je pense que la prochaine etape sera d'avoir un HDD externe usb 3.0 en ext 4 avec un lecteur reseau egalement en ext 4 et tester les performances...
Qu'en pensez vous?

d33p

Dernière modification par d33p (06-02-2017 06:58:03)


science sans conscience n'est que ruine de l'âme...

Hors ligne

#5 06-02-2017 07:53:04

MicP
Membre
Distrib. : debian stable
Noyau : Linux 3.16.0-4-amd64
(G)UI : Xfce
Inscription : 29-02-2016

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

Bonjour

La grande majorité des utilisateurs ne connaissent pas l'existence et les caractéristiques des différents types de systèmes de fichiers, et se contentent de ce qu'on leur impose.
Certains en connaissent superficiellement quelques-uns 4 ou 5 tout au plus : les plus utilisés par microsoft et parfois Linux.
Pourtant, il en existe beaucoup d'autres, et je t'invite à aller cliquer sur quelques liens dans cette page web.

Rien que pour la création d'un système de fichiers, on remarque d'énormes différences de performances : As-tu déjà comparé le temps que mets windows à formater une partition en NTFS et celui que mets GParted pour faire la même chose depuis Linux ?

=======
Pour chaque fichier, au niveau d'un système de fichiers, il y a des métadonnées à calculer et à enregistrer avec le fichier et beaucoup d'autres choses à faire dans d'autres endroits du disque, comme les NTFS FAT etc., et c'est ça aussi ça peut prendre du temps.
Je dis "aussi" car les protocoles de transmissions utilisés entre le disque physique et son interface USB, les protocoles USB, les contrôles d'intégrité à chaque niveau du transfert, la gestion plus ou moins optimisée des tampons entrée/sortie du système d'exploitation et de la machine, ralentissent aussi ces transferts de données.

=======
Si tu as un nombre important de "petits" fichiers, tu obtiendrais sans soute un meilleur rendement en copiant cet ensemble de fichiers sous forme d'un seul fichier ou plusieurs fichiers compressé dans lequel seraient regroupés un paquet de ces fichiers.

Tu pourrais aussi gagner du temps en copiant directement (par dd) la partition (réduite par GParted) contenant le système de fichiers dans lequel sont inscrits ces fichiers.

Dernière modification par MicP (06-02-2017 07:59:18)

Hors ligne

#6 06-02-2017 10:21:27

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

salut MicP

à l'occase je testerais si avec la commande DD cela fonctionne plus vite ^^

Oui, tu as raison, je ne connais les systemes de fichier qu'en "survol"...
Il va falloir que je me penche sur ceci de façon plus approfondie pour optimiser par rapport à mes besoins.
Je t'avouerais que j'ai un peu peur de sortir des "grands et connus" standards, j'ai la crainte de passer sur un systeme de fichier et qu'il ne soit supporté que sur quelques années et tomber aux oubliettes, etc..., un exemple, un pote qui à cause d'un bug a perdu presque 2TB de données sur un certain type de systeme de fichier (zfs) si je me souviens bien... perso je n'ai jamais perdu de données sur NTFS (sauf si le disque etait cramé et encore car avec du raid c'est presque pas possible à moins qu'on se prenne une mega eruption solaire tongue ...)

Apres mes differents tests, ainsi que vos sugestions,  il ne semble pas y avoir de reel souci, c'est juste une mauvaise osmose entre mes composants "softs"...

Je vais bucher les systemes de fichiers et essayer d'en trouver un optimisé...

merci à vous qui vous etes penchés sur le post.

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

#7 06-02-2017 10:55:06

MicP
Membre
Distrib. : debian stable
Noyau : Linux 3.16.0-4-amd64
(G)UI : Xfce
Inscription : 29-02-2016

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

je ne connais les systemes de fichier qu'en "survol"...

Je parlais aussi pour moi : c'est tellement énorme que je n'ai "démonté" que la FAT12,16 et 32,
et ensuite, j'ai survolé quelques mois les systèmes de fichiers NTFS puis j'ai vite laissé tombé (format propriétaire => informations pas toujours fiable) pour passer plus de temps sur les type Ext et quelques autres.
Mais comme je disais, ce n'est pas la seule cause du ralentissement, bien que la différence de vitesse de transfert semble de fait assez importante entre une cible NTFS et une cible Ext

Je ne suis pas un pro : juste un autodidacte, donc si quelqu'un de plus compétent passe par là pour infirmer ou confirmer, je me régalerai de ses conseils.

Dernière modification par MicP (06-02-2017 11:04:53)

Hors ligne

#8 06-02-2017 13:52:20

d33p
Adhérent(e)
Lieu : Lorraine
Distrib. : Debian testing buster 64bits
Noyau : En fonction des updates testing buster
(G)UI : En fonction des updates testing buster
Inscription : 01-12-2015

Re : [RESOLU] USB 3.0 / NTFS ?? - tres lent - ay caramba ou pas...

je vais voir, le but sera de passer sur du "open file system"... le seul risque sera de ne plus / ou d'etre limité lors de l'echange de données avec "mr toutlemonde ou mme toutlemonde" (sans que ce soit pejoratif), j'imagine apporter ma clé USB ext4 sur le PC d'un membre de la famille.... bref... ^^

Si on compare:
Avec les memes fichiers, le meme matos sous Windows 2h00, sous Debian X jours ^^
Le vrai test sera quand je pourrais refaire cette copie avec uniquement du ext4 (qui au moins normalement devrait mieux gerer que NTFS sous Debian) ce ne sera pas pour tout de suite, mais lorsque j'en serais là, j'editerais ce post tongue Alors apres, si en ayant tout passé en ext4 et que les transferts sont tout moisis, bah..... je serais vert tongue

Comme tu le dis, si des "gros pros" veulent bien donner leurs avis sur les types de fichiers et leur interaction entre eux, entre OS..., c'est toujours bon à prendre.

merci, à bientôt.

d33p

science sans conscience n'est que ruine de l'âme...

Hors ligne

Pied de page des forums