logo Debian Debian Debian-France Debian-Facile Debian-fr.org Forum-Debian.fr Debian ? Communautés logo inclusivité

Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 27-05-2024 10:41:46

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

accès clé usb

hello,
je tente d'utiliser une clé usb pour travailler sur des fichiers sous debian et sous W11.
la clé contient ~400.000 fichiers, elle est formatée en extfat (128 Go)
sous W11, le gestionnaire de fichiers affiche le contenu de la clé en moins d'une minute
sous debian/xfce/thunar, il faut au moins 10mn, autant dire que c'est pas possible...
j'ai essayé directement avec un "ls" : même timing.

je suppose que le problème vient de la gestion de l'extfat par linux...

avant de laisser tomber, auriez-vous une idée pour lire cette clé dans des délais acceptables ?

Hors ligne

#2 27-05-2024 11:37:18

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : accès clé usb

Je connais pas le souci mais à ta place deux options :
* diagnostiquer : lancer "sudo dmesg -W" avant de rentrer la clé USB, et regarder les logs jusqu'au montage et les copier ici (ou chercher toi-même à partir de ce qui en ressort)
* contourner : changer de format (ntfs voir même fat si y a pas de fichier de plus de 4Go, ça passe)

virtue_signaling.pngpalestine.png
~1821942.svg

Hors ligne

#3 28-05-2024 10:18:50

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

bon, y me dit ça :
[295142.666085] usb 2-1.2: new high-speed USB device number 7 using ehci-pci
[295142.852064] usb 2-1.2: New USB device found, idVendor=6557, idProduct=003b, bcdDevice= 0.02
[295142.852075] usb 2-1.2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[295142.852079] usb 2-1.2: Product: Mass Storage
[295142.852081] usb 2-1.2: Manufacturer: Generic
[295142.852084] usb 2-1.2: SerialNumber: 74F77C19
[295142.857225] usb-storage 2-1.2:1.0: USB Mass Storage device detected
[295142.857518] scsi host6: usb-storage 2-1.2:1.0
[295144.275053] scsi 6:0:0:0: Direct-Access     Generic  Flash Disk       8.01 PQ: 0 ANSI: 6
[295144.275497] sd 6:0:0:0: Attached scsi generic sg2 type 0
[295144.277272] sd 6:0:0:0: [sdb] 491520000 512-byte logical blocks: (252 GB/234 GiB)
[295144.277891] sd 6:0:0:0: [sdb] Write Protect is off
[295144.277901] sd 6:0:0:0: [sdb] Mode Sense: 23 00 00 00
[295144.278518] sd 6:0:0:0: [sdb] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[295144.285032]  sdb: sdb1
[295144.285401] sd 6:0:0:0: [sdb] Attached SCSI removable disk

rien d'affreux me semble t-il...

après, je lance le ls ... pour 9mn30 :-(

a priori, W11 ne veut pas formater une cle de 128/256 Go en FAT, j'essaierai NTFS quand j'aurai une autre clé dispo...

Dernière modification par claude.simon (28-05-2024 10:20:13)

Hors ligne

#4 28-05-2024 10:46:41

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : accès clé usb

après, je lance le ls ... pour 9mn30 :-(


Rien dans les logs entre ces deux moments ? (genre un timeout de quelque chose ?) - c'est ça qui serait intéressant. Tes logs couvrent littéralement *2 secondes* wink


W11 ne veut pas formater une cle de 128/256 Go en FAT


Ben sinon tu as le brave gparted si tu veux pas ligne-de-commander :3


virtue_signaling.pngpalestine.png
~1821942.svg

Hors ligne

#5 28-05-2024 10:55:54

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

non, rien dans les logs, je l'aurais dit, tu penses bien... :-)

en fait, ce qui serait bien, c'est un retour d'utilisteurs (if any)... quel est le meilleur système de fichier, compatible linux/W11, qui permette de gérer "rapidement" ~500000 fichiers répartis sur 100000 directory, tout ça sur une clé usb de 128/256 Go...

Hors ligne

#6 28-05-2024 11:09:54

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : accès clé usb

claude.simon a écrit :

non, rien dans les logs, je l'aurais dit, tu penses bien... :-)


Je pense qu'il faut toujours demander vu que tu ne l'a pas dit explicitement ^^'

claude.simon a écrit :

en fait, ce qui serait bien, c'est un retour d'utilisteurs (if any)... quel est le meilleur système de fichier, compatible linux/W11, qui permette de gérer "rapidement" ~500000 fichiers répartis sur 100000 directory, tout ça sur une clé usb de 128/256 Go...


Avec gparted en quelques minutes tu peux faire le tour des formatage tolérés par Windows ? fat, ntfs, exfat ? C'est rapide à teste à priori si tu veux faire des tests de performance.
Mon intuition c'est que ça changera pas grand chose, sauf si t'es fichiers ont des noms avec des caractères spéciaux qui excluent fat - ou en contexte ou ta clé USB est corrompue et que tu cherches à sauver les meubles.
Cela dit la réponse "en pratique" m'intéresse si tu fais le test.

Dernière modification par otyugh (28-05-2024 11:11:17)


virtue_signaling.pngpalestine.png
~1821942.svg

Hors ligne

#7 28-05-2024 11:35:54

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

je ferai sans-doute le test, il faudra aussi que je regarde si on peut utiliser des system files ext-xxx avec W11.
mais ça va pas être immédiat, le formatage ça va vite, mais le transfert des fichiers sur la clé, c'est assez long avec des clé usb2... :-)

Hors ligne

#8 28-05-2024 15:19:23

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

Que donne :

lsusb




  ?


Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#9 28-05-2024 15:56:14

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

ça donne :

Bus 002 Device 009: ID 6557:003b Emtec Mass Storage
Bus 002 Device 002: ID 8087:0020 Intel Corp. Integrated Rate Matching Hub
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 003: ID 10f1:1a2a Importek Laptop Integrated Webcam
Bus 001 Device 002: ID 8087:0020 Intel Corp. Integrated Rate Matching Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

Hors ligne

#10 28-05-2024 16:21:05

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

claude.simon a écrit :

ça donne :

Bus 002 Device 009: ID 6557:003b Emtec Mass Storage
Bus 002 Device 002: ID 8087:0020 Intel Corp. Integrated Rate Matching Hub
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 003: ID 10f1:1a2a Importek Laptop Integrated Webcam
Bus 001 Device 002: ID 8087:0020 Intel Corp. Integrated Rate Matching Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub



lsub dit que c'est une clé USB Emtec Mass Storage, mais  l'idVendor 6657 dans la base de données https://www.usb.org/sites/default/files … 1121_0.pdf il est écrit que c'est un matériel de Dezhou HongJu Communication Technology Co., Ltd. Peut-être qu'EMTEC est une dénomination commerciale de Dezhou HongJu Communication Technology Co., Ltd, il faudrait aller plus loin.




On voit une capacité en octets ici :
[295144.277272] sd 6:0:0:0: [sdb] 491520000 512-byte logical blocks: (252 GB/234 GiB)

Est-ce que tu trouves la même avec

fdisk -l /dev/sdb




  ?

Que donne les caractéristiques de la clé :

lsusb -v -d 6557:003b





  ?

Dernière modification par --gilles-- (28-05-2024 16:32:26)


Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#11 28-05-2024 16:34:10

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

le fdisk me dit

Disque /dev/sdd : 234,38 GiB, 251658240000 octets, 491520000 secteurs
Modèle de disque : Flash Disk     
Unités : secteur de 1 × 512 = 512 octets
Taille de secteur (logique / physique) : 512 octets / 512 octets
taille d'E/S (minimale / optimale) : 512 octets / 512 octets
Type d'étiquette de disque : dos
Identifiant de disque : 0xf5f919c

je suppose que la réponse est oui... ;-)

Hors ligne

#12 28-05-2024 16:44:17

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

Oui, évidemment, c'est correct ! big_smile

et :

lsusb -v -d 6557:003b




?


Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#13 28-05-2024 16:51:12

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

j'ai pas trouvé comment insérer une fenêtre avec un ascenceur, du coup, ça donne:
Bus 002 Device 012: ID 6557:003b Emtec Mass Storage
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               2.10
  bDeviceClass            0
  bDeviceSubClass         0
  bDeviceProtocol         0
  bMaxPacketSize0        64
  idVendor           0x6557 Emtec
  idProduct          0x003b
  bcdDevice            0.02
  iManufacturer           1 Generic
  iProduct                2 Mass Storage
  iSerial                 3 74F77C19
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength       0x0020
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          0
    bmAttributes         0x80
      (Bus Powered)
    MaxPower              200mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
Binary Object Store Descriptor:
  bLength                 5
  bDescriptorType        15
  wTotalLength       0x0016
  bNumDeviceCaps          2
  USB 2.0 Extension Device Capability:
    bLength                 7
    bDescriptorType        16
    bDevCapabilityType      2
    bmAttributes   0x00000006
      BESL Link Power Management (LPM) Supported
  SuperSpeed USB Device Capability:
    bLength                10
    bDescriptorType        16
    bDevCapabilityType      3
    bmAttributes         0x00
    wSpeedsSupported   0x000e
      Device can operate at Full Speed (12Mbps)
      Device can operate at High Speed (480Mbps)
      Device can operate at SuperSpeed (5Gbps)
    bFunctionalitySupport   1
      Lowest fully-functional device speed is Full Speed (12Mbps)
    bU1DevExitLat          10 micro seconds
    bU2DevExitLat           2 micro seconds
Device Status:     0x0000
  (Bus Powered)

Hors ligne

#14 28-05-2024 17:15:09

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

Elle est très correcte !

On finit par en revenir à l'idée d'Otyugh : comparer la rapidité des systèmes de fichiers par des tests réels tongue

Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#15 28-05-2024 17:27:02

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

ouaip, mais c'est déjà le binz, j'ai formaté une clé en ntfs avec gparted, je l'ai montée avec fuse et usb-3g, je la vois bien avec /mnt/ntfs2 (mon point de montage) mais je la vois pas dans thunar... :-(
j'ai comméncé à la remplir en ligne de commande, mais, 128Go, et 400000 fichiers, ça risque d'être long... et en plus, j'ose pas faire de ls en // pour voir la progression, vu te temps que ça pourrait prendre...

Dernière modification par claude.simon (28-05-2024 17:27:26)

Hors ligne

#16 28-05-2024 17:47:43

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

Bein, tu peux faire autre chose en attendant. big_smile

Il y aussi le format de fichiers UDF :

apt update && apt upgrade && apt install --reinstall gparted libudf0 udfclient udftools




puis choix B de ce tuto : https://debian-facile.org/doc:system:st … tition-gpt


Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#17 28-05-2024 18:24:46

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

udf, ça va être compatible avec W11 ?

j'ai craqué, j'ai vérifié l'avancement de la copie : 3Go / heure , y faudrait 40 heures pour remplr la clé ! (sous Debian)

je vais attendre de retrouver un PC W11 pour remplir la clé :-)

Hors ligne

#18 28-05-2024 18:40:21

--gilles--
Membre
Lieu : Orléans - La Source
Distrib. : Debian 12
Noyau : Linux 6.1.0-26-amd64
(G)UI : Gnome - mutter 43.8-0+deb12u1
Inscription : 15-02-2016

Re : accès clé usb

claude.simon a écrit :

udf, ça va être compatible avec W11 ?

C'est compatible, je suis allé chez mon ex pour lui copier un fichier dans son ordi W11 à partir d'une clé USB format de fichiers UDF. Par contre les barres de progression des copies avec UDF ne sont pas progressives ( côté Linux ) : La progression affichée par la barre va très lentement et puis d'un seul coup, elle saute à la fin, ta copie est terminée !


Si tout le monde pense pareil, c'est qu'aucune personne ne pense beaucoup.
 Intel® Core™2 Duo E8500  × 2
4,0 Gio DDR3 - 1333 MHz
Et si vous cherchiez votre solution dans le wiki => https://debian-facile.org/accueil palestine.png

Hors ligne

#19 30-05-2024 11:42:12

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

en tous cas, en NTFS, c'est pas mieux, voir pire... plus de 10 mn pour lister le contenu de la clé :-(

je vais tester l'udf...

Hors ligne

#20 30-05-2024 14:56:52

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : accès clé usb

Ça semble pointer un autre problème, c'est vraiment curieux pourtant, doit y avoir une raison. Tu as un autre PC sous la main pour constater que ça vient pas d'un réglage bizarre de l'UEFI/de la configuration de ton système ?

virtue_signaling.pngpalestine.png
~1821942.svg

Hors ligne

#21 30-05-2024 19:43:42

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

ben non, l'autre PC est en W11, j'y ai bien mis une MV debian, mais je suis pas sûr que le test soit valable dans ces conditions...

Hors ligne

#22 31-05-2024 08:47:18

raleur
Membre
Inscription : 03-10-2014

Re : accès clé usb

claude.simon a écrit :

en tous cas, en NTFS, c'est pas mieux, voir pire


Pas étonnant : la gestion de NTFS utilise ntfs-3g qui est un pilote en espace utilisateur (FUSE) alors que le pilote exfat est un module du noyau.

Par curiosité, as-tu observé un échantillon de la sortie de "vmstat 5" pour voir la charge CPU et les lectures/écritures disque pendant l'exécution de ls ?
Comment les 500000 fichiers et 100000 répertoires sont-ils organisés ? Combien de répertoires et fichiers à la racine ?

Dernière modification par raleur (31-05-2024 08:47:43)


Il vaut mieux montrer que raconter.

Hors ligne

#23 31-05-2024 20:19:19

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

si ça te dis qquchose :
r  b   swpd  libre tampon  cache   si   so    bi    bo   in   cs us sy id wa st
1  1 804620 394368  47760 911212    0    0  7854   173 1761 5399  9  5 78  7  0 <-- branchement clé
1  1 804620 394368  47760 911212    0    0 24832   134 3079 10073 13  9 59 19  0
2  1 804620 394368  47760 911212    0 9336 24651  9382 3441 9311 13 11 56 20  0
2  1 804620 394368  47760 911212    0 27294 24416 27440 4022 9288 16 13 50 21  0
2  1 804620 394368  47760 911212    0 2853 24604  2914 3103 8896 11 11 58 20  0
2  2 804620 394368  47760 911212    0    0 24774    10 3093 9453 15 11 52 22  0
2  1 804620 394368  47760 911212    0    0 23481    44 3704 11663 19 14 48 19  0
9  1 804620 394368  47760 911212    0    0 24788   123 3318 10334 12 10 59 19  0
1  1 804620 394368  47760 911212    0    0 26358   227 3750 11935 23 11 49 17  0
1  1 804620 394368  47760 911212    0    0 24794   127 3272 9907 15 10 56 19  0
4  1 804620 394368  47760 911212    0    0 25739    72 3317 10289 16 10 55 19  0
1  1 804620 394368  47760 911212    0    0 25041   274 3326 10391 17 10 54 19  0
1  1 804620 394368  47760 911212    0    0 24770     0 3091 8876 13  9 59 20  0
2  1 804620 394368  47760 911212    0    0 24699   118 3073 8944 11 10 60 20  0



un répertoire principal, 40000 répertoires niveau 2, 100000 répertoires niveau 3, 500000 fichiers...

Dernière modification par claude.simon (31-05-2024 20:24:19)

Hors ligne

#24 31-05-2024 20:57:54

raleur
Membre
Inscription : 03-10-2014

Re : accès clé usb

En format code avec police à espacement fixe, ça serait plus lisible.
Ça me dit qu'il y a eu une augmentation des lectures disque pendant moins de 10 secondes après le branchement de la clé et une augmentation négligeable de l'utilisation du processeur pendant ce temps. Rien qui corresponde à un délai de 10 minutes pour afficher le contenu de la clé.

40000 objets dans un répertoire, ça ne me paraît pas raisonnable.

Il vaut mieux montrer que raconter.

Hors ligne

#25 31-05-2024 21:13:18

claude.simon
Membre
Distrib. : bookworm 12.5
Noyau : Linux 6.1.0-18-amd64
(G)UI : XFCE 4.18
Inscription : 01-03-2024

Re : accès clé usb

désolé, mais je suis pas un pro des forum, je dépasse pas le copier/coller... :-)

pour l'arborescence, c'est comme ça, j'y peux rien... et ça va augmenter encore...

après, ce qui me désole toujours un peu, c'est de constater que W11 (et/ou son système de fichier) semble plus performant que linux dans ce genre de situation...

Hors ligne

Pied de page des forums