Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 29-12-2019 09:29:08

minuscheri
Membre
Inscription : 29-12-2019

Ajout disque sur RAID5 12To -> 16To

Bonjour à tous,

Je dispose d'un serveur sous Debian 10 avec un RAID5 qui comportait 4 disques de 4To, donc 12To de capacité. (sda -> sdd)

J'ai installé dans ce serveur un cinquième disque (sde). J'ai choisi un disque de 10To dans l'idée de passer à terme à un RAID5 de 40To, une fois que j'aurai acheté 5 disques de 10To pour remplacer l'ensemble des disques existants.
Pour l'instant je n'ai qu'un seul disque donc mon idée était de l'ajouter aux disques existants pour passer de 12To à 16To de capacité sur mon RAID5, en n'utilisant temporairement que 4To sur les 10To de mon nouveau disque.

Voici mon fdisk -l (il y a également tout un tas de partitions liées à docker mais je ne le recopie pas pour éviter d'alourdir le tout):

fdisk -l


Disk /dev/sdb: 3,7 TiB, 4000787030016 bytes, 7814037168 sectors
Disk model: WDC WD40EFRX-68W
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 06D56363-D20F-4299-AB5C-46663387C726

Device        Start        End    Sectors  Size Type
/dev/sdb1      2048      16383      14336    7M BIOS boot
/dev/sdb2     16384    1970175    1953792  954M Linux RAID
/dev/sdb3   1970176   21501951   19531776  9,3G Linux swap
/dev/sdb4  21501952 7814035455 7792533504  3,6T Linux RAID


Disk /dev/sde: 9,1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: TOSHIBA HDWT31A
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: E8974334-5CD2-4F25-820E-AE623B50E6B1

Device        Start         End     Sectors  Size Type
/dev/sde1      2048       16383       14336    7M BIOS boot
/dev/sde2     16384     1970175     1953792  954M Linux RAID
/dev/sde3   1970176    21501951    19531776  9,3G Linux swap
/dev/sde4  21501952 19532873694 19511371743  9,1T Linux RAID


Disk /dev/sdc: 3,7 TiB, 4000787030016 bytes, 7814037168 sectors
Disk model: WDC WD40EFRX-68W
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 9CC9E152-5BE7-4606-B360-DABE245150FE

Device        Start        End    Sectors  Size Type
/dev/sdc1      2048      16383      14336    7M BIOS boot
/dev/sdc2     16384    1970175    1953792  954M Linux RAID
/dev/sdc3   1970176   21501951   19531776  9,3G Linux swap
/dev/sdc4  21501952 7814035455 7792533504  3,6T Linux RAID


Disk /dev/sdd: 3,7 TiB, 4000787030016 bytes, 7814037168 sectors
Disk model: WDC WD40EFRX-68W
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: EBAA4B68-9547-4587-89EB-F77C2B088545

Device        Start        End    Sectors  Size Type
/dev/sdd1      2048      16383      14336    7M BIOS boot
/dev/sdd2     16384    1970175    1953792  954M Linux RAID
/dev/sdd3   1970176   21501951   19531776  9,3G Linux swap
/dev/sdd4  21501952 7814035455 7792533504  3,6T Linux RAID


Disk /dev/sda: 3,7 TiB, 4000787030016 bytes, 7814037168 sectors
Disk model: WDC WD40EFRX-68W
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: AD35D92E-C40C-4FB8-B738-9686044E2918

Device        Start        End    Sectors  Size Type
/dev/sda1      2048      16383      14336    7M BIOS boot
/dev/sda2     16384    1970175    1953792  954M Linux RAID
/dev/sda3   1970176   21501951   19531776  9,3G Linux swap
/dev/sda4  21501952 7814035455 7792533504  3,6T Linux RAID


Disk /dev/md1: 10,9 TiB, 11968928808960 bytes, 23376814080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2097152 bytes


Disk /dev/md0: 953,4 MiB, 999751680 bytes, 1952640 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
 



Pour agrandir le RAID, après avoir créé les partitions sur /dev/sde, j'ai effectué les commandes suivantes :

mdadm --manage /dev/md1 --add /dev/sde4


puis

mdadm --grow /dev/md1 --raid-devices=5



Maintenant, l'opération de "reshaping" semble terminée :

mdadm --detail /dev/md1


/dev/md1:
           Version : 1.2
     Creation Time : Sun Sep  4 19:35:20 2016
        Raid Level : raid5
        Array Size : 11688407040 (11146.93 GiB 11968.93 GB)
     Used Dev Size : 3896135680 (3715.64 GiB 3989.64 GB)
      Raid Devices : 5
     Total Devices : 5
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sun Dec 29 09:23:04 2019
             State : clean
    Active Devices : 5
   Working Devices : 5
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : unknown

     Delta Devices : 1, (4->5)

              Name : minuscheri:1  (local to host minuscheri)
              UUID : b6e30425:6cc3a159:db2d9320:7cd75609
            Events : 369216

    Number   Major   Minor   RaidDevice State
       0       8        4        0      active sync   /dev/sda4
       1       8       52        1      active sync   /dev/sdd4
       2       8       20        2      active sync   /dev/sdb4
       3       8       36        3      active sync   /dev/sdc4
       4       8       68        4      active sync   /dev/sde4
 



Mais resize2fs ne veut pas agrandir la partition :

resize2fs /dev/md1


resize2fs 1.44.5 (15-Dec-2018)
Le système de fichiers a déjà 2922101760 blocs (4k). Rien à faire !

 



et fdisk m'indique des choses qui ne m'incitent pas du tout à aller faire mumuse avec les partitions :

fdisk -l /dev/md1
 


Disk /dev/md1: 10,9 TiB, 11968928808960 bytes, 23376814080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2097152 bytes
 


fdisk /dev/md1



Welcome to fdisk (util-linux 2.33.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

The old ext4 signature will be removed by a write command.

Device does not contain a recognized partition table.
The size of this disk is 10,9 TiB (11968928808960 bytes). DOS partition table format cannot be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format (GPT).

Created a new DOS disklabel with disk identifier 0x6ba721f1.
 



La question est : qu'est-ce qui empêche resize2fs d'agrandir ma partition de RAID5 ?

Merci à vous et bonne journée,
minuscheri

Dernière modification par minuscheri (29-12-2019 16:13:40)

Hors ligne

#2 29-12-2019 09:51:57

raleur
Membre
Inscription : 03-10-2014

Re : Ajout disque sur RAID5 12To -> 16To

        Array Size : 11688407040 (11146.93 GiB 11968.93 GB)
     Used Dev Size : 3896135680 (3715.64 GiB 3989.64 GB)
      Raid Devices : 5
 


La taille totale correspond encore à un ensemble RAID 5 à 4 disques. Que contient /proc/mdstat ?


Il vaut mieux montrer que raconter.

Hors ligne

#3 29-12-2019 16:12:24

minuscheri
Membre
Inscription : 29-12-2019

Re : Ajout disque sur RAID5 12To -> 16To

Bonjour,

Merci pour votre réponse ! Voici ce que donne cat /proc/mdstat (il y a deux grappes RAID : RAID 1 pour la racine du système et ne pas poser de problème avec GRUB, et RAID 5 pour les données montées sur /home) :

Personalities : [raid1] [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid10]
md0 : active raid1 sda2[0] sde2[4] sdc2[3] sdb2[2] sdd2[1]
      976320 blocks super 1.2 [5/5] [UUUUU]
     
md1 : active raid5 sda4[0] sde4[4] sdc4[3] sdb4[2] sdd4[1]
      11688407040 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/5] [UUUUU]
      bitmap: 3/30 pages [12KB], 65536KB chunk

unused devices: <none>
 



Sachant qu'auparavant, hier soir, juste après que j'ai ajouté le disque, en exécutant watch cat /proc/mdstat j'avais bien une opération en cours dont je pouvais suivre le pourcentage d'avancement (idem dans mdadm --detail /dev/md1). Le temps annoncé pour l'opération 'reshaping' était de l'ordre de 4 jours mais ce matin le fichier avait l'état donné ci-dessus.

Bonne journée,
minuscheri

Hors ligne

#4 29-12-2019 19:34:17

raleur
Membre
Inscription : 03-10-2014

Re : Ajout disque sur RAID5 12To -> 16To

Je n'ai pas une grande expérience en redimensionnement d'ensemble RAID 5. Je viens de tester vite fait et à l'issue du reshape la taille de l'ensemble a bien été augmentée. Tu pourrais essayer de relancer --grow en demandant les taille d'ensemble et de membre maxi.

mdadm --grow --size=max --array-size=max /dev/md1


Ou demander à reprendre le reshape s'il a été interrompu.

mdadm --grow --continue /dev/md1



Edit : tu pourrais aussi regarder les messages de md dans les logs du noyau.
Si le système n'a pas redémarré depuis le début du reshape :

dmesg |egrep -iA8 "raid|md:|md1"


Sinon :

egrep -iA9 "raid|md:|md1" /var/log/kern.log

Dernière modification par raleur (29-12-2019 19:45:53)


Il vaut mieux montrer que raconter.

Hors ligne

#5 01-01-2020 13:16:50

minuscheri
Membre
Inscription : 29-12-2019

Re : Ajout disque sur RAID5 12To -> 16To

Bonjour,

Merci pour ces suggestions ! Et bonne année à tous !

Les commandes mdadm ne donnent rien. En particulier :

mdadm --grow --size=max --array-size=max /dev/md1
 


mdadm: component size of /dev/md1 unchanged at 3896135680K


Et le contenu de /proc/mdstat n'a pas changé.

En revanche, la recherche dans les logs donne ceci, qu'est-ce que ça peut vouloir dire ? :

dmesg |egrep -iA8 "raid|md:|md1"


[318986.527423] md1: detected capacity change from 11968928808960 to 15958571745280
[318989.014834] VFS: busy inodes on changed media or resized disk md1
[318989.145050] md/raid:md1: reshape: not enough stripes.  Needed 512
 


J'ai cherché à googler ce problème mais je n'ai rien réussi à trouver ...

Bonne journée,
minuscheri

Hors ligne

#6 01-01-2020 17:16:14

raleur
Membre
Inscription : 03-10-2014

Re : Ajout disque sur RAID5 12To -> 16To

Pourtant le premier message du noyau indique bien un changement de taille de 12 To à 16 To. Pas de changement de taille visible ?
Je ne sais pas interpréter le troisième message.

Il vaut mieux montrer que raconter.

Hors ligne

Pied de page des forums