logo Debian Debian Debian-France Debian-Facile Debian-fr.org Forum-Debian.fr Debian ? Communautés logo inclusivité

Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 20-04-2017 00:55:41

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

RAID mdadm et le hot spare

salut smile
bon je me suis monté des grappes raid à des fins de tests

voici les informations:

cat /proc/mdstat


Personalities : [raid10] [raid6] [raid5] [raid4] [raid0] [linear]
md0 : active raid5 sdc1[3](S) sdf1[2] sde1[1] sdd1[0]
      976488448 blocks super 1.2 level 5, 512k chunk, algorithm 4 [3/3] [UUU]
      bitmap: 0/4 pages [0KB], 65536KB chunk

md1 : active raid5 sdf2[2] sde2[1] sdd2[0]
      976492544 blocks super 1.2 level 5, 512k chunk, algorithm 4 [3/3] [UUU]
      bitmap: 0/4 pages [0KB], 65536KB chunk

md2 : active raid0 md1[1] md0[0]
      1952718848 blocks super 1.2 512k chunks

unused devices: <none>


mdadm -D /dev/md0


/dev/md0:
        Version : 1.2
  Creation Time : Wed Apr 19 07:41:46 2017
     Raid Level : raid5
     Array Size : 976488448 (931.25 GiB 999.92 GB)
  Used Dev Size : 488244224 (465.63 GiB 499.96 GB)
   Raid Devices : 3
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Apr 19 21:26:57 2017
          State : clean
Active Devices : 3
Working Devices : 4
Failed Devices : 0
  Spare Devices : 1

         Layout : parity-first
     Chunk Size : 512K

           Name : debian-nas:0  (local to host debian-nas)
           UUID : 6487007f:850aba30:162234b5:d8f01b37
         Events : 3523

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       1       8       65        1      active sync   /dev/sde1
       2       8       81        2      active sync   /dev/sdf1

       3       8       33        -      spare   /dev/sdc1


mdadm -D /dev/md1


/dev/md1:
        Version : 1.2
  Creation Time : Wed Apr 19 07:42:42 2017
     Raid Level : raid5
     Array Size : 976492544 (931.26 GiB 999.93 GB)
  Used Dev Size : 488246272 (465.63 GiB 499.96 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Apr 19 17:27:39 2017
          State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
  Spare Devices : 0

         Layout : parity-first
     Chunk Size : 512K

           Name : debian-nas:1  (local to host debian-nas)
           UUID : c8cf17f3:06d85303:242a5a8d:af180452
         Events : 1676

    Number   Major   Minor   RaidDevice State
       0       8       50        0      active sync   /dev/sdd2
       1       8       66        1      active sync   /dev/sde2
       2       8       82        2      active sync   /dev/sdf2


mdadm -D /dev/md2


/dev/md2:
        Version : 1.2
  Creation Time : Wed Apr 19 16:26:07 2017
     Raid Level : raid0
     Array Size : 1952718848 (1862.26 GiB 1999.58 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Wed Apr 19 16:26:07 2017
          State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : debian-nas:2  (local to host debian-nas)
           UUID : bd68554d:dfb5c20a:072aaf9c:58bea7bf
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       9        0        0      active sync   /dev/md0
       1       9        1        1      active sync   /dev/md1


cat /etc/mdadm/mdadm.conf


# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR h2l29@localhost

# definitions of existing MD arrays

# This configuration was auto-generated on Tue, 11 Apr 2017 11:05:52 +0200 by mkconf

ARRAY /dev/md0 uuid=6487007f:850aba30:162234b5:d8f01b37 spare-group=spare
ARRAY /dev/md1 uuid=c8cf17f3:06d85303:242a5a8d:af180452 spare-group=spare
ARRAY /dev/md2 uuid=bd68554d:dfb5c20a:072aaf9c:58bea7bf spare-group=spare



mon besoin:
créer un hot spare qui s'intègre automatiquement dans l'un ou l'autre des 2 raid5 si l'une des partitions venait à faillir

mon problème:
l'ordre des partitions semble jouer sur la priorité là le spare /dev/sdc1[3] n'intègre pas automatiquement un raid par contre si je vire une partition active, que je rebuild avec le spare, puis que j'ajoute de nouveau la partition et met sdc1 en fail la partition nouvellement ajoutée intègre automatiquement la grappe

ma question:
comment définir la priorité sur les éléments d'un raid?


GIF001.GIF

Hors ligne

#2 20-04-2017 07:46:19

naguam
Membre
Lieu : Quelque part
Distrib. : Plusieurs
Noyau : Ça dépend
(G)UI : La CLI il n'y a que ça de vrai!
Inscription : 13-06-2016

Re : RAID mdadm et le hot spare

Je suis désolé c'est vraiment iontéressant et je comprend mais je ne vois pas comment faire
Je go me renseigne smile

Si Sogal passe par là, il pourra sûrement t'aider smile

Dernière modification par naguam (20-04-2017 07:48:03)

Hors ligne

#3 20-04-2017 17:12:13

sogal
Black Metal Modo
Lieu : Nord Isère
Distrib. : openSUSE Leap 42.3
Noyau : Linux 4.4.76
(G)UI : GNOME
Inscription : 09-05-2013
Site Web

Re : RAID mdadm et le hot spare

Salut,

J'ai pas trop fait ce genre de choses, mais essayes d'ajouter la directive spares=1 à la définition de tes arrays dans ton mdadm.conf :

ARRAY /dev/md0 uuid=6487007f:850aba30:162234b5:d8f01b37 spare-group=spare spares=1
ARRAY /dev/md1 uuid=c8cf17f3:06d85303:242a5a8d:af180452 spare-group=spare spares=1
ARRAY /dev/md2 uuid=bd68554d:dfb5c20a:072aaf9c:58bea7bf spare-group=spare spares=1



On voit bien que md0 a sdc1 comme spare, mais pas les autres.


1485418338.png Hello IT ! Have you tried turning it off and on again ?

Hors ligne

#4 20-04-2017 20:43:13

raleur
Membre
Inscription : 03-10-2014

Re : RAID mdadm et le hot spare

H2L29 a écrit :

l'ordre des partitions semble jouer sur la priorité là le spare /dev/sdc1[3] n'intègre pas automatiquement un raid par contre si je vire une partition active, que je rebuild avec le spare, puis que j'ajoute de nouveau la partition et met sdc1 en fail la partition nouvellement ajoutée intègre automatiquement la grappe


J'ai rien compris à ce paragraphe.

Par contre j'ai testé l'option --spare-group avec deux ensembles RAID 1 de même taille dont un a un spare, ça marche.
Si je marque en failed un membre de l'ensemble RAID qui n'a pas de spare, le spare est déplacé de l'autre et reconstruit.

Les tailles des membres doivent être compatibles, ce qui est le cas entre les deux RAID5, mais pas entre un RAID 5 et le RAID 0 (qui ne peut de toute façon pas avoir de spare).

mdadm doit être lancé en tant que démon de surveillance.
Dans /etc/default/mdadm :

# START_DAEMON:
#   should mdadm start the MD monitoring daemon during boot?
START_DAEMON=true
 


Normalement créé si

debconf-show mdadm


  mdadm/autostart: true


Modifiable avec

dpkg-reconfigure mdadm



En bonus, mes remarques/questions :

1) Un ensemble RAID 0 n'a pas de redondance et ne peut avoir de spare.
2) Pourquoi avoir choisi de monter un RAID 0 sur deux RAID 5 plutôt qu'un unique RAID 6 qui offre la même capacité et le même niveau de redondance sans devoir déplacer le spare ?

Dernière modification par raleur (20-04-2017 20:47:43)


Il vaut mieux montrer que raconter.

Hors ligne

#5 20-04-2017 21:06:04

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

Re : RAID mdadm et le hot spare

oui en effet j'ai écrit le paragraphe un peu à l'arrache, je vais essayer de reformuler plus clairement

au début j'ai 2 raid 5
md0 : active raid5 sdc1[3](S) sdd1[2] sde1[1] sdf1[0]
md1 : active raid5 sdd2[2] sde2[1] sdf2[0]

je met un des disques actifs en fail mais il ne se passe rien
md0 : active raid5 sdc1[3](S) sdd1[2](F) sde1[1] sdf1[0]
md1 : active raid5 sdd2[2] sde2[1] sdf2[0]

donc je vire le device en fail et force la resync
md0 : active raid5 sdc1[3] sde1[1] sdf1[0]
md1 : active raid5 sdd2[2] sde2[1] sdf2[0]

je rajoute le device en spare
md0 : active raid5 sdd1[2](S) sdc1[3] sde1[1] sdf1[0]
md1 : active raid5 sdd2[2] sde2[1] sdf2[0]

je met en fail sdc1[3] et là la resync avec le spare se fait automatiquement
md0 : active raid5 sdd1[2] sdc1[3](F) sde1[1] sdf1[0]
md1 : active raid5 sdd2[2] sde2[1] sdf2[0]



en faite j'ai ajouté le raid0 dans le groupe juste pour être sûr qu'il permette le partage dans les 2 raid5 ça n'a p-ê aucune utilité, clairement la conf raid c'est juste pour faire des tests et m'entrainer big_smile

quand j'aurai tout mes disques je ferai un raid6 de 5 disques sans spare, d'ailleurs je me pose la question, le raid logiciel c'est mieux avec une partition ou en raw?


GIF001.GIF

Hors ligne

#6 20-04-2017 21:10:17

raleur
Membre
Inscription : 03-10-2014

Re : RAID mdadm et le hot spare

C'est toujours mieux avec des partitions, et des superblocs au début des partitions (1.1 ou 1.2, le défaut étant 1.2) plutôt qu'à la fin (0.90 ou 1.0).

Dernière modification par raleur (20-04-2017 21:10:55)


Il vaut mieux montrer que raconter.

Hors ligne

#7 20-04-2017 21:17:44

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

Re : RAID mdadm et le hot spare

sinon je confirme que mdadm est bien démarré avec le système daemonisé et tout et tout wink

GIF001.GIF

Hors ligne

#8 20-04-2017 21:25:01

raleur
Membre
Inscription : 03-10-2014

Re : RAID mdadm et le hot spare

Tu passes en fail un membre de l'ensemble qui a le spare, donc l'option spare-group est sans objet.
Je ne vois pas pourquoi l'ensemble reste avec un failed sans lancer la reconstruction alors qu'il a un spare...

Il vaut mieux montrer que raconter.

Hors ligne

#9 20-04-2017 21:27:18

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

Re : RAID mdadm et le hot spare

c'est là toute la question et la raison de la création de ce thread smile

je me demande à quoi correspond le chiffre entre crochets (une priorité, un ordre?) et comment le modifier pour par exemple mettre le spare /dev/sdc1[0] si c'est bien une priorité si n'importe quel membre des 2 raid5 fail il serai automatiquement remplacé

Dernière modification par H2L29 (20-04-2017 21:31:02)


GIF001.GIF

Hors ligne

#10 20-04-2017 23:07:57

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

Re : RAID mdadm et le hot spare

du coup j'ai tenté une autre approche de création des arrays en mettant en 1er le spare puis je vais volontairement le virer pour voir s'il garde bien son id actuel ([0]) et si c'est bien le cas je pourrai voir si le spare partagé fonctionne bien

voici ce que j'ai tenté

mdadm --create /dev/md0 --level=5 --spare-disks=1 /dev/sdc1 --raid-disks=3 /dev/sdd1 /dev/sde1 /dev/sdf1


mdadm --create /dev/md1 --level=5 --raid-disks=3 /dev/sdd2 /dev/sde2 /dev/sdf2


mdadm --create /dev/md2 --level=0 --raid-disks=2 /dev/md0 /dev/md1


ce qui donne

md0 : active raid5 sde1[4] sdf1[3](S) sdd1[1] sdc1[0]
md1 : active raid5 sdf2[3] sde2[1] sdd2[0]
md2 : active raid0 md1[1] md0[0]



je reviens dans quelques heures une fois le test fini

Edit à toto :
Le retour de commande dans Autre code plutôt que Citation. Exemple :

md0 : active raid5 sde1[4] sdf1[3](S) sdd1[1] sdc1[0]
md1 : active raid5 sdf2[3] sde2[1] sdd2[0]
md2 : active raid0 md1[1] md0[0]

Dernière modification par H2L29 (20-04-2017 23:14:32)


GIF001.GIF

Hors ligne

#11 24-04-2017 04:07:23

H2L29
Membre
Distrib. : Debian GNU/Linux unstable (buster/sid)
Noyau : Linux 4.12.0-1-amd64
(G)UI : openbox
Inscription : 02-03-2016
Site Web

Re : RAID mdadm et le hot spare

hop smile bon la colonne Minor semble avoir son importance ça serai un score de la partition certainement lié à SMART pour définir si oui ou non c'est intéressant d'intégrer le raid, un score trop bas sur une partition la rendra inintéressante à remplacer une partition défaillante avec un score plus élevé.

je dis p-ê une bêtise si quelqu'un peut éclairer ma lanterne ...

PS: attention à ne pas vous planter de colonne, il y a un petit décalage

Dernière modification par H2L29 (24-04-2017 04:08:30)


GIF001.GIF

Hors ligne

#12 24-04-2017 22:58:43

raleur
Membre
Inscription : 03-10-2014

Re : RAID mdadm et le hot spare

La colonne "minor" contient le nombre mineur des périphériques membres, comme la colonne "major" contient le nombre majeur.
Sous Unix, tout périphérique bloc ou caractère est identifié par deux nombres majeur et mineur. Un fichier spécial de périphérique dans /dev ne fait rien d'autre que contenir le type bloc (b) ou caractère (c) et ces deux nombres.

ls -l /dev/sda3


rw-rw---T 1 root disk 8, 3 avril 24 19:45 /dev/sda3


Accéder à /dev/sda3, c'est en fait accéder au périphérique bloc de majeur 8 et de mineur 3, qui correspond à la troisième partition du premier disque SCSI.

Il n'y a aucun rapport entre le mineur d'un périphérique, SMART et la préférence du RAID.


Il vaut mieux montrer que raconter.

Hors ligne

Pied de page des forums