Installation Raid1 avec SSD

theuma · 10-07-2020 13:35:40

J'ai installer le grub uniquement sur le nvme0n1
j'arrive toujours sur le grub rescue
quand je fais ls voilà ce que j'ai :
(hd0) (hd0,msdos1) (lvm/principal-Systeme) (lvm/principal-Swap) (md/0)
et quand je fais set:
cmdpath=(hd0)
prefix=(lvmid/w5...............)/boot/grub
root=lvmid/w5..............

voilà

bizarre ce grub, donc cette fois il voit les 2 partitions lvm le "système" et le "swap" et il voit également le raid md/0

raleur · 10-07-2020 13:52:25

Il se peut que ce GRUB soit celui d'une précédente installation.
Note le début de l'UUID dans les variables prefix et root pour le comparer à ceux du système.
Puis exécute

set prefix=(lvm/principal-Systeme)/boot/grub

insmod normal

normal

Cela devrait afficher le menu de GRUB.
Si tu arrives à démarrer le système, compare l'UUID LVM avec ceux affichés par

blkid /dev/md0

Dernière modification par raleur (10-07-2020 13:54:18)

theuma · 10-07-2020 13:56:56

C'est pas le même UUID, quand je fais la commande que tu m'as dis ca commence par E51lRo-bP............

j'ai effectivement réussit à démarre Debian

Dernière modification par theuma (10-07-2020 13:57:21)

theuma · 10-07-2020 14:06:50

Alors concernant le Raid
j'ai fais comme on a dit.
J'ai créer le Raid 1 avec les 3 disques
Ensuite j'ai déclarer défaillant sda1 et sdb1
Puis je les ai ajouter en mostly-write et voilà table que j'ai:
Number. Major. Minor. RaidDevice. State
0. 259. 1. 0. active sync /dev/nvme0n1p1
1. 8 1 1 writemostly spare rebuilding /dev/sda1
2 8 17 2 writemostly spare rebuilding /dev/sdb1

et pour le cat /proc/mdstat

le recovery est en cours .... 10%

Dernière modification par theuma (10-07-2020 14:09:35)

raleur · 10-07-2020 14:48:40

Tu as déclaré sda1 et sdb1 défaillantes avant ou après la fin de la synchronisation initiale ? Si après, ce n'est pas normal que la synchronisation recommence.

Tu peux installer le paquet bootinfoscript, exécuter la commande boot-info-script (ou vice versa) en root et poster le début du rapport qui dit ce que contiennent les MBR des trois disques ?

theuma · 10-07-2020 15:01:07

voilà le début du rapport :
Boot Info Script 0.77 [10 June 2018]

============================= Boot Info Summary: ===============================

=> Grub2 (v2.00) is installed in the MBR of /dev/sda and looks at sector 1 of
the same hard drive for core.img. core.img is at this location and looks
for
(lvmid/RYWPSQ-Lfsa-N4JX-TayZ-CZau-yPMB-Pa2Oxh/dV1xMP-SDIv-AHMc-qBtd-uNMZ-A1
sj-aSbrKX)/boot/grub. It also embeds following components:

modules
---------------------------------------------------------------------------
fshelp ext2 diskfilter lvm part_msdos mdraid1x biosdisk
---------------------------------------------------------------------------
=> Grub2 (v2.00) is installed in the MBR of /dev/sdb and looks at sector 1 of
the same hard drive for core.img. core.img is at this location and looks
for
(lvmid/RYWPSQ-Lfsa-N4JX-TayZ-CZau-yPMB-Pa2Oxh/dV1xMP-SDIv-AHMc-qBtd-uNMZ-A1
sj-aSbrKX)/boot/grub. It also embeds following components:

modules
---------------------------------------------------------------------------
fshelp ext2 diskfilter lvm part_msdos mdraid1x biosdisk

raleur · 10-07-2020 15:06:56

Que dit le rapport sur le MBR du SSD /dev/nvme0n1 ?

theuma · 10-07-2020 15:07:22

raleur a écrit :

Tu peux installer le paquet bootinfoscript, exécuter la commande boot-info-script (ou vice versa)

Je te confirme le vice versa

theuma · 10-07-2020 15:08:22

je ne le vois pas ....

theuma · 10-07-2020 15:11:27

sinon j'ai ça:

"blkid" output: ________________________________________________________________

Device UUID TYPE LABEL

/dev/mapper/principal-Swap e3c51965-6e25-4d6d-b565-fe0260221a67 swap
/dev/mapper/principal-Systeme 2fee2293-15a4-4e3b-a6ce-660ff9106663 ext4
/dev/md0 E51lRo-bPNn-vvUm-q3md-2V2Y-Ca3c-RR9E1J LVM2_member
/dev/nvme0n1
/dev/nvme0n1p1 44cc91b7-5b8b-1fa0-9392-504f54890f85 linux_raid_member pegasus:0
/dev/sda1 44cc91b7-5b8b-1fa0-9392-504f54890f85 linux_raid_member pegasus:0
/dev/sdb1 44cc91b7-5b8b-1fa0-9392-504f54890f85 linux_raid_member pegasus:0

raleur · 10-07-2020 15:17:35

bootinfoscript ne prendrait pas en compte les SSD NVMe ? Je n'en ai pas, donc je ne peux pas tester.
Est-ce que nvme0n1 est mentionné quelque part dans le rapport ?

Concernant la notation "(lvmid/RYWPSQ-Lfsa-N4JX-TayZ-CZau-yPMB-Pa2Oxh/dV1xMP-SDIv-AHMc-qBtd-uNMZ-A1sj-aSbrKX)", si je ne m'abuse elle est de la forme (lvmid/UUID LVM du groupe de volumes/UUID LVM du volume logique). Pour comparer, les UUID LVM du groupe de volumes et des volumes logiques devraient être affichés (parmi d'autres informations) avec

vgdisplay

lvdisplay

En tout cas tu peux réinstaller GRUB dans le MBR des trois disques avec

grub-install /dev/sda

grub-install /dev/sdb

grub-install /dev/nvme0n1

et comparer à nouveau le résultat de bootinfoscript, vgdisplay et lvdisplay.

Edit : je ne sais pas si on peut utiliser

grub-install /dev/nvme0n1 /dev/sda /dev/sdb

je n'ai jamais essayé.

Dernière modification par raleur (10-07-2020 15:23:05)

raleur · 10-07-2020 15:21:22

theuma a écrit :

sinon j'ai ça:

Dans le rapport de bootinfoscript ? Et c'est la seule mention du SSD ? Donc il ne semble pas prendre en compte les SSD NVMe, dommage...

theuma · 10-07-2020 15:26:23

oui c'est la seul mention que j'ai ...
pour le vgdisplay en volume groupe
en VG UUID j'ai : RYWPSQ....Pa20xh
pour le lvdisplay
Logical volume swap
LV UUID: L7SGK9.....6JMXSp
Logical volume systeme
LV UUID:dV1xMP......aSbrKX

j'ai effectivement deja fait les réinstallations de grub sur les 3 disques

raleur · 10-07-2020 15:46:48

theuma a écrit :

j'ai effectivement deja fait les réinstallations de grub sur les 3 disques

Avant l'exécution de boot-info-script ? Donc c'est normal que les UUID correspondent.

Si tu redémarres maintenant, est-ce que le menu de GRUB s'affiche directement ? Sinon, quelle est la valeur de la variable $prefix ? Toujours la même qu'avant (lvmid/w5...) ?

theuma · 10-07-2020 19:51:48

quand je redémarre tout vas bien ... Tu sais comment je peux faire un test de panne du SSD ??
Voir quand le SSD tombe en panne ce qui se passe ?

raleur · 10-07-2020 21:07:56

Le test "en vrai" ce serait de marquer le SSD failed et de le débrancher. Mais ça provoquera une reconstruction lorsqu'il sera ajouté à nouveau.

Pour un test de base, il faudrait le débrancher et voir si GRUB démarre sur un des deux disques. Evite de démarrer Debian en mode dégradé par contre, ça risque de provoquer sa désynchronisation donc une reconstruction du SSD aussi.

Edit : d'ailleurs, ii faudrait tester aussi avec chacun des deux disques durs. Et quand la synchronisation sera terminée, tu pourra vérifier que le débit en lecture du RAID correspond bien à celui du SSD avec

hdparm -t /dev/nvme0n1

hdparm -t /dev/sda

hdparm -t /dev/sdb

hdparm -t /dev/md0

Dernière modification par raleur (10-07-2020 21:27:08)

theuma · 10-07-2020 21:28:43

la reconstruction ne me derange pas pour le moment, le serveur n'est pas en prod ...
donc je fais un

mdadm --manage /dev/md0 --fail /dev/nvem0n1p1

puis je débranche le SSD
et je reboot ?
et je vois si le grub fonctionne toujours ?
Une fois ca fait
je rebranche le SSD

mdadm --manage /dev/md0 --remove /dev/nvme0n1p1

mdadm --manage /dev/md0 --add /dev/nvme0n1p1

et le raid va faire ça reconstruction sur le ssd c'et bien ca ?

Dernière modification par theuma (10-07-2020 21:29:13)

theuma · 10-07-2020 21:56:22

Je te confirme que la vitesse de lecture de nvme0n1 est identique à md0

merci mille fois de ton aide !!!!!!!!!

raleur · 10-07-2020 22:10:35

theuma a écrit :

la reconstruction ne me derange pas pour le moment

Mais ça use le SSD. 1 To d'écritures, ce n'est pas rien. En fait si tu voulais juste tester, il aurait été préférable de créer un ensemble RAID de petite taille afin d'accélérer la reconstruction et de limiter l'usure du SSD.

Pour les commandes, je pense qu'il vaudrait mieux faire le --remove juste après le --fail et avant de débrancher physiquement, ce serait plus propre.
Mais à ta place je commencerais par tester l'amorçage de GRUB avec chacun des disques manquant tour à tour, pour vérifier si l'amorçage est bien redondant.

Car si le BIOS n'expose qu'un seul des trois disques à GRUB, je crains que l'amorçage échoue si ce disque est déclaré défaillant.

theuma · 12-07-2020 12:15:58

Comment je peux tester le grub un à un sur les disques ? J'éteins le serveur, Je débranche un disque j'allume et je fais ca pour les 3 ?

Oui bien je créer un raid de 10Go et je test ?
ensuite les commandes mdadm --fail puis --remove et enfin je débranche le disque dur
et je fais ca pour les 3 ?

Dernière modification par theuma (12-07-2020 12:19:37)

raleur · 12-07-2020 14:17:50

theuma a écrit :

Comment je peux tester le grub un à un sur les disques ? J'éteins le serveur, Je débranche un disque j'allume et je fais ca pour les 3 ?

Oui. Mais tu ne vas pas plus loin que le menu de GRUB s'il s'affiche, pour éviter la désynchronisation du disque manquant.

Si tu veux tester jusqu'au bout sans t'arrêter à GRUB, il vaudrait mieux le faire avec un RAID de petite taille pour éviter des resynchronisations gigantesques.

Petite précision sur la resynchronisation : si l'ensemble RAID a un "bitmap" et si la désynchronisation n'est pas trop importante, alors la reconstruction ne va écrire que les blocs qui ont changé au lieu de réécrire tous les blocs du membre retiré et ré-ajouté. Par défaut, seuls les ensembles RAID de plus de 100 Gio ont le bitmap activé à la création, mais il est possible de l'activer a posteriori sur un ensemble RAID plus petit avec

mdadm --grow /dev/md0 --bitmap=internal

theuma · 12-07-2020 15:48:54

le bitmap est bien présent (vue avec la commande cat /proc/mdstat)
pour le serveur à l'heur actuelle.

J'ai pas forcement envie de tester la desyncro en formatant et créant un raid de 10 go, car j'ai peur qu'ensuite le grub ne refonctionne plus ... (a mois que tu sache comment formater le MBR , d'ailleurs et ce que ca s'efface le MBR ?)

donc je vais tester de deconnecter le disque SSD et voir si j'ai accès au grub ou non ... en m'arrêtant là comme tu me l'as preciser ...
vue que le raid est en place je pense pas qu'il y ai de risque et donc de soucis pour la suite en cas de perte d'un disque dur ...
Le plus interessant à mon avis dans l'histoire c'est surtout le test du grub pour pouvoir redémarrer le serveur au plus vite en cas de perte d'un disque ...

raleur · 12-07-2020 16:00:38

Pour moi la redondance avec le RAID doit avoir deux objectifs :
- permettre au système de continuer à fonctionner (donc tout doit être en RAID : système, données, et swap qu'on a tendance à oublier)
- permettre de redémarrer immédiatement après remplacement du disque défaillant sans avoir besoin de réinstaller le chargeur d'amorçage via un système de secours (redondance de l'amorçage, qu'on a tendance à oublier aussi)

Dernière modification par raleur (12-07-2020 16:01:53)

theuma · 13-07-2020 12:08:58

Résumé :
Objet de la demande
3 disques durs - Un SSD de 1To (nvme0n1) et 2 HDD de 1 To (sda et sdb)
Mettre les 3 disques durs en RAID 1 pour la redondance mais utiliser la puissance de lecture du SSD.
Installation du GRUB sur les 3 disques en cas de défaillance d'un des disques notamment du ssd (qui est le plus fragile en général)

Paramètre initialise sur le serveur
Démarrage du BIOS doit être en Legacy BIOS et non en UEFI
Les paramètres des disques data doivent-être en AHCI SATA

Installation
On installe Debian sur le serveur, on arrive dans le partitionnement des disques on sélectionne 'partitionnement manuel'
on crée des volumes primaires sur les 3 disques de 1 To, on a donc :
nvme0n1p1 en volume primaire de 1 To
sda1 en volume primaire de 1 To
sdb1 en volume primaire de 1 To
On crée un ensemble raid1 sur ces 3 volumes md0
Utilisation de 3 disques durs et 0 en spare
Ensuite on crée un groupe Volume LVM en utilisant le raid md0
Puis 2 volumes LVM
- Un Volume SWAP de 17Go (Car il y a 16Go de RAM)
- un Volume Systeme de 983GO (Ce qui reste en espace)
Ensuite on définit le volume Swap en Swap évidemment et le volume système en ext4 avec la mise en racine de ce disque
Le partionnement est prêt.
Installation du Grub
A la demande de l'installation du Grub, on choisit manuel et on met
/dev/nvme0n1 /dev/sda /dev/sdb
Si ca ne fonctionne pas, on choisit uniquement le /dev/nvme0n1 et on s'en occupe plus tard
on finit l'installation.
Problèmes de GRUB
Si au redémarrage du serveur il y a un problème et que vous tombez sur "grub rescue"
faire la commande 'ls'
et voir à quoi ressemble la partition système, dans mon cas sur la commande 'ls' j'avais :
(hd0) (hd0,msdos1) (lvm/principal-Systeme) (lvm/principal-Swap) (md/0)

donc faire les commandes dans le grub rescue:

set prefix=(lvm/principal-Systeme)/boot/grub

insmod normal

normal

et là normalement votre Debian démarre, une fois que votre Debian a démarré, réinstaller les grub sur les 3 disques durs histoire d'être sur:

grub-install /dev/sda

grub-install /dev/sdb

grub-install /dev/nvme0n1

Mettre les 2 HDD en écriture uniquement
dans le terminal on va mettre en défaut les 2 HDD puis les enlever puis les remettre en écriture uniquement

mdadm --manage /dev/md0 --fail /dev/sd[ab]1 --remove faulty

mdadm --manage /dev/md0 --write-mostly --add /dev/sd[ab]1

On contrôle que ca fonctionne comme on veut avec la commande :

mdadm --detail /dev/md0

Et normalement on devrait voir quelque chose comme

Number. Major. Minor. RaidDevice. State
0. 259. 1. 0. active sync /dev/nvme0n1p1
1. 8 1 1 writemostly spare rebuilding /dev/sda1
2 8 17 2 writemostly spare rebuilding /dev/sdb1

et on voit bien que sda1 et sdb1 sont en writemosly

On peut également voir si la reconstruction du raid se met en place avec la commande

cat /proc/mdstat

Ensuite pour être sur on contrôle la vitesse d'écriture:

hdparm -t /dev/nvme0n1

hdparm -t /dev/sda

hdparm -t /dev/sdb

hdparm -t /dev/md0

la vitesse du nvme0n1 doit être identique à la vitesse de md0, si c'est le cas c'est que votre système (donc le raid md0) utilise bien la puissance du SSD (nvme0n1)

voilà je pense avoir résumé l'ensemble des choses qu'on a vu avec @Raleur (sachant que tout vient de lui, je ne fais que résumer)

Dernière modification par theuma (16-07-2020 14:06:38)

raleur · 13-07-2020 18:15:07

theuma a écrit :

Mettre les 3 disques dur en RAID 1 pour la redondance mais utiliser la puissance d'écriture lecture du SSD

En lecture seulement. En écriture, c'est le disque le plus lent qui limite la vitesse.

theuma a écrit :

dans le terminal on va mettre en défaut les 2 HDD puis les enlever puis les remettre en écriture uniquement

Les deux premières commandes me semblent inutile : la première ne va retirer aucun disque puisqu'on ne les a pas encore déclarées faulty, et la seconde ne va pas les ajouter puisqu'ils font encore partie de l'ensemble.

theuma a écrit :

Et normalement on devrais voir quelques choses comme

C'est la sortie de mdadm --detail, pas le contenu de /proc/mdstat.

PS : tu as testé l'amorçage avec chaque disque en moins ?

Debian-facile

#51 10-07-2020 13:35:40

Re : Installation Raid1 avec SSD

#52 10-07-2020 13:52:25

Re : Installation Raid1 avec SSD

#53 10-07-2020 13:56:56

Re : Installation Raid1 avec SSD

#54 10-07-2020 14:06:50

Re : Installation Raid1 avec SSD

#55 10-07-2020 14:48:40

Re : Installation Raid1 avec SSD

#56 10-07-2020 15:01:07

Re : Installation Raid1 avec SSD

#57 10-07-2020 15:06:56

Re : Installation Raid1 avec SSD

#58 10-07-2020 15:07:22

Re : Installation Raid1 avec SSD

#59 10-07-2020 15:08:22

Re : Installation Raid1 avec SSD

#60 10-07-2020 15:11:27

Re : Installation Raid1 avec SSD

#61 10-07-2020 15:17:35

Re : Installation Raid1 avec SSD

#62 10-07-2020 15:21:22

Re : Installation Raid1 avec SSD

#63 10-07-2020 15:26:23

Re : Installation Raid1 avec SSD

#64 10-07-2020 15:46:48

Re : Installation Raid1 avec SSD

#65 10-07-2020 19:51:48

Re : Installation Raid1 avec SSD

#66 10-07-2020 21:07:56

Re : Installation Raid1 avec SSD

#67 10-07-2020 21:28:43

Re : Installation Raid1 avec SSD

#68 10-07-2020 21:56:22

Re : Installation Raid1 avec SSD

#69 10-07-2020 22:10:35

Re : Installation Raid1 avec SSD

#70 12-07-2020 12:15:58

Re : Installation Raid1 avec SSD

#71 12-07-2020 14:17:50

Re : Installation Raid1 avec SSD

#72 12-07-2020 15:48:54

Re : Installation Raid1 avec SSD

#73 12-07-2020 16:00:38

Re : Installation Raid1 avec SSD

#74 13-07-2020 12:08:58

Re : Installation Raid1 avec SSD

#75 13-07-2020 18:15:07

Re : Installation Raid1 avec SSD

Pied de page des forums