swap montee en charge

allann · 26-03-2018 09:35:53

Bonjour,

j'aimerais avoir votre avis, je reprends un projet d'infogerance ou un site a fort traffic n'est plus accessible lors de pic de charge de 700 800 connectes live
le serveur qui heberge le site est un dedie Serveur SYS-SAT-1-32 - W3520 - 32GB - SoftRaid 2x2To avec debian 8
la personne qui a installe le serveur auparavant n'a pas prevu la montee en charge et j'ai remarque que la partition de swap est de 1GO sur une memoire de 32GO

je met le resultat de free-h

Mem: 31G 21G 9,7G 1,0G 482M 14G
-/+ buffers/cache: 7,2G 24G
Swap: 1,0G 924M 97M

et j'ai remarque que dans htop le swap est à 100 % en rouge et a 90 % quand il ya pas de montee en charge

peut on augmenter la partition de swap sans re installer tout le systeme

chad · 26-03-2018 09:39:49

avec Gparted ?

https://debian-facile.org/doc:environne … me:gparted

Dernière modification par chad (26-03-2018 09:40:31)

Debian Alain · 26-03-2018 09:47:25

salut ,

oui , c'est ce que j'aurai dit aussi ,

mais faut faire hyper gaffe lors de la réorganisation des partitions .

le travail est très long . faut être patient . très patient . et bien réfléchir avant d'agir .

en plus , y a des chances qu'on se paie un fsck au redémarrage .

renseignements sur fsck

Dernière modification par Debian Alain (26-03-2018 09:49:00)

chad · 26-03-2018 09:53:47

je suis en train de me dire qu'on ne peut pas re-partionner une partition montée (déjà essayé)
possible via un live cd/usb ...

mais sur un serveur ... je ne sais pas

Debian Alain · 26-03-2018 10:01:21

ben , il faut qu'il fasse çà hors ligne .

avec un disque comme parted magic :

https://partedmagic.com/

mais je t'accorde , chad , que débrancher un serveur pour cause de maintenance .... humm !

je sais pas si ça va le faire . son patron et les utilisateurs ne seront peut être pas contents ....

Dernière modification par Debian Alain (26-03-2018 10:03:21)

yoshi · 26-03-2018 10:18:40

C'est un dédié, donc .... Sinon la meilleure solution c'est d'augmenter la quantité de ram.

raleur · 26-03-2018 10:32:26

allann a écrit :

je met le resultat de free-h

Ça aurait été mieux de laisser les en-têtes de colonnes et d'inclure la sortie complète dans un bloc de code pour conserver le format original.
Le swap est plein mais il semble y avoir de la mémoire libre par ailleurs.
S'il y a de l'espace libre sur les disques, il est possible soit d'agrandir le swap existant soit d'en créer un nouveau et de l'ajouter à l'existant. Comme le souligne chad agrandir un swap nécessite de le désactiver avant et le reformater ensuite (attention au changement d'UUID), mais il me semble qu'il y a assez de mémoire libre pour cela.

Si le swap est un volume logique, agrandir est facile. Si c'est une partition normale (mauvaise idée pour un système en RAID logiciel), il faut que l'espace libre soit à la suite de la partition. Si c'est un ensemble RAID logiciel, c'est comme une partition mais en plus compliqué car il faut agrandir l'ensemble RAID. Bref, ajouter un swap supplémentaire est probablement plus simple. Penser à définir des priorités différentes pour que les deux swaps soient utilisés consécutivement et pas simultanément.

Autre possibilité : la compression du swap avec zswap pour augmenter sa capacité sans augmenter sa taille.

Dernière modification par raleur (26-03-2018 10:33:28)

chad · 26-03-2018 10:51:02

avec le buffer on arrive à 28.2 de ram chargée (si j'ai bien comrpis) donc non il n'y a plus de place d'où la saturation de la swap

Dernière modification par chad (26-03-2018 10:51:16)

allann · 26-03-2018 20:24:19

[RESOLU]

J'ai modifie la partition de swap sans eteindre le serveur en ajoutant 2GO

Mem: 31G 23G 8,4G 1,0G 506M 16G
-/+ buffers/cache: 6,4G 25G
Swap: 3,0G 924M 2,0G

voici comment j'ai fait

creation d'un fichier de swap de 2GO

d /mnt/
dd if=/dev/zero of=2G.swap bs=1k count=2048000
chmod 600 /mnt/2G.swap
mkswap 2G.swap -f
swapon /mnt/2G.swap

htop

la partition de swap passe a 3GO

bendia · 26-03-2018 20:28:46

Voir le tuto : C'est résolu ! Bravo mais il faut l'indiquer dans l'titre.

raleur · 27-03-2018 08:53:35

chad a écrit :

avec le buffer on arrive à 28.2 de ram chargée (si j'ai bien comrpis) donc non il n'y a plus de place d'où la saturation de la swap

Comment arrives-tu à cette conclusion ? Pour moi il y avait 9,7 Gio de mémoire libre (vraiment non utilisée, et pas comme une partie du cache qui est occupée mais libérable en cas de besoin donc considérée comme disponible).

allann a écrit :

J'ai modifie la partition de swap sans eteindre le serveur en ajoutant 2GO

Non, tu n'as pas modifié la partition de swap et elle n'est pas passée à 3 Go. Tu as juste créé et active un fichier de swap de 2 Go qui s'ajoute au Go de la partition de swap existante.
Observations complémentaires :
- L'utilisation d'un fichier de swap est un peu moins performante qu'un périphérique bloc (disque, partition, volume logique, ensemble RAID...) de swap, et n'est pas compatible avec tous les systèmes de fichiers (par exemple btrfs).
- /mnt n'est pas du tout l'endroit approprié pour y placer un fichier de swap. Ce répertoire est prévu pour servir de point de montage temporaire.

Dernière modification par raleur (27-03-2018 08:54:03)

d33p · 28-03-2018 15:24:19

Hello,

Si ça peut aider à optimiser, on peut penser à:
swappiness
https://fr.wikipedia.org/wiki/Espace_d%27%C3%A9change

Valeur  Stratégie

vm.swappiness = 0   (Depuis Linux 3.5) Fonctionnement particulier : le noyau ne va utiliser le swap que pour éviter les erreurs de manque de mémoire.

vm.swappiness = 1   Utilisation minimale du swap avec le fonctionnement général. Correspond à swappiness = 0 avant Linux 3.5.

vm.swappiness = 10  Certaines personnes recommandent cette valeur quand il y a suffisamment de mémoire dans le système.

vm.swappiness = 60  La valeur par défaut.

vm.swappiness = 100   Le noyau va maximiser l'utilisation du swap.

Car par defaut, ça tape assez vite dans la swap.

Le noyau va éviter d'utiliser le swap si la valeur est basse et va maximiser son utilisation si la valeur est haute. La valeur par défaut est 60.

(perso, je le change sur toutes mes configs pour limiter l'acces à SWAP)

+ tuto pour changer la valeur et les super explications qui vont avec:
https://www.howtoforge.com/tutorial/linux-swappiness/

En esperant que ça puisse aider.

@ bientôt.

JC

Dernière modification par d33p (28-03-2018 15:31:28)

raleur · 28-03-2018 15:39:36

d33p a écrit :

Si ça peut aider à optimiser

Optimiser quoi ?

d33p a écrit :

Car par defaut, ça tape assez vite dans la swap.

Et alors ? Quel est le problème ?

d33p · 28-03-2018 15:57:57

Hello raleur.

tu vas bien?

Ben, c'est lors des accès swap que les performances s'effondrent, alors moins d'acces swap = meilleures performances.

et dans ce contexte:

et j'ai remarque que dans htop le swap est à 100 % en rouge et a 90 % quand il ya pas de montee en charge

il me semblait judicieux d'au moins tester...

???

JC

Dernière modification par d33p (28-03-2018 15:59:25)

anonyme · 28-03-2018 16:21:25

yoshi a écrit :

C'est un dédié, donc .... Sinon la meilleure solution c'est d'augmenter la quantité de ram.

moi je serai plutot pour l'avis ci dessus , passer a 64 Go par exemple
l'utilisation cpu est pas trop élevé ? , la puissance du serveur est suffisante a la demande?

le swap c'est lent , et passer de 1 a 3Go c'est vraiment très peu.
le swap se met en service a partir d un certain pourcentage d'utilisation de la mémoire vive il me semble

d33p · 28-03-2018 18:42:22

yes, à 40% d'utilisation de la mémoire vive, ça commence à "swapper", enfin, semble-t-il, d'après ce qu'on peut lire.
D'où l'idée de moduler ceci avec swappiness.
vous avez regardé/lu?

There are some maths involved in the swappiness that should be considered when changing your settings. The parameter value set to “60” means that your kernel will swap when RAM reaches 40% capacity. 

**Je suis relativement frais dans le monde Linux, comme vous le savez, j'essaie d'aider/de proposer, alors si l'idée vous semble saugrenue faut pas hesiter à le dire... mais dans ce cas précis, ça vaut peut-être le coup de tester plutôt que de payer pour l'upgrade du serveur de gamme au dessus. non?

JC

Dernière modification par d33p (28-03-2018 19:01:00)

raleur · 29-03-2018 12:24:45

d33p a écrit :

Ben, c'est lors des accès swap que les performances s'effondrent, alors moins d'acces swap = meilleures performances.

Non, c'est lors des accès disque et pas seulement des accès au swap. Un des objectifs du swap et justement de réduire globalement les accès disque en déchargeant de la mémoire des données qui ne servent pas, afin de la rendre disponible pour des données qui servent (notamment le cache).

d33p a écrit :

et j'ai remarque que dans htop le swap est à 100 % en rouge et a 90 % quand il ya pas de montee en charge

il me semblait judicieux d'au moins tester

Ne pas confondre occupation du swap et activité du swap. C'est l'activité du swap qui génère des accès disque. Un swap plein à ras bord de données inutilisées ne génère en lui-même aucun accès disque et donc aucun ralentissement.

anonyme a écrit :

le swap se met en service a partir d un certain pourcentage d'utilisation de la mémoire vive il me semble

d33p a écrit :

yes, à 40% d'utilisation de la mémoire vive, ça commence à "swapper", enfin, semble-t-il, d'après ce qu'on peut lire.

Il vous semble très mal. C'est un erreur grossière et une incompréhension totale du fonctionnement du swap. Le mécanisme d'éviction ne se déclenche que lorsque la mémoire libre est presque totalement épuisée. Le paramètre swappiness intervient alors pour arbitrer entre la mise en swap et l'éviction du cache : une valeur basse favorise l'éviction du cache, une valeur élevée favorise la mise en swap. La mise en swap anticipée des données inutilisées (la différence entre swappiness=0 et swappiness=1) n'engendre qu'une très faible activité disque.

Si vous pensez qu'il vaut toujours mieux évincer du cache que swapper, vous avez tout faux : le code exécutable et les fichiers de données des processus sont dans le cache, seules les données créées par les processus sont en mémoire "anonyme" (pas associée à un fichier), celle qui est susceptible d'être swappée. Or il vaut mieux swapper des données anonymes peu utilisées qu'évincer du code exécutable de processus actifs qui devra être rechargé tôt ou tard.

Si vous doutez de l'utilité du cache, faites un petit test : videz le cache, et appréciez ensuite la lenteur du système qui va devoir en recharger une grosse partie pour continuer à faire fonctionner les programmes.

sysctl -w vm.drop_caches=3

d33p a écrit :

The parameter value set to “60” means that your kernel will swap when RAM reaches 40% capacity.

C'est faux et absurde. D'où provient cette citation ?

Dernière modification par raleur (29-03-2018 13:20:54)

d33p · 29-03-2018 12:58:54

Hello raleur,

j'avais mis les sources des liens.
exemple:
https://www.howtoforge.com/tutorial/linux-swappiness/
Et sur un moteur de recherche, Il y en a à la pelle des sites comme ça qui expliquent la même chose...
Donc c'est très bien que tu fasses la lumière sur une idée reçue qui semblerait être fausse.??

De ton côté, si tu as des sources sûres d'informations expliquant ce procédé ou d'autres, je suis preneur.

merci.

JC

Dernière modification par d33p (29-03-2018 13:03:13)

raleur · 29-03-2018 23:08:48

Par exemple https://linux-mm.org/Low_On_Memory (en anglais).
Ça ne parle pas de swappiness mais explique les différents types de mémoire et ce qui se passe quand la mémoire libre vient à manquer.

Dernière modification par raleur (29-03-2018 23:10:05)

d33p · 30-03-2018 05:07:22

Hello,

ok, merci.

https://www.linuxatemyram.com/

celui-ci est pas mal aussi

JC

d33p · 30-03-2018 05:43:57

Mais tu vois, ici, on est quand même sur un site "pro":
https://access.redhat.com/documentation … y-tunables

A low swappiness value is recommended for database workloads. For example, for Oracle databases, Red Hat recommends a swappiness value of 10. 

https://wiki.archlinux.org/index.php/swap

The swappiness sysctl parameter represents the kernel's preference (or avoidance) of swap space. Swappiness can have a value between 0 and 100, the default value is 60. A low value causes the kernel to avoid swapping, a higher value causes the kernel to try to use swap space. Using a low value on sufficient memory is known to improve responsiveness on many systems. 

https://help.ubuntu.com/community/SwapFaq

suivant les cas ça peut optimiser les perfs...

c'est delicat... pas si facile d'être catégorique sur ce sujet...

JC

Dernière modification par d33p (30-03-2018 05:51:51)

d33p · 30-03-2018 09:40:41

ce lien pourrait peut-être aider notre ami ici.
https://www.tomzone.fr/vider-la-memoire … eur-linux/

raleur · 30-03-2018 12:46:44

Trop d'erreurs, y compris dans la page citée en référence.

Par contre linuxatemyram est bien, sous son air humoristique (mais en anglais aussi).

Debian-facile

#1 26-03-2018 09:35:53

swap montee en charge

#2 26-03-2018 09:39:49

Re : swap montee en charge

#3 26-03-2018 09:47:25

Re : swap montee en charge

#4 26-03-2018 09:53:47

Re : swap montee en charge

#5 26-03-2018 10:01:21

Re : swap montee en charge

#6 26-03-2018 10:18:40

Re : swap montee en charge

#7 26-03-2018 10:32:26

Re : swap montee en charge

#8 26-03-2018 10:51:02

Re : swap montee en charge

#9 26-03-2018 20:24:19

Re : swap montee en charge

#10 26-03-2018 20:28:46

Re : swap montee en charge

#11 27-03-2018 08:53:35

Re : swap montee en charge

#12 28-03-2018 15:24:19

Re : swap montee en charge

#13 28-03-2018 15:39:36

Re : swap montee en charge

#14 28-03-2018 15:57:57

Re : swap montee en charge

#15 28-03-2018 16:21:25

Re : swap montee en charge

#16 28-03-2018 18:42:22

Re : swap montee en charge

#17 29-03-2018 12:24:45

Re : swap montee en charge

#18 29-03-2018 12:58:54

Re : swap montee en charge

#19 29-03-2018 23:08:48

Re : swap montee en charge

#20 30-03-2018 05:07:22

Re : swap montee en charge

#21 30-03-2018 05:43:57

Re : swap montee en charge

#22 30-03-2018 09:40:41

Re : swap montee en charge

#23 30-03-2018 12:46:44

Re : swap montee en charge

Pied de page des forums