Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

#1 13-03-2018 02:21:11

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Bonjour.
Je suis habité à utiliser convert et mogrify de imagemagick pour tranformer des pages scannées en livre sous format pdf.
J'ai un nouvel ordi avec 6 coeurs et 6 ou 8 go de mémoire... j'ai pu voir la différence.
Seulement quand je lance plus de 2 processus convert ou mogrify en même temps, le troisième travail échoue au bout de moins d'une minute pour dire "trop d'exception".
Mais je vois bien qu'il a encore des ressources, l'ordi. Où peut-on modifier dans imagemagick les paramêtres, pour qu'il puisse prendre, basiquement, autant de ressource qu'il souhaite ?


J'ai plein de messages comme celui-ci:
convert-im6.q16: cache resources exhausted `DSCN9023.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9024.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9025.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9027.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: too many exceptions (exception processing suspended).

très FRUSTRANT.
Mehdi

Dernière modification par evanescente~ondine (13-03-2018 02:23:26)

Hors ligne

#2 06-04-2018 11:45:42

Croutons
Membre
Distrib. : Handylinux 2.5 vers Jessie et Debian Stretch
Noyau : Linux 3.16.0-4-686-pae, Linux 4.9.0-7-686-pae
(G)UI : xfce
Inscription : 16-12-2016

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Salut
Apres une petite recherche il semble que cela viennent des ressources allouées dans le fichier /etc/ImageMagick-6/policy.xml

lien de depart http://p-s.co.nz/wordpress/imagemagick- … -resolved/

Afficher les valeurs par defaut

identify -list resource



Changer les valeurs par defaut avec la commande -limit
https://www.imagemagick.org/script/comm … .php#limit

https://superuser.com/questions/1178666 … some-pages


-->les cahiers du debutant<--      WikiDF-->Découvrir les principales commandes Linux<--
L' expérience, c'est le nom que chacun donne à ses erreurs. Oscar Wilde

Hors ligne

#3 06-04-2018 12:45:30

smolski
admin quasi...modo
Lieu : AIN
Distrib. : 9 (stretch) 64 bits + backports (buster) 10
Noyau : 4.9.65-3+deb9u2 4.19.0-6-amd64
(G)UI : gnome
Inscription : 21-10-2008

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Interessant, à ajouter au tuto : https://debian-facile.org/doc:media:imagemagick wink

"Théo et Adama te rappellent pourquoi Zyed et Bouna couraient…"
"L'utopie ne signifie pas l'irréalisable, mais l'irréalisée." - T Monod (source :  La zone de Siné)
"Je peux rire de tout mais pas avec n'importe qui." - P Desproges
"saque eud dun" (patois chtimi : fonce dedans)

Hors ligne

#4 06-10-2018 12:47:32

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Je ne comprend pas comment je suis censé résoudre mon problème, ne sachant pas quelle est la ressource limitante.
J'aimeriais qu'il utilise la mémoire comme il souhaite, du moment que ça ne rende pas l'ordi complètement inutilisable comme c'est le cas quand j'indique "pas de limite".
Comment puis-je dire "utilises 500 Mo de mémoire maximum, écris le cache sur le disque, pas de limite d'usage de disque ou de fichiers en train d'être travaillé dessus" ?

Dernière modification par evanescente~ondine (06-10-2018 13:19:42)

Hors ligne

#5 06-10-2018 13:03:02

chalu
Modératrice
Lieu : Anjou
Distrib. : openSUSE Leap 15.1
Noyau : Linux 4.12.14
(G)UI : KDE 5
Inscription : 11-03-2016

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

evanescente~ondine a écrit :

I don't understand how I am meant to solve my problem: I don't know what's the limiting ressource, here !
I would like it to use memory as long as it doesn't make the computer wholy unusable. But I write "no memory limit", it simply uses everything.
Whatever. How do I say "use 500 Mo of memory, then cache to disk, no limits on disk usage, nor files being processed" ?


Traduction avec deepl :
Je ne comprends pas comment je suis censé résoudre mon problème : je ne sais pas quelle est la ressource limitante, ici !
J'aimerais qu'il utilise la mémoire tant qu'il ne rend pas l'ordinateur complètement inutilisable. Mais j'écris "pas de limite de mémoire", il utilise simplement tout.
Peu importe. Comment dire "utiliser 500 Mo de mémoire, puis cache sur disque, pas de limite d'utilisation du disque, ni de fichiers en cours de traitement" ?

Plusieurs utilisateurs de ce compte sur le forum DF ?


Bien débuter sur Debian :
->Les principales commandes Linux
Bien débuter sur openSUSE :
->Site officiel + Wiki frForum fr sur alionet+Guide du débutant

Hors ligne

#6 06-10-2018 13:20:26

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Non, simplement je jongue constamment entre des forums ou textes anglais et français, et je m’emmêle parfois un peu les pinceaux cool

Hors ligne

#7 06-10-2018 13:23:15

chalu
Modératrice
Lieu : Anjou
Distrib. : openSUSE Leap 15.1
Noyau : Linux 4.12.14
(G)UI : KDE 5
Inscription : 11-03-2016

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

lol

Bien débuter sur Debian :
->Les principales commandes Linux
Bien débuter sur openSUSE :
->Site officiel + Wiki frForum fr sur alionet+Guide du débutant

Hors ligne

#8 06-12-2018 17:50:11

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

J'ai compilé la dernière version de "graphicsmagick", et voilà ce qu'il me dit quand  je lui demande de fusionner n images dans un pdf de 250 Mo:

gm convert: abort due to signal 7 (SIGBUS) "Bus Error"...
fish: 'gm convert *.JPG urss.pdf' terminated by signal SIGABRT (Abandon)


Rien n'a fait avec les versions précédentes, il y avait toujours autre chose, et le fichier pdf résultant ne dépasse jamais 3 Mo et quelque. Une solution ? Je ne comprend RIEN à police.xml !

Hors ligne

#9 07-12-2018 14:06:49

Croutons
Membre
Distrib. : Handylinux 2.5 vers Jessie et Debian Stretch
Noyau : Linux 3.16.0-4-686-pae, Linux 4.9.0-7-686-pae
(G)UI : xfce
Inscription : 16-12-2016

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

bonjour
Tu as quoi comme valeur limite

identify -list resource


sur les liens que je t'avais donné plus haut il parle de limite du disk , la seule limite qui pourrait stopper la commande d’après ce que je comprend

Pour illustrer comment ImageMagick utilise les limites de ressources, considérez une demande de ressource image typique. Tout d'abord, ImageMagick essaie d'allouer les pixels en mémoire. La demande peut être refusée si la demande de ressource dépasse la limite de mémoire ou si le système n'honore pas la demande. Si une demande de mémoire n'est pas honorée, les pixels sont affectés au disque et le fichier est mappé en mémoire. Cependant, si la demande d'allocation dépasse la limite de la carte, l'allocation des ressources est envoyée sur disque. Dans tous les cas, si la demande de ressources dépasse la limite de zone, les pixels sont automatiquement mis en cache sur disque. Si le disque a une limite dure, le programme échoue.

Traduit avec www.DeepL.com/Translator


-->les cahiers du debutant<--      WikiDF-->Découvrir les principales commandes Linux<--
L' expérience, c'est le nom que chacun donne à ses erreurs. Oscar Wilde

Hors ligne

#10 07-12-2018 17:16:56

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

mehdi@debian ~> gm identify resource
gm identify: Unable to open file (resource) [Aucun fichier ou dossier de ce type].
gm identify: Request did not return an image.

J'ai graphicsmagick maintenant

Hors ligne

#11 17-12-2018 15:21:59

d33p
Adhérent(e)
Lieu : Longwy
Distrib. : Debian testing buster 64bits
Noyau : Linux, en fonction des updates testing buster
(G)UI : GNOME, en fonction des updates testing buster
Inscription : 01-12-2015

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Hello,

C'est interessant comme souci.
Est-ce que "ulimit" aurait pu être une piste dans ce cas ci-présent?
https://www.admin-linux.fr/controle-des … es-ulimit/
Je ne maitrise pas trop, mais j'ai pensé à ça tongue

JC

science sans conscience n'est que ruine de l'âme...
Location:
https://framacarte.org/en/map/debian-fa … 78/5.76506

Hors ligne

#12 17-12-2018 19:29:20

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Non, pas de changement. Comportement similaire, même limitations pour graphicsmagick ou imagemagick. C'est vraiment rageant, ça marchait avant, bon sang !

Hors ligne

#13 17-12-2018 20:41:51

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Je vois ça (pour imagemagick) : https://github.com/ImageMagick/ImageMagick/issues/396

Apparemment suffit de modifier le fichier /etc/ImageMagick-6/policy.xml et de changer les limites par défaut.

Autre piste : https://forum.ubuntu-fr.org/viewtopic.php?id=2004337

Dernière modification par otyugh (17-12-2018 20:46:11)


datalove-datalove-s1-2.png agendadulibre-lagendadulibre.png arzinfo-arzinfo.png

En ligne

#14 17-12-2018 22:48:23

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Somewhere along these lines someone hints at the fact that I might want to put the pixel cache somewhere with more space. But, they didn't say how, or where to change these preferences !
I see nothing in policy.xml related to pixel cache location. I don't want a distributed one, just a local one, but not in my root partition which is pretty small. That might very well be the problem, but what is the the solution ?

Dernière modification par evanescente~ondine (18-12-2018 01:49:35)

Hors ligne

#15 17-12-2018 23:30:18

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

1) Find the cache's directory where it gets too big : cache="/my/cache"
2) Find somwhere with space : space="/igot/space"
3) mv $cache $cache.bak && ln -s "$space" "$cache"

Ewala.

Dernière modification par otyugh (17-12-2018 23:31:06)


datalove-datalove-s1-2.png agendadulibre-lagendadulibre.png arzinfo-arzinfo.png

En ligne

#16 18-12-2018 06:28:14

smolski
admin quasi...modo
Lieu : AIN
Distrib. : 9 (stretch) 64 bits + backports (buster) 10
Noyau : 4.9.65-3+deb9u2 4.19.0-6-amd64
(G)UI : gnome
Inscription : 21-10-2008

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Un aspect qui serait bien de mettre correctement dans le tuto je pense :
https://debian-facile.org/doc:media:imagemagick big_smile

"Théo et Adama te rappellent pourquoi Zyed et Bouna couraient…"
"L'utopie ne signifie pas l'irréalisable, mais l'irréalisée." - T Monod (source :  La zone de Siné)
"Je peux rire de tout mais pas avec n'importe qui." - P Desproges
"saque eud dun" (patois chtimi : fonce dedans)

Hors ligne

#17 18-12-2018 11:58:56

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Sauf que faudrait confirmer que ça marche, j'ai jamais eu le problème >.<

datalove-datalove-s1-2.png agendadulibre-lagendadulibre.png arzinfo-arzinfo.png

En ligne

#18 18-12-2018 15:50:42

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Je ne comprend rien.

cache="/my/cache"

Pas de "fd" ou "find", comment ça va me trouver l'endroit du cache ? Où l'endroit ou paramétrer imagemagick ??

Hors ligne

#19 18-12-2018 16:01:58

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Tout simplement en trouvant où ça "enfle". Soit en trouvant où est le cache dans la documentation, ou en le trouvant. Y a plein d'utilitaires pour faire exactement ça.
Celui que je préfère personnellement c'est "ncdu".

sudo apt install ncdu
ncdu /home/



Et là tu cherches un gros fichier cache relié à imagemagick.


...
Mais je ne suis même pas convaincu que ce soit le problème, j'ai répondu ce que j'ai répondu parce que je répondais à tes questions. - Mais pour moi faudrait d'abord regarder si quand il te fait une erreur de cache plein, si ta ram/swap est pleine (on le sait avec "free -h" ou si ta partition est pleine (avec "df -h"). Ça te guiderai déjà beaucoup. Il me semble très probable que imagemagick se limite tout seul et qu'il suffit de changer le fichier de configuration que je t'ai linké plus haut - mais j'en sais rien, je ne suis pas sur ta machine.

Je veux bien essayer de répondre à tes questions, mais n'ayant jamais eu ce problème je ne peux que te donner des réponses générales tongue

Dernière modification par otyugh (18-12-2018 16:05:39)


datalove-datalove-s1-2.png agendadulibre-lagendadulibre.png arzinfo-arzinfo.png

En ligne

#20 18-12-2018 16:25:53

evanescente~ondine
Membre
Distrib. : Debian 9 (stretch)
Noyau : Linux 4.9.0-3-amd64
(G)UI : mate
Inscription : 31-10-2014

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

j'ai compris, merci. J'aurai pas de mal à trouver le cache. Merci.

Edit: ça marche. Super, encore merci les gars.

Dernière modification par evanescente~ondine (18-12-2018 16:37:48)

Hors ligne

#21 18-12-2018 17:06:48

otyugh
CA Debian-Facile
Lieu : Quimperlé/Arzano
Distrib. : Debian Stable
Inscription : 20-09-2016
Site Web

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

ça marche. Super, encore merci les gars.


Il serait très "urbain" d'expliquer comment tu as débloqué ta situation pour les autres wink

Dernière modification par otyugh (18-12-2018 17:07:31)


datalove-datalove-s1-2.png agendadulibre-lagendadulibre.png arzinfo-arzinfo.png

En ligne

Pied de page des forums