paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

evanescente~ondine · 13-03-2018 01:21:11

Bonjour.
Je suis habité à utiliser convert et mogrify de imagemagick pour tranformer des pages scannées en livre sous format pdf.
J'ai un nouvel ordi avec 6 coeurs et 6 ou 8 go de mémoire... j'ai pu voir la différence.
Seulement quand je lance plus de 2 processus convert ou mogrify en même temps, le troisième travail échoue au bout de moins d'une minute pour dire "trop d'exception".
Mais je vois bien qu'il a encore des ressources, l'ordi. Où peut-on modifier dans imagemagick les paramêtres, pour qu'il puisse prendre, basiquement, autant de ressource qu'il souhaite ?

J'ai plein de messages comme celui-ci:
convert-im6.q16: cache resources exhausted `DSCN9023.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9024.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9025.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: cache resources exhausted `DSCN9027.JPG' @ error/cache.c/OpenPixelCache/4076.
convert-im6.q16: too many exceptions (exception processing suspended).

très FRUSTRANT.
Mehdi

Dernière modification par evanescente~ondine (13-03-2018 01:23:26)

Croutons · 06-04-2018 10:45:42

Salut
Apres une petite recherche il semble que cela viennent des ressources allouées dans le fichier /etc/ImageMagick-6/policy.xml

lien de depart http://p-s.co.nz/wordpress/imagemagick- … -resolved/

Afficher les valeurs par defaut

identify -list resource

Changer les valeurs par defaut avec la commande -limit
https://www.imagemagick.org/script/comm … .php#limit

https://superuser.com/questions/1178666 … some-pages

smolski · 06-04-2018 11:45:30

Interessant, à ajouter au tuto : https://debian-facile.org/doc:media:imagemagick

evanescente~ondine · 06-10-2018 11:47:32

Je ne comprend pas comment je suis censé résoudre mon problème, ne sachant pas quelle est la ressource limitante.
J'aimeriais qu'il utilise la mémoire comme il souhaite, du moment que ça ne rende pas l'ordi complètement inutilisable comme c'est le cas quand j'indique "pas de limite".
Comment puis-je dire "utilises 500 Mo de mémoire maximum, écris le cache sur le disque, pas de limite d'usage de disque ou de fichiers en train d'être travaillé dessus" ?

Dernière modification par evanescente~ondine (06-10-2018 12:19:42)

chalu · 06-10-2018 12:03:02

evanescente~ondine a écrit :

I don't understand how I am meant to solve my problem: I don't know what's the limiting ressource, here !
I would like it to use memory as long as it doesn't make the computer wholy unusable. But I write "no memory limit", it simply uses everything.
Whatever. How do I say "use 500 Mo of memory, then cache to disk, no limits on disk usage, nor files being processed" ?

Traduction avec deepl :
Je ne comprends pas comment je suis censé résoudre mon problème : je ne sais pas quelle est la ressource limitante, ici !
J'aimerais qu'il utilise la mémoire tant qu'il ne rend pas l'ordinateur complètement inutilisable. Mais j'écris "pas de limite de mémoire", il utilise simplement tout.
Peu importe. Comment dire "utiliser 500 Mo de mémoire, puis cache sur disque, pas de limite d'utilisation du disque, ni de fichiers en cours de traitement" ?

Plusieurs utilisateurs de ce compte sur le forum DF ?

evanescente~ondine · 06-10-2018 12:20:26

Non, simplement je jongue constamment entre des forums ou textes anglais et français, et je m’emmêle parfois un peu les pinceaux

chalu · 06-10-2018 12:23:15

evanescente~ondine · 06-12-2018 16:50:11

J'ai compilé la dernière version de "graphicsmagick", et voilà ce qu'il me dit quand je lui demande de fusionner n images dans un pdf de 250 Mo:

gm convert: abort due to signal 7 (SIGBUS) "Bus Error"...

fish: 'gm convert *.JPG urss.pdf' terminated by signal SIGABRT (Abandon)

Rien n'a fait avec les versions précédentes, il y avait toujours autre chose, et le fichier pdf résultant ne dépasse jamais 3 Mo et quelque. Une solution ? Je ne comprend RIEN à police.xml !

Croutons · 07-12-2018 13:06:49

bonjour
Tu as quoi comme valeur limite

identify -list resource

sur les liens que je t'avais donné plus haut il parle de limite du disk , la seule limite qui pourrait stopper la commande d’après ce que je comprend

Pour illustrer comment ImageMagick utilise les limites de ressources, considérez une demande de ressource image typique. Tout d'abord, ImageMagick essaie d'allouer les pixels en mémoire. La demande peut être refusée si la demande de ressource dépasse la limite de mémoire ou si le système n'honore pas la demande. Si une demande de mémoire n'est pas honorée, les pixels sont affectés au disque et le fichier est mappé en mémoire. Cependant, si la demande d'allocation dépasse la limite de la carte, l'allocation des ressources est envoyée sur disque. Dans tous les cas, si la demande de ressources dépasse la limite de zone, les pixels sont automatiquement mis en cache sur disque. Si le disque a une limite dure, le programme échoue.

Traduit avec www.DeepL.com/Translator

evanescente~ondine · 07-12-2018 16:16:56

mehdi@debian ~> gm identify resource
gm identify: Unable to open file (resource) [Aucun fichier ou dossier de ce type].
gm identify: Request did not return an image.

J'ai graphicsmagick maintenant

d33p · 17-12-2018 14:21:59

Hello,

C'est interessant comme souci.
Est-ce que "ulimit" aurait pu être une piste dans ce cas ci-présent?
https://www.admin-linux.fr/controle-des … es-ulimit/
Je ne maitrise pas trop, mais j'ai pensé à ça

JC

evanescente~ondine · 17-12-2018 18:29:20

Non, pas de changement. Comportement similaire, même limitations pour graphicsmagick ou imagemagick. C'est vraiment rageant, ça marchait avant, bon sang !

otyugh · 17-12-2018 19:41:51

Je vois ça (pour imagemagick) : https://github.com/ImageMagick/ImageMagick/issues/396

Apparemment suffit de modifier le fichier /etc/ImageMagick-6/policy.xml et de changer les limites par défaut.

Autre piste : https://forum.ubuntu-fr.org/viewtopic.php?id=2004337

Dernière modification par otyugh (17-12-2018 19:46:11)

evanescente~ondine · 17-12-2018 21:48:23

Somewhere along these lines someone hints at the fact that I might want to put the pixel cache somewhere with more space. But, they didn't say how, or where to change these preferences !
I see nothing in policy.xml related to pixel cache location. I don't want a distributed one, just a local one, but not in my root partition which is pretty small. That might very well be the problem, but what is the the solution ?

Dernière modification par evanescente~ondine (18-12-2018 00:49:35)

otyugh · 17-12-2018 22:30:18

1) Find the cache's directory where it gets too big : cache="/my/cache"
2) Find somwhere with space : space="/igot/space"
3) mv $cache $cache.bak && ln -s "$space" "$cache"

Ewala.

Dernière modification par otyugh (17-12-2018 22:31:06)

smolski · 18-12-2018 05:28:14

Un aspect qui serait bien de mettre correctement dans le tuto je pense :
https://debian-facile.org/doc:media:imagemagick

otyugh · 18-12-2018 10:58:56

Sauf que faudrait confirmer que ça marche, j'ai jamais eu le problème >.<

evanescente~ondine · 18-12-2018 14:50:42

Je ne comprend rien.

cache="/my/cache"

Pas de "fd" ou "find", comment ça va me trouver l'endroit du cache ? Où l'endroit ou paramétrer imagemagick ??

otyugh · 18-12-2018 15:01:58

Tout simplement en trouvant où ça "enfle". Soit en trouvant où est le cache dans la documentation, ou en le trouvant. Y a plein d'utilitaires pour faire exactement ça.
Celui que je préfère personnellement c'est "ncdu".

sudo apt install ncdu

ncdu /home/

Et là tu cherches un gros fichier cache relié à imagemagick.

...
Mais je ne suis même pas convaincu que ce soit le problème, j'ai répondu ce que j'ai répondu parce que je répondais à tes questions. - Mais pour moi faudrait d'abord regarder si quand il te fait une erreur de cache plein, si ta ram/swap est pleine (on le sait avec "free -h" ou si ta partition est pleine (avec "df -h"). Ça te guiderai déjà beaucoup. Il me semble très probable que imagemagick se limite tout seul et qu'il suffit de changer le fichier de configuration que je t'ai linké plus haut - mais j'en sais rien, je ne suis pas sur ta machine.

Je veux bien essayer de répondre à tes questions, mais n'ayant jamais eu ce problème je ne peux que te donner des réponses générales

Dernière modification par otyugh (18-12-2018 15:05:39)

evanescente~ondine · 18-12-2018 15:25:53

j'ai compris, merci. J'aurai pas de mal à trouver le cache. Merci.

Edit: ça marche. Super, encore merci les gars.

Dernière modification par evanescente~ondine (18-12-2018 15:37:48)

otyugh · 18-12-2018 16:06:48

ça marche. Super, encore merci les gars.

Il serait très "urbain" d'expliquer comment tu as débloqué ta situation pour les autres

Dernière modification par otyugh (18-12-2018 16:07:31)

Debian-facile

#1 13-03-2018 01:21:11

paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#2 06-04-2018 10:45:42

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#3 06-04-2018 11:45:30

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#4 06-10-2018 11:47:32

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#5 06-10-2018 12:03:02

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#6 06-10-2018 12:20:26

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#7 06-10-2018 12:23:15

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#8 06-12-2018 16:50:11

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#9 07-12-2018 13:06:49

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#10 07-12-2018 16:16:56

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#11 17-12-2018 14:21:59

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#12 17-12-2018 18:29:20

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#13 17-12-2018 19:41:51

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#14 17-12-2018 21:48:23

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#15 17-12-2018 22:30:18

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#16 18-12-2018 05:28:14

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#17 18-12-2018 10:58:56

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#18 18-12-2018 14:50:42

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#19 18-12-2018 15:01:58

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#20 18-12-2018 15:25:53

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

#21 18-12-2018 16:06:48

Re : paramêtres imagemagick pour utilisation de la mémoire (et/ou du CPU)

Pied de page des forums