[Résolu] Passer à Zim avec Pandoc

brennux · 08-04-2024 14:58:06

Bonjour,
j'essaie de générer mes pages Zim à partir de milliers de notes en Markdown. Il me faut donc générer une page pour chaque note.

La commande censée faire cette conversion serait

pandoc --file-scope -f markdown -t zimwiki *.txt

ou peut-être

pandoc --file-scope -f markdown --file-scope -t zimwiki *.txt

Mais j'ai toujours une sortie unique dans le Terminal au lieu de n fichiers dans le dossier.

La lecture des documentations Pandoc et Zim ne me permet pas de comprendre où est mon erreur.

If multiple input files are given, pandoc will concatenate them all (with blank lines between them) before parsing.  (Use --file-scope to parse files individually.)

Si je comprends correctement, Pandoc balaie les fichiers un à un. Mais peut-il générer n fichiers avec cette commande ?

En l'absence du balisage propre à Zim, mes pages/notes sont vides, seuls les titres sont générés à partir des noms de fichiers.

J'ai essayé de générer un fichier unique. Zim l'importe bien, mais avec une section par note. Pas vraiment ce que je cherche à obtenir.

Si quelque cador de Pandoc/Zim pouvait me mettre le nez là où je cale. En espérant avoir présenté le problème de manière compréhensible.

Merci.

Dernière modification par brennux (25-04-2024 18:49:50)

dezix · 08-04-2024 17:30:20

Salut!

Je pense qu'il faut traiter chaque fichier individuellement via une boucle qui aura comme source la liste des *.md

Je n'ai pas capté exactement l'usage de --file-scope
mais j'ai l'impression que ça sert à produire 1 sortie depuis un jeu de sources

Note qu'il faudra probablement ajouter l'entête :

Content-Type: text/x-zim-wiki

Wiki-Format: zim 0.6

Creation-Date: 2024-04-07T19:21:27+02:00

pour créer des pages conformes pour zim

Dernière modification par dezix (08-04-2024 17:36:41)

brennux · 08-04-2024 18:42:32

dezix a écrit :

Je pense qu'il faut traiter chaque fichier individuellement via une boucle qui aura comme source la liste des *.md

Merci dezix.
Donc script bash je suppose. Bon, va falloir que je mobilise quelques neurones de plus…

dezix a écrit :

Je n'ai pas capté exactement l'usage de --file-scope
mais j'ai l'impression que ça sert à produire 1 sortie depuis un jeu de sources

Oui, c'est ce que j'ai compris. Avec cette option, pandoc balaie les fichiers un à un. Sinon, il semble que pandoc fusionne tous les fichiers avant conversion.

Le résultat récupéré dans deux fichiers différents semble identique. Je ne trouve aucune documentation ou exemple qui donne des détails sur ce type de conversion.

dezix · 08-04-2024 19:18:27

Je te mets une proposition de commande/script dans la soirée
@+

dezix · 08-04-2024 22:38:20

Tu peux essayer ce script,
je ne l'ai pas testé intensivement, mais il semble fonctionné correctement.
ça te fait au moins un point de départ si tu veux chiader le truc (p.ex: reproduire la structure)

#!/bin/bash

#

# 

# Script: md2zim.sh 

# Auteur: dezix 

# Date:   2024-04-08

# Version:  0.1

#

# Fonction: Convertir les fichiers *.md contenus dans la branche : Répertoire source

#     en fichiers au format Zim Wiki placés dans : Répertoire destination (pré-existant)

#     Les entêtes Zim sont horodatées lors de l'exécution du script.

#

#########################################################################

read -p 'Répertoire source : ' dir_src ;

read -p 'Répertoire destination : ' dir_dest ;

# fichier temporaire => Liste des chemins des fichiers *.md

liste=$"mktemp" ;

find "$dir_src" -type f -name "*.md" -print > "$liste" ;

while IFS= read -r file ;

  do  name="$(basename $file | awk -F '.' '{ print $1 }')" ;

    echo -e "Content-Type: text/x-zim-wiki\nWiki-Format: zim 0.6\nCreation-Date: $(date -d now +%FT%T%:z)\n" > "$dir_dest"/"$name".txt ;

    pandoc -f markdown -t zimwiki "$file" >> "$dir_dest"/"$name".txt ;

done < "$liste"

# suppression fichier liste temporaire

rm "$liste" ;

echo Convertion terminée ;

exit

Dernière modification par dezix (08-04-2024 22:39:11)

brennux · 09-04-2024 07:22:06

Bonjour,
merci dezix. Je teste ça dès que possible et je reviens raconter le résultat.

brennux · 09-04-2024 23:15:30

Bonjour,
je crains que les noms de mes dossiers et notes ne me causent des soucis.

Par exemple, j'ai un dossier et son sous-dossier nommé "1. Notes générales/1.100 Maison".

Des espaces, des accents, des points.

Le script tourne et m'envoie une bordée de jurons à la Capitaine Haddock (autant que de fichiers dans le dossier).

basename: opérande supplémentaire « générales/1.100 »

Saisissez « basename --help » pour plus d'informations.

J'ignore si Zim tolère qu'on écrive en français complet, sans devoir me contraindre à écrire en anglo-franco-globish. Ce serait rédhibitoire, pour moi et pour ceux pour qui j'écris aussi.

dezix · 10-04-2024 08:10:45

Pour le nommage des pages.txt
* bannir le tiret du 8 et les espaces
* utiliser le tiret du 6 ou CamelCase
* extension .txt obligatoire

en règle générale (perso) je bannis aussi les accents et autres symboles pour le nommage des fichiers (linux)

brennux a écrit :

devoir me contraindre à écrire en anglo-franco-globish.

je privilégie le nommage des fichiers en anglais car généralement plus court, plus explicite, et pas de tentation d'accentuation.

En tous cas, je comprends bien ton problème et je compatis... Phase de remise en question du système de doc et classification => Casse-tête garanti !

Nous passons tous par-là à un moment ou un autre, les anciens choix montrent leurs limites et on regrette.

D'un autre côté, c'est l'occasion d'améliorer ton système

brennux · 10-04-2024 22:04:42

Bonjour,

dezix a écrit :

Casse-tête garanti !
[…]
les anciens choix montrent leurs limites et on regrette.

j'ai déjà eu à revoir des choix de classification ou nommage en changeant de système (Mac OS 6-7-8-9 puis OS X) et maintenant en mettant les pieds dans un système historiquement voué aux codeurs anglophones.

Le décodage de la documentation m'apporte quelques pistes quant aux chausse-trapes que je me suis moi-même posées.

Manuel Zim a écrit :

There are a number of characters that are forbidden in page names, these are: "?", "#", "/", "\\", "*", '"', "<", ">", "|" and "%". These are forbidden because they have a special meaning in the zim wiki syntax or because they can not be encoded on common file systems.

La chasse aux caractères interdits va prendre du temps, mais, comme disait mon père "la souris dit à la noix, laisse moi du temps, je te percerai". Ça devait être un dicton.

dezix · 11-04-2024 07:51:52

Si tu as eu la bonne démarche de t'imposer des règles de nommage des *.md qui suivent avec constance une logique (toute tienne),
alors en analysant cette logique et en définissant une nouvelle pour les pages zim,
il devrait être possible de créer un sous-script agissant sur la variable $name de mon exemple
et réaliser ainsi la conversion "automatisée" des noms qui suivent correctement la logique initiale.

Pour le reste il faudra des corrections plus ciblées, voire manuelles pour les cas hors règles.

dezix · 11-04-2024 09:01:17

[HS]

Pendant que j'y pense :

Zim possède un système de recherche dans les pages d'un bloc-note,
cette recherche peut être faite sur des mots-clés mais aussi sur des @tags que l'on crée et place selon nos besoins.
Les @tags et les noms de pages sont indexés ce qui permet de filtrer/accélérer les recherches.

C'est donc un point à prendre en compte dans l'organisation globale des notes.

Autre point si tu as beaucoup de notes, passée une certaine taille l'indexation devient plus lente.
J'ai p.ex mon bloc-note "informatique" qui pèse 100Mo et c'est la limite du pratique avec mon petit matériel (4cores 1.5GHz)

Donc penser à des blocs-notes thématiques distincts plutôt qu'un unique gros pavé.

Un point intéressant à ce sujet,
les versions récentes de Zim transforment automatiquement les liens (absolus) entre pages d'1 bloc-note en liens "inter wiki"
quand on les colle dans un autre bloc-note, ce qui facilite bien l'organisation (unicité des données).

Pour les liens absolus des pages, il est préférable de les débuter systématiquement par "2 points" [[:chemin:absolu:mypage|Ma page perso]]

J'utilise en général [[:0-Accueil]] comme "Home" car 0-A... sort en premier lors du tri alphanumérique de l'index,
de même n-Nom-de-Page (n entier naturel) permet de contrôler l'affichage de la hiérarchie des pages dans l'index ou la sortie des Recherches via [Ctrl+Maj+F]

Comme c'est mon jour de bonté voici un exemple de modèle de page (celui de mon bloc-note "informatique") :

======= [% page.basename %] =======

[% gettext("Créé le") %] [% strftime("%A %d %B %Y") %]    [[:0-Tags|Tags]]  @install @network @hw @security @info @soft @rep @file @system @config @debian

------

//lien//    [[:[% page.name %]|[% page.basename %] (info)]]

------

[ ] @ToEdit

[ ] @ToConfig

[ ] @ToSuppr

[ ] @ToInstall

[ ] @ToImport

====== Présentation ======

====== Documentation ======

https://www.debian.org

====== Installation ======

@oob

@suppressed 

====== Configuration ======

Comme tu peux voir, il contient un lien : [[:0-Tags|Tags]] vers une page qui me sert d'index des @tags pour toujours utiliser les mêmes sur les mêmes conditions.

Dernière modification par dezix (11-04-2024 09:21:55)

brennux · 11-04-2024 11:00:49

Bonjour,

dezix a écrit :

Zim possède un système de recherche dans les pages d'un bloc-note,
cette recherche peut être faite sur des mots-clés mais aussi sur des @tags que l'on crée et place selon nos besoins.
Les @tags et les noms de pages sont indexés ce qui permet de filtrer/accélérer les recherches.

C'est donc un point à prendre en compte dans l'organisation globale des notes.

De belles pistes pour revoir, structurer mon dispositif. Cela m'incitera à −enfin, me doter d'un véritable système documentaire. Les notes empilées au gré des idées, ça finit par ressembler à un grenier. Pour les souvenirs, ça peut passer, mais pour la gestion des connaissances, les publications, la gestion de projets
merci !

dezix a écrit :

Autre point si tu as beaucoup de notes, passée une certaine taille l'indexation devient plus lente.
J'ai p.ex mon bloc-note "informatique" qui pèse 100Mo et c'est la limite du pratique avec mon petit matériel (4cores 1.5GHz)

Ma machine principale, conçue pour la photo, est à l'aise avec tout ce qui relève de la bureautique basique.

brennux · 11-04-2024 11:06:26

Pendant que j'y pense, au vu de tout ce que tu m'apportes et la direction que ça me conduit à prendre, cette discussion devient un pas-à-pas pour construire un wiki avec Zim.
Pandoc n'est plus alors qu'une des briques du projet, tes contributions en deviennent une composante essentielle.

Je compte revoir le titre en ce sens. Et demander à la déplacer vers la section Vos sites et projets perso.

Qu'en penses-tu ?

dezix · 11-04-2024 12:25:16

brennux a écrit :

Qu'en penses-tu ?

je ne suis pas encore assez connaisseur des us et coutumes de DF pour ce genre de choix,
tu es mieux placé que moi, surtout que c'est ton sujet,
tu es donc libre de le conduire comme tu le ressens.

Le but c'est d'aider => fais pour le mieux...

brennux · 20-04-2024 10:29:54

Bonjour,

cette recherche m'aura au moins permis de réviser la nomenclature de mes notes avant migration. Les points, les espaces et autres cailloux vont pouvoir être nettoyés à la source.

[HS]
je n'avais pas mentionné que mes notes sont actuellement gérées avec Joplin.

L'application est certes intéressante, mais elle présente plusieurs inconvénients que je trouve risqués à long terme
- notes stockées en base de données
- notes nommées de manière cryptique, introuvables en dehors de l'application
- pièces jointes renommées à sa sauce, introuvables en dehors de l'application
[/HS]

brennux · 25-04-2024 18:49:15

Bonjour,
après quelques jours à utiliser Zim, il m'apparaît que son principe de fonctionnement, de type wiki, ne convient pas à mes besoins.
Je passe sur le fait de devoir reprendre mes notes une à une pour qu'elles soient conformes à mes besoins mis à la sauce Zim.

Il n'en demeure pas moins que j'ai beaucoup appris dans l'affaire, grâce à toi dezix, qui m'a gentiment guidé avec efficacité.
Je ne doute pas que les conseils que tu m'as prodigués me seront utiles à l'avenir.

dezix · 25-04-2024 18:54:59

brennux a écrit :

son principe de fonctionnement, de type wiki, ne convient pas à mes besoins.

Précise (si tu peux) les comportements ou fonctionnalités qui manquent ou ne répondent pas à tes attentes, ... si je peux t'aider.

brennux · 26-04-2024 14:13:31

Bonjour,

dezix a écrit :

Précise (si tu peux) les comportements ou fonctionnalités qui manquent ou ne répondent pas à tes attentes, ... si je peux t'aider.

merci de ta proposition. J'apprécie sincèrement.

Je viens de réinstaller Zim pour appréhender autrement son mode de fonctionnement, en essayant de partir d'un point de vue neutre. Vouloir reproduire le fonctionnement d'une application dans une autre risque de me fourvoyer dans une impasse −ou de devoir souffrir plus que nécessaire.

J'ai déjà fort à faire avec mes outils de photographe, qui me font lourdement sentir ce que coûte le changement…

Dès que j'ai pu faire un peu le tour de la question, j'ouvrirai une discussion ciblée sur Zim.

Debian-facile

#1 08-04-2024 14:58:06

[Résolu] Passer à Zim avec Pandoc

#2 08-04-2024 17:30:20

Re : [Résolu] Passer à Zim avec Pandoc

#3 08-04-2024 18:42:32

Re : [Résolu] Passer à Zim avec Pandoc

#4 08-04-2024 19:18:27

Re : [Résolu] Passer à Zim avec Pandoc

#5 08-04-2024 22:38:20

Re : [Résolu] Passer à Zim avec Pandoc

#6 09-04-2024 07:22:06

Re : [Résolu] Passer à Zim avec Pandoc

#7 09-04-2024 23:15:30

Re : [Résolu] Passer à Zim avec Pandoc

#8 10-04-2024 08:10:45

Re : [Résolu] Passer à Zim avec Pandoc

#9 10-04-2024 22:04:42

Re : [Résolu] Passer à Zim avec Pandoc

#10 11-04-2024 07:51:52

Re : [Résolu] Passer à Zim avec Pandoc

#11 11-04-2024 09:01:17

Re : [Résolu] Passer à Zim avec Pandoc

#12 11-04-2024 11:00:49

Re : [Résolu] Passer à Zim avec Pandoc

#13 11-04-2024 11:06:26

Re : [Résolu] Passer à Zim avec Pandoc

#14 11-04-2024 12:25:16

Re : [Résolu] Passer à Zim avec Pandoc

#15 20-04-2024 10:29:54

Re : [Résolu] Passer à Zim avec Pandoc

#16 25-04-2024 18:49:15

Re : [Résolu] Passer à Zim avec Pandoc

#17 25-04-2024 18:54:59

Re : [Résolu] Passer à Zim avec Pandoc

#18 26-04-2024 14:13:31

Re : [Résolu] Passer à Zim avec Pandoc

Pied de page des forums