Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format
PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes [15/08/2014 11:31] Hypathie [Les expressions rationnelles basiques et les commandes GNU/Linux] |
utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes [15/08/2014 17:32] Hypathie [Introduction] |
||
---|---|---|---|
Ligne 10: | Ligne 10: | ||
=====Introduction ===== | =====Introduction ===== | ||
- | Il faut savoir en effet : | ||
- | |||
- | * qu'il y a plusieurs types d'expressions rationnelles, celles reposant sur [[http://fr.wikipedia.org/wiki/Biblioth%C3%A8que_logicielle|la bibliothèque]] REGEX, celles reposant sur la bibliothèque [[http://fr.wikipedia.org/wiki/PCRE|PCRE]]. | ||
- | |||
- | * qu'il y a différents programmes qui utilisent soit l'une, soit l'autre bibliothèque par exemple grep, expr, awk, Perl, Tcl, Python... Je ne parlerai que de ceux pouvant utiliser la bibliothèque REGEX. | ||
- | |||
- | * que certains des métacaractères reconnus par les shells UNIX (bash, ksh, csh, sh, etc.), sont homonymes avec certains caractères des //ER//, et qui plus est, ils servent le même objectif de fournir des motifs de recherche. Mais ils ne font pas partie de ce qu'on appelle les expressions rationnelles et ne doivent pas être confondus avec elles.\\ J'insisterai sur ce point pour éviter la confusion. | ||
- | |||
- | * que la syntaxe d'utilisation des //ER// n'est pas la même d'un programme à l'autre. C'est ce qui motive la rédaction de cette page. Il faut forcément maîtriser la manière d'utiliser les //ER// pour chacun des programmes pour pouvoir les utiliser. Mettre ces différences en avant démystifiera la difficulté attribuée à l'usage des expressions rationnelles. | ||
- | |||
- | * Enfin, les différents programmes susceptibles d'utiliser toutes les //ER// de la bibliothèque REGEX, vi, expr, grep, egrep, find, locate, sed, awk, __transforment le contexte d'utilisation de l'//ER// et par conséquent, l'utilisation d'une même //ER// n'a plus le même effet d'un programme à l'autre__.\\ | ||
- | Ce dernier point est rarement mis en avant, il est pourtant crucial de le soulever, pour des raisons autant pédagogiques, que philosophiques.\\ Le fondement en est simplement la certitude que //le dédain envers la diversité//, tandis que l'entendement est la puissance d'éprouver l'unité cachée sous tout genre de multiple, est une tentative qui s'ignore d'instrumentaliser la raison. | ||
- | |||
- | **Pour en prendre le contre-pied, cette présentation des expressions rationnelles souhaite éclairer leurs divers utilisations ainsi que la nécessité de leurs diversités, en les exposant du point de vue des commandes de recherches et d'édition de fichiers GNU/linux.**\\ | ||
- | |||
- | **En bref, il s'agira de donner accès à l'utilisation, en ligne de commandes ou dans des scripts shell GNU/linux, des expressions rationnelles POSIX de la bibliothèque REGEX.** | ||
- | |||
- | ====Les types de ER ==== | ||
- | Il y en a trois : | ||
- | |||
- | * expression rationnelle basique (ERb); appelées aussi "Basic Regular Expression" (BRE) | ||
- | |||
- | * expression rationnelle étendue (ERe); appelées aussi "Extended Regular Expression" (ERE) | ||
- | |||
- | * les classes POSIX (considérer soit comme ERb, soit comme ERe selon les programmes | ||
- | |||
- | Les raccourcis (par exemples, retour à la ligne ''\n'', tabulation ''\t'') étant particuliers aux programmes, seront listés en complément. | ||
- | |||
==== Panorama exhaustif des programmes GNU/Linux concernés par les expressions rationnelles=== | ==== Panorama exhaustif des programmes GNU/Linux concernés par les expressions rationnelles=== | ||
Ligne 64: | Ligne 36: | ||
|**''[ ]''** |un caractère cité dans la liste entre crochets |''echo [Tt][io]t[io]''((echo "Toto Tito toto toti tito loto" | echo [Tt][io]t[io]))\\ **affiche les fichiers**\\ Toto\\ Tito\\ toto\\ toti\\ ...\\ **mais pas**\\ loto\\ ... | | |**''[ ]''** |un caractère cité dans la liste entre crochets |''echo [Tt][io]t[io]''((echo "Toto Tito toto toti tito loto" | echo [Tt][io]t[io]))\\ **affiche les fichiers**\\ Toto\\ Tito\\ toto\\ toti\\ ...\\ **mais pas**\\ loto\\ ... | | ||
|**''[ - ]''**\\ [a-z]\\ [A-Z]\\ [A-Z]\\ [0-9] |groupe de caractères |''head t[a-z]to''\\ **affiche**\\ titi\\ tito\\ toto\\ ...\\ **mais pas**\\ tOto\\ t5to\\ | | |**''[ - ]''**\\ [a-z]\\ [A-Z]\\ [A-Z]\\ [0-9] |groupe de caractères |''head t[a-z]to''\\ **affiche**\\ titi\\ tito\\ toto\\ ...\\ **mais pas**\\ tOto\\ t5to\\ | | ||
+ | |||
+ | |||
+ | ====Métacaractère ou caractère d'expression rationnelle ?==== | ||
+ | Les commandes de recherche et d'édition de fichiers peuvent utiliser métacaractères et les caractères servant aux expressions rationnelles. | ||
===Préparation=== | ===Préparation=== | ||
Ligne 96: | Ligne 72: | ||
</note> | </note> | ||
- | ===Métacaractère ou caractère d'expression rationnelle ?=== | + | ===grep=== |
* __L'étoile__ : | * __L'étoile__ : | ||
Ligne 149: | Ligne 125: | ||
Toto1.txt:il a tout mangé. | Toto1.txt:il a tout mangé. | ||
</code> | </code> | ||
- | |||
- | ====Métacaractères du shell et commandes utilisant les expressions rationnelles==== | ||
- | |||
- | Parmi les commandes GNU/Linux utilisant les expressions rationnelles, d'autres commandes que **grep** ou **grep -E** utilisent aussi les métacaractères.\\ | ||
- | |||
- | Il s'agit de **find** et **locate**. | ||
=== find=== | === find=== | ||
Ligne 301: | Ligne 271: | ||
ou '':previous'', si l'on se trouve devant le second et qu'on veut revenir au premier. | ou '':previous'', si l'on se trouve devant le second et qu'on veut revenir au premier. | ||
- | D'autres exemples un peu plus détaillés sur [[utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes#la-commande-sed-et-les-caracteres-communs-aux-erb-et-ere|sed]], [[utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes#awk-et-les-caracteres-communs-aux-erb-et-ere|awk]] et [[utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes#l-editeur-de-texte-vi-n-utilise-aussi-que-les-erb|vim]] seront donnés. | + | D'autres exemples d'utilisation des expressions rationnelles avec [[utilisateurs:hypathie:tutos:erb-et-ere-par-le-contexte-des-commandes#l-editeur-de-texte-vi-n-utilise-aussi-que-les-erb|vim]] seront donnés. |
</note> | </note> | ||
**Puisque tout est bien clair, nous pouvons aller plus loin, et présenter le détail des expressions rationnelles ainsi que leur utilisation avec les programmes GNU/Linux. Cela permettra, non seulement de distinguer ERb, ERe et classes, mais encore d'en apprécier les différences.** 8-) | **Puisque tout est bien clair, nous pouvons aller plus loin, et présenter le détail des expressions rationnelles ainsi que leur utilisation avec les programmes GNU/Linux. Cela permettra, non seulement de distinguer ERb, ERe et classes, mais encore d'en apprécier les différences.** 8-) | ||
- | =====Les expressions rationnelles basiques et les commandes GNU/Linux===== | + | =====Caractères communs aux ERb et ERe===== |
- | ====Caractères communs aux ERb et ERe==== | + | |
<note tip> | <note tip> | ||
- | * Certains caractères sont communs au ERb et ERe.\\ Pour ne pas avoir à les répéter, il est préférable de les regrouper. D'autant plus que les commandes qui permettent de se servir des expressions rationnelles, reconnaissent tous les caractères communs aux ERb et ERe. | + | * Certains caractères sont communs au ERb et ERe.\\ Il est possible de les regrouper car toutes les commandes qui permettent de se servir des expressions rationnelles, reconnaissent tous les caractères communs aux ERb et ERe. |
- | * Certaines commandes utilisent soit les ERb soit les ERe en fonction d'option :\\ il s'agit de **''grep''** ; **''sed''** ; **''locate''** ; et **''find''**. | + | * Certaines commandes les utilisent soit en tant que ERb, soit en tant que ERe :\\ il s'agit de **''grep''** ; **''sed''** ; **''locate''** ; et **''find''**. |
- | * **''awk''** (gawk) utilise les ERe. | + | * **''awk''** (gawk) les utilise en tant que ERe. |
- | * **''vi''** (vim) et **''expr''** n'utilisent que les ERb. | + | * **''vi''** (vim) et **''expr''** les utilisent en tant que ERb. |
</note> | </note> | ||
Ligne 1322: | Ligne 1292: | ||
===Exemples === | ===Exemples === | ||
- | * Substituer "Hello" par "OK" : | + | * __Substituer "Hello" par "OK" :__ |
<code user>echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'</code> | <code user>echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'</code> | ||
Ligne 1329: | Ligne 1299: | ||
</code> | </code> | ||
- | * Substituer "a" et "aa" par "OK" : | + | * __Substituer "a" et "aa" par "OK" :__ |
<code user>echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -re 's/(a{1} )/OK/'\ | <code user>echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -re 's/(a{1} )/OK/'\ | ||
Ligne 1352: | Ligne 1322: | ||
__**Préparation**__\\ | __**Préparation**__\\ | ||
- | Dans le répertoire de l'utilisateur soit le répertoire "ERetCMD/" contenant : | + | Rappel : le répertoire "ERetCMD/" contient : |
<code> | <code> | ||
- | Dossier img-perso-2.jpg liste3-erb-ere sort1.txt | + | Dossier img-perso-2.jpg liste2-nom server-0.xkb |
- | essai.grep2~ liste liste4-spec sort2.txt | + | image linux - 01.jpg liste liste3-erb-ere smolski-exo-sed.txt |
- | image linux - 01.jpg liste1 liste4-vim sort3.txt | + | image linux - 02.jpg liste1 liste4-spec sort1.txt |
- | image linux - 02.jpg liste1-nom liste-class vim2.png | + | image linux - 03.jpg liste1-nom liste4-vim sort2.txt |
- | image linux - 03.jpg liste2 server-0.xkb vim.png | + | img-perso-1.jpg liste2 liste-class sort3.txt |
- | img-perso-1.jpg liste2-nom smolski-exo-sed.txt xxx-sort.txt | + | |
</code> | </code> | ||
===Exemples === | ===Exemples === | ||
- | * accolades (depuis le répertoire parent "ERetCMD/" des fichiers recherchés : | + | * __Les accolades__ (depuis le répertoire parent "ERetCMD/" des fichiers recherchés : |
<code user>find -regextype "posix-basic" -regex ".*/[a-z]\{,3\}-.*\.jpg$"</code> | <code user>find -regextype "posix-basic" -regex ".*/[a-z]\{,3\}-.*\.jpg$"</code> | ||
<code> | <code> | ||
Ligne 1379: | Ligne 1348: | ||
</code> | </code> | ||
- | * caractère ? : | + | * __Le caractère ? :__ |
<code user>find -regextype "posix-basic" -regex ".*/liste.\?"</code> | <code user>find -regextype "posix-basic" -regex ".*/liste.\?"</code> | ||
<code> | <code> | ||
Ligne 1387: | Ligne 1357: | ||
</code> | </code> | ||
- | * le caractère + (depuis le répertoire parent "ERetCMD/" des fichiers) : | + | * __Le caractère +__ (depuis le répertoire parent "ERetCMD/" des fichiers) : |
<code user>find -regextype "posix-extended" -regex ".*liste.+"</code> | <code user>find -regextype "posix-extended" -regex ".*liste.+"</code> | ||
<code> | <code> | ||
Ligne 1406: | Ligne 1376: | ||
De même que précédemment, on peut choisir l'option **''--regexp''** pour utiliser les caractères spécifiques aux ERb qui nécessitent **''\''**. | De même que précédemment, on peut choisir l'option **''--regexp''** pour utiliser les caractères spécifiques aux ERb qui nécessitent **''\''**. | ||
- | Soit encore le répertoire "ERetCMD/" contenant les mêmes fichiers (voir find).\\ | + | Soit encore le répertoire "ERetCMD/" contenant les mêmes fichiers.\\ |
Mise à jour de la base de donnée, si besoin : | Mise à jour de la base de donnée, si besoin : | ||
Ligne 1414: | Ligne 1384: | ||
===Exemples === | ===Exemples === | ||
- | * parenthèses et accolades (depuis n'importe où dans l'arborescence du système de fichiers) : | + | * __Parenthèses et accolades__ (depuis n'importe où dans l'arborescence du système de fichiers) : |
<code user>locate --regexp '\([a-z]\{1,\} \)\{2\}.*\.jpg$'</code> | <code user>locate --regexp '\([a-z]\{1,\} \)\{2\}.*\.jpg$'</code> | ||
Ligne 1423: | Ligne 1393: | ||
/home/hypathie/ERetCMD/image linux - 03.jpg | /home/hypathie/ERetCMD/image linux - 03.jpg | ||
</code> | </code> | ||
+ | |||
+ | > D'autres fichiers que ceux du répertoire "~/ERetCMD/" et créés pour les exemples peuvent apparaître. | ||
ou | ou | ||
Ligne 1434: | Ligne 1406: | ||
</code> | </code> | ||
- | * caractère ? : | + | * __Caractère ? :__ |
<code user>locate --regex '/liste.?'</code> | <code user>locate --regex '/liste.?'</code> | ||
<code> | <code> | ||
Ligne 1453: | Ligne 1426: | ||
>Le fichier "liste" (sans extension) apparaît. | >Le fichier "liste" (sans extension) apparaît. | ||
- | * caractère + : | + | * __Caractère + :__ |
<code user>locate --regex '/liste.+'</code> | <code user>locate --regex '/liste.+'</code> | ||
Ligne 1471: | Ligne 1444: | ||
- | >Le fichier "liste" (sans extension) n'apparaît pas. | + | >Le fichier "liste" (sans extension) n'apparaît plus. |
=====Les classes ===== | =====Les classes ===== | ||
Ligne 1495: | Ligne 1468: | ||
====grep, grep -E et les classes==== | ====grep, grep -E et les classes==== | ||
La commande grep utilise les classes soit comme ERb et soit comme ERe, c'est-à-dire sans l'option -E ou avec l'option -E | La commande grep utilise les classes soit comme ERb et soit comme ERe, c'est-à-dire sans l'option -E ou avec l'option -E | ||
+ | |||
===Préparation === | ===Préparation === | ||
* soit le fichier " | * soit le fichier " | ||
- | <code user>cat liste-class</code> | + | <code user>cd ~/ERetCMD/ && cat >> liste-class <<EOF |
- | <code> | + | |
gdd:a:aa:aaa:aaaa:aaaaaa:aaaaaaaa | gdd:a:aa:aaa:aaaa:aaaaaa:aaaaaaaa | ||
T5c Kc5 T5 c E2* abcd 7 9Abcd | T5c Kc5 T5 c E2* abcd 7 9Abcd | ||
Ligne 1509: | Ligne 1482: | ||
-15 +36 5687 {15} exemple{36} | -15 +36 5687 {15} exemple{36} | ||
123.3456.abc | 123.3456.abc | ||
+ | EOF | ||
</code> | </code> | ||
Ligne 1523: | Ligne 1497: | ||
</code> | </code> | ||
- | >sélection de "3456" ; "5687" ; de "2356" ; et des lignes avec plus de 4 chiffres consécutif. | + | >Sélection de "3456" ; "5687" ; de "2356" ; et des lignes avec plus de 4 chiffres consécutif. |
<code user>grep "[[:digit:]]\{6\}" liste-class</code> | <code user>grep "[[:digit:]]\{6\}" liste-class</code> | ||
Ligne 1567: | Ligne 1541: | ||
====locate et les classes, ERb ou ERe==== | ====locate et les classes, ERb ou ERe==== | ||
- | * Visualisation du répertoire ~/ERetCMD/ : | + | * Rappel du contenu de "~/ERetCMD/" : |
<code user>ls</code> | <code user>ls</code> | ||
<code> | <code> | ||
- | Dossier img-perso-1.jpg liste3-erb-ere smolski-exo-sed.txt | + | Dossier img-perso-2.jpg liste2-nom server-0.xkb |
- | essai.grep2~ img-perso-2.jpg liste4-spec sort1.txt | + | image linux - 01.jpg liste liste3-erb-ere smolski-exo-sed.txt |
- | image linux - 01.jpg liste1-nom liste4-spec~ sort2.txt | + | image linux - 02.jpg liste1 liste4-spec sort1.txt |
- | image linux - 02.jpg liste1-nom~ liste4-vim sort3.txt | + | image linux - 03.jpg liste1-nom liste4-vim sort2.txt |
- | image linux - 03.jpg liste2-nom server-0.xkb xxx-sort.txt | + | img-perso-1.jpg liste2 liste-class sort3.txt |
</code> | </code> | ||
- | ===sous-chaîne avec classes dans une ERb=== | + | ===Sous-chaîne avec classes dans une ERb=== |
>Option --regexp et on met un antislash de toutes les parenthèses et les accolades. | >Option --regexp et on met un antislash de toutes les parenthèses et les accolades. | ||
Ligne 1588: | Ligne 1562: | ||
</code> | </code> | ||
- | ===sous-chaîne avec classes dans une ERe=== | + | >D'autres fichiers créés avant l'exercice peuvent apparaître. |
+ | |||
+ | ===Sous-chaîne avec classes dans une ERe=== | ||
>Idem mais avec option --regex et on enlève les ''\'' inutiles avec les ERe | >Idem mais avec option --regex et on enlève les ''\'' inutiles avec les ERe | ||
Ligne 1667: | Ligne 1643: | ||
</code> | </code> | ||
- | ====la commande expr utilise les classes en tant ERb==== | + | ====La commande expr utilise les classes en tant ERb==== |
* Exemple 1 : | * Exemple 1 : | ||
Ligne 1688: | Ligne 1664: | ||
====vi (vim) utilise les classes en tant que ERb==== | ====vi (vim) utilise les classes en tant que ERb==== | ||
===Préparation === | ===Préparation === | ||
- | <code user>vim liste4-vim</code> | + | <code user>vim liste4-spec</code> |
- | <code> | + | |
- | Kc5 T5 c E2* abcd 7 9Abcd | + | {{http://pix.toile-libre.org/upload/original/1408097498.png?400}} |
- | 7 1AAA.AAA.bcdef aBcd6a 123* | + | |
- | abc2356.99 | + | |
- | 73000|Savoie | + | |
- | index-tel|04|Rhône-Alpe | + | |
- | -15 +36 5687 {15} exemple{36} | + | |
- | il y a un truc et un truc et encore un truc et une chose | + | |
- | chose et truc ne font pas bon ménage | + | |
- | 123.3456.abc | + | |
- | trucchosetruc | + | |
- | tructructruc | + | |
- | chosechosechose | + | |
- | </code> | + | |
===Exemples === | ===Exemples === | ||
Ligne 1709: | Ligne 1674: | ||
<code>/[[:alnum:]]\{7\}{[[:digit:]]\{2\}} </code> | <code>/[[:alnum:]]\{7\}{[[:digit:]]\{2\}} </code> | ||
- | -> sélectionne entièrement la chaîne **''exemple{36}''** | + | {{http://pix.toile-libre.org/upload/original/1408097922.png?400}} |
* Substitution <nowiki>[[:graph:]]</nowiki>: | * Substitution <nowiki>[[:graph:]]</nowiki>: | ||
<code>:6,10s/[[:graph:]]/x/g</code> | <code>:6,10s/[[:graph:]]/x/g</code> | ||
- | > Le caractère "ô" n'est pas concerné du fait de la touche morte. | + | {{http://pix.toile-libre.org/upload/original/1408098079.png?400}} |
+ | |||
+ | > Les caractères accentués ne sont pas concernés car ils comportent un caractère de contrôle pour l'accentuation avec la touche morte. | ||
+ | |||
+ | > Faire **'':nohlsearch''** et **''u''** pour la suite. | ||
- | {{http://pix.toile-libre.org/upload/original/1407925315.png?400}} | ||
* Substitution <nowiki>[[:print:]]</nowiki> : | * Substitution <nowiki>[[:print:]]</nowiki> : | ||
<code>:6,10s/[[:print:]]/x/g</code> | <code>:6,10s/[[:print:]]/x/g</code> | ||
- | {{http://pix.toile-libre.org/upload/original/1407925697.png?400}} | + | {{http://pix.toile-libre.org/upload/original/1408098434.png?400}} |
+ | |||
+ | > Cette fois les caractères accentués sont concernés s'ils font partie de l'adressage. | ||
+ | > Faire **'':q!''** pour quitter sans enregistrer. | ||
=====awk les ERe et les classes===== | =====awk les ERe et les classes===== | ||
- | <code user>cat liste2-nom</code> | + | <code user>cd ~/ERetCMD && cat >> liste2-nom <<EOF |
- | <code> | + | |
Constance 20-03-1998 | Constance 20-03-1998 | ||
Rebecca 09-03-1999 | Rebecca 09-03-1999 | ||
Ligne 1732: | Ligne 1702: | ||
Hélène-Fleur 06-03-2005 | Hélène-Fleur 06-03-2005 | ||
Samuel 27-08-2008 | Samuel 27-08-2008 | ||
+ | EOF | ||
</code> | </code> | ||