L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:accueil [20/07/2014 22:11]
Hypathie [Sed et les expressions rationnelles étendues]
+++ utilisateurs:hypathie:tutos:accueil [21/07/2014 13:08]
Hypathie [Contexte d'utilisation des ER]
@@ Ligne 7: / Ligne 7: @@
-=====Contexte d'utilisation des ER =====
->Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte.
->Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien.
->Ou encore, elles servent à ajouter, à un endroit précisé par la regexp, un ou éléments au texte.
-====Les caractères utilisés pour créer des regexp avec sed ====
-<code text info sed>
-`-r'
-`--regexp-extended'
-  Use extended regular expressions rather than basic regular
-  expressions.  Extended regexps are those that `egrep' accepts;
-  they can be clearer because they usually have less backslashes,
-  but are a GNU extension and hence scripts that use them are not
-  portable.  *Note Extended regular expressions: Extended regexps.
-</code>
-<note>
-**Sed utilise une version particulière des expressions régulières.**
-  * **Sans l'option ''-r'' :**
--> __**utilisation des expressions régulières de basiques**__,\\ c'est-à-dire, celles qui utilisent les métacaractères simples (POSIX) qui sont en communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
-**''.''** ; **''*''**, **''^''**,  **''$''**, **''[ ]''**\\
-__Attention au caractère ''*''__:\\
-  - comme métacaractère :\\ ''*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère
-  - expression régulière :\\ ''*'' -> zéro ou plusieurs fois l'élément précédent (b*BABA -> BABA, bBABA, bbBABA, bbbBABA, etc.)
-  - expression régulière :\\ ''.*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère
--> **Il s'y ajoute pour sed __le caractère__ ''&'' :**\\
-- **''&''** : Représente la chaîne à remplacer((ce qu'on ajoute autour de ''&'' est ajouté à la chaîne remplacée)).
--> __**utilisation des classes**__ :
-> Attention il y a une petite ambiguïté !\\ Les classes peuvent effectivement être utilisées avec sed sans l'option ''-r'' bien que la documentation de sed renvoie à celle grep -E (ou egrep) où elles font partie des regexp étendues.
-^                                 ^                              ^
-|''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]|
-|''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] |
-|''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations |
-|''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle |
-|''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] |
-|''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)|
-|''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] |
-|''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)|
-|''<nowiki>
-[[:punct:]] </nowiki>'' | Les caractères de ponctuation |
-|''<nowiki>[[:space:]]</nowiki>'' | Les espaces |
-|''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] |
-|''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] |
-  * **Avec ''-r'' :**
--> **On peut utiliser tous les __caractères vus précédemment__.**\\
-L'ajout de l'option -r ne change pas leur signification.
--> **On peut utiliser __les caractères POSIX étendus__ :**\\
-**''|''** ; **''+''** ; **''?''** ; **''(   )''** ;**''{   }''** ; **''<nowiki>[ - ]</nowiki>''**
-Auxquels il s'ajoute les caractères non-portables : ''\<'' et ''\>''\\
--''\<'' : cible le début d'un mot((Attention : Un mot est une chaîne de caractères faite de chiffres, lettres ou de ''_'' et séparée par tout autre  caractère qu'un chiffre, une lettre ou le ''_''.)) : ''\<'' doit figurer devant la sous-chaîne désirée\\
--''\>'' : cible la fin d'un mot : ''\>'' doit figurer en fin de la sous-chaîne désirée
->Voici la liste complète et testée des caractères nécessitant l'option ''-r'' de sed :\\
->**''|''** ; **''+''** ; **''?''** ; **''(   )''** ;**''{   }''** ; **''<nowiki>[ - ]</nowiki>''** ; **''\<''** ; **''\>''**\\
--> **Il s'y ajoute quelqu'uns __des raccourcis ci-dessous__.**\\
-Il s'agit là de quelques unes des extensions GNU(([[https://www.gnu.org/software/sed/manual/html_node/Escapes.html#Escapes|Escapes]])) qui sont pas portables, mais qui fonctionnent avec sed ''-r'' :\\
-**''\f''** : Produit ou correspond à un saut\\
-**''\n''** : Produit ou correspond à un retour à la ligne \\
-**''\t''** : Produit ou correspond à un onglet horizontal\\
-**''\v''** : Produit ou correspond à une tabulation verticale\\
-**''\w''** : Synonyme de ''<nowiki>[[:alnum:]]</nowiki>'' -> correspond à un mot.\\
-**''\W''** : Synonyme de ''<nowiki>[^[:alnum]]</nowiki>'' -> ce qui autre qu'un mot.\\
-**''\b''** : Correspond à une chaîne vide (blanc) à l'extrémité d'un mot((''info\b'' ->"info pour tous" et ''\binfo'' -> "informatique"))\\
-Référence : [[http://sunsite.ualberta.ca/Documentation/Gnu/sed-3.02/html_chapter/sed_3.html]]
-</note>
-Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage.
 =====La substitution=====
 ===Syntaxes de substitution===
@@ Ligne 141: / Ligne 59: @@
 </code>
-voir : [[utilisateurs:hypathie:tutos:accueil#changer-de-selecteur-d-adressage|changer de sélecteur d'adressage]]
 </note>
@@ Ligne 170: / Ligne 87: @@
 </code>
-=== Adressage avec n° occurrence (fonctionne sur une ligne)===
+=== Adressage avec n° d'occurrence (fonctionne sur une ligne)===
 <code user>
 echo "lalalala" | sed -e 's/la/li/2'
@@ Ligne 178: / Ligne 95: @@
 </code>
-===Adressage du n° ligne pour la substitution===
+===Adressage du n° de ligne pour la substitution===
 Idem que précédemment, on place le n° devant la commande !\\
 Mais attention ici il s'agit de la substitution ''s'' :
@@ Ligne 222: / Ligne 139: @@
 </code>
-===Changer de sélecteur d'adressage ===
-<code user>
-echo "/coucou/titi" >> sed1.txt && cat sed1.txt
-aaaa
-BBB
-cCcC
-#
-BBB
-titi cCcC
-/coucou/titi
-</code>
-<code user>
-sed 's/\/coucou\/titi/gaga/' sed1.txt
-</code>
-<code>
-aaaa
-BBB
-cCcC
-#
-BBB
-titi cCcC
-gaga
-</code>
-> Qu'on peut remplacer par :
-<code user>
- sed 's_/coucou/titi_gaga_' sed1.txt
-</code>
-<code>
-aaaa
-BBB
-cCcC
-#
-BBB
-titi cCcC
-gaga
-</code>
 ===Adressage d'une plage avec délimiteurs "/ /,/ /" :===
 <code user>
@@ Ligne 328: / Ligne 203: @@
 </code>
+=== Adressage avec le tilde===
+<code text man sed>
+first~step
+ Match every step' th line starting with line first.
+</code>
+Remplaçons "first" et step" par "n" et "m" qui sont toujours des nombres !
+L'expression ''n ~ m'' ou ''n~m'' signifie simplement :\\
+ " la E.R matche toutes les ''n''ième ligne(s) d'un fichier et cela en sautant un nombre de ligne égal à un écart (~) qui est lui-même égal, à la différence entre le nombre ''m'' avec la première ligne du fichier (c'est-à-dire la position ordinal 1). On connaît donc le nombre de ligne sautée en faisant toujours ''m - 1''."
+Et si ''n'' est égal à zéro, alors le E.R. match toutes les ''m''ièmes lignes à partir de la ligne ''m'' et saute ''m'' - 1 ligne(s).
+  * ''1 ~ 2'' : matche les lignes impaires : 1ière, 3ième, 5ième, etc.\\ En effet, de la première ligne du fichier à ''m'' (''m'' = 2), il y a 1. Il sera sauté 1 ligne non-matchée et cela à partir de la ligne n°1 (''n'' = 1). Donc la sélection concerne la première ligne et saute 1 ligne, matche la 3ième ligne et saute 1 ligne, etc.
+  * ''2~3'' : matche les lignes 2 ; 5 ; 8 ; 11\\ L'écart sauté sera de 2 car de la position 3 (''m'' = 3) à la première ligne du fichier, il y a deux lignes (3-1=2), et cela commence à la deuxième ligne (''n'' = 2). Donc la deuxième ligne est matchée, deux lignes sont sautées (3ième et 4 ième), la 5 ième est matchée, etc.
+  * 10 ~ 5 : sélection des lignes 10 ; 15 ; 20 ; 25 etc. 5 - 1 = 4 : Il sera sauté 4 lignes non-matchées à partir de la ligne 10.
+  * 0~5 : sélection des lignes 5 ; 10 ; 15 etc.\\ m-1 = 5-1 = 4 lignes sautées, à partir de la cinquième ligne (''m'' = 5 ).
+  * Exemple 1:
+<code user>
+sed '1~2 s_.*[coucou]_OK_' essai-tilde
+</code>
+<code>
+OK/1
+/titi/coucou/2
+OK/3
+/tutu/coucou/4
+OK/5
+/nono/coucou/6
+OK/7
+/lili/coucou/8
+OK/9
+/fofo/coucou/10
+OK/11
+/bibi/coucou/12
+OK/13
+/sisi/coucou/14
+OK/15
+</code>
+  * Exemple 2 :
+<code user>
+sed '2~3 s_.*[coucou]_OK_' essai-tilde
+</code>
+<code>
+/toto/coucou/1
+OK/2
+/tati/coucou/3
+/tutu/coucou/4
+OK/5
+/nono/coucou/6
+/lulu/coucou/7
+OK/8
+/fifi/coucou/9
+/fofo/coucou/10
+OK/11
+/bibi/coucou/12
+/zaza/coucou/13
+OK/14
+/baba/coucou/15
+</code>
+  * Exemple 3 :
+<code user>
+sed '10~5 s_.*[coucou]_OK_' essai-tilde
+</code>
+<code>
+/toto/coucou/1
+/titi/coucou/2
+/tati/coucou/3
+/tutu/coucou/4
+/nani/coucou/5
+/nono/coucou/6
+/lulu/coucou/7
+/lili/coucou/8
+/fifi/coucou/9
+OK/10
+/dodu/coucou/11
+/bibi/coucou/12
+/zaza/coucou/13
+/sisi/coucou/14
+OK/15
+</code>
+  * exemple :
+<code user>
+sed '0~5 s_.*[coucou]_OK_' essai-tilde
+</code>
+<code>
+/toto/coucou/1
+/titi/coucou/2
+/tati/coucou/3
+/tutu/coucou/4
+OK/5
+/nono/coucou/6
+/lulu/coucou/7
+/lili/coucou/8
+/fifi/coucou/9
+OK/10
+/dodu/coucou/11
+/bibi/coucou/12
+/zaza/coucou/13
+/sisi/coucou/14
+OK/15
+</code>
 =====Sed et les regexp simples =====
 ====Explications====
 ===le caractère ^ ===
 Le caractère ''^'' n'est spécial qu'en début d'E.R. ou immédiatement à gauche dans une chaîne encadrée par des '[]' (voir : "les crochets").
+  * Exemple 1 : supprimer la ligne comprenant le caractère "#", du fichier :
+<code user>
+cat >> ~/sed.txt <<EOF
+> abc
+> #ABC
+> EOF
+</code>
+<code user>
+sed '/^#/ d' sed.txt
+</code>
+<code>
+abc
+</code>
+  * Exemple 2 : supprimer le caractère # seulement du fichier sed.txt
+<code user>
+sed -e '/^#/s/#ABC/ABC/' sed.txt
+</code
+<code>
+abc
+ABC
+</code>
+  * Exemple 3 : ne pas supprimer le ligne qui commence par #
+<code user>
+sed '/^#/ !d' ~/sed.txt
+</code>
+<code>
+#
+</code>
 ===Le caractère $ ===
-Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.
+Le caractère ''$'' représente la fin de la ligne.
+//(Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.)//
+  * Exemple : supprimer la ligne finissant par "C"
+<code user>
+sed -e 's/.*C$//' -e '/^$/ d' sed.txt
+</code>
+<code>
+abc
+</code>
 === le point (.)===
@@ Ligne 365: / Ligne 382: @@
 La chaîne non-vide encadrée par ''[ ]'' est considérée comme une ''E.R.'' d'un seul caractère pouvant avoir n'importe quelle valeur définie entre ces ''[]''.\\
-À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.
+À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.\\
-//( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''[''.)//
+//( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''['' )//
 Une combinaison de plusieurs E.R. d'un seul caractère est une E.R. qui correspond à l'ensemble de ce que chaque E.R. désigne.\\ Par exemple ''a[bB]'' recherche ''ab'' ou ''aB''.
@@ Ligne 378: / Ligne 395: @@
 </note>
-===Les accolades { et } ===
+===Le caractère & ===
-Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\
-'m' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256.
-===Traitement des mots ===
+<code user>
-  * le caractère ''\<''
+sed 's/[0-9][0-9]*$/[&]/' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+[12345]
+BBB
+titi cCcC
+</code>
+<code user>
+sed 's/[0-9][0-9]*$/(&)/' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+(12345)
+BBB
+titi cCcC
+</code>
-  * le caractère  ''\>''
+=====Sed -r : les caractères étendues =====
+Rappel :
+ ''+'' ; ''?'' ; ''|'' ; ''(   )'' ; ''['' ; ''{   }''
+=== le caractère (+)===
-=====Sed -r : les caractères étendues =====
+  * substituer une ou plusieurs fois "z" par OK
-===Rappel===
- ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
+abc OK OK OK OK
+</code>
+=== Le caractère ( ? )===
+  * substituer zéro ou une fois "z" par OK
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
+OK OK azzbc azzzbc azzzzbc
+</code>
+=== Le ou ( | )===
+  * substituer  ab ou cd par OK
+<code user>
+echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
+OKef OKef efgh OKOK
+</code>
+  * substituer ab ou cd par OK et effacer le reste
+<code user>
+echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
+ 's/^.*[ab|cd]*/OK/g'
+OK
+</code>
+===Les parenthèses ===
+<code user>
+echo "a b c d e f" | sed -r 's/(b|e)/X/g'
+</code>
+<code>
+a X c d X f
+</code>
 ===Parenthèses et inversion de champs===
@@ Ligne 406: / Ligne 483: @@
 toto:coucou
 </code>
-===Exercices : matcher et remplacer une chaîne par OK ===
-  * Hello
+<note tip>
+/^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères
+</note>
+===Les accolades { et } ===
+Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\
+'m' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256.
+   * substituer seulement "aaa, aaaa et aaaaa" par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
+ 's/a{3,5}/OK/g'
+a aa OK OK OKa OKOK OKaa
+</code>
+  * substituer trois "a" et plus par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
+a aa OK OK OK OK
+</code>
+===Traitement des mots ===
+  * le caractère ''\<''
+Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée.
+<code user>
+echo "info pour tous informatique" | sed -r 's/\<info/OK/g'
+</code>
+<code>
+OK pour tous OKrmatique
+</code>
+  * le caractère  ''\>''
+Le caractère  ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée.
+<code user>
+echo "métrique cosmétique" | sed -r 's/métique\>/OK/g'
+</code>
+<code>
+métrique cosOK
+</code>
+====Les sous-chaînes : associer ( ), [ ], { }====
+  * substituer "Hello" par OK
 <code user>
 echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'
@@ Ligne 415: / Ligne 534: @@
 </code>
-  * ABC-123 abc-123
+  * substituer "ABC-123 abc-123" par OK
 <code user>
@@ Ligne 432: / Ligne 551: @@
 </note>
-  * ab efab ef
+  * substituer "ab efab ef" par OK
 <code user>
@@ Ligne 439: / Ligne 558: @@
 </code>
-  * 123ab efab ef123 par trois "OK"
+  * substituer "123ab efab ef123" par trois "OK"
 <code user>
@@ Ligne 447: / Ligne 566: @@
 </code>
-  * ab ou cd par OK
+  * substituer jusqu'à trois "a" par OK
-<code user>
-echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
-OKef OKef efgh OKOK
-</code>
-  * ab ou cd par OK et efface le reste
-<code user>
-echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
- 's/^.*[ab|cd]*/OK/g'
-OK
-</code>
-  * seulement aaa, aaaa et aaaaa par OK
-<code user>
-echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
- 's/a{3,5}/OK/g'
-a aa OK OK OKa OKOK OKaa
-</code>
-  * trois "a" et plus par OK
-<code user>
-echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
-a aa OK OK OK OK
-</code>
-  * jusqu'à trois "a" par OK
 <note tip>
-Attention !\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a".
+Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" !
 <code user>
 echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g'
@@ Ligne 489: / Ligne 579: @@
 OKOKaOKaaOKaaaaOKaaaaaaaa
 </code>
 </note>
 <code user>
@@ Ligne 495: / Ligne 584: @@
  -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/'
 OKOKaaa aaaa aaaaaa aaaaaaaa
-</code>
-  * zéro ou une fois "z" par OK
-<code user>
-echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
-OK OK azzbc azzzbc azzzzbc
-</code>
-  * une ou plusieurs fois "z" par OK
-<code user>
-echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
-abc OK OK OK OK
-</code>
-=== le "ou" (|)===
-<code user>
-sed -r 's/a|c/gaga/g' sed1.txt
-</code>
-<code>
-gagagagagagagaga
-BBB
-gagaCgagaC
-#
-BBB
-titi gagaCgagaC
-</code>
-===Parenthèses===
-<code user>
-sed -r 's/(a|B).*/gaga/g' sed1.txt
-</code>
-<code>
-gaga
-gaga
-cCcC
-#
-gaga
-titi cCcC
-hypathie@debian:~$
-</code>
-===Les accolades ===
-<code>
-sed 's/a{1,4}/gaga/g' sed1.txt
-</code>
-<code>
-aaaa
-BBB
-cCcC
-#
-BBB
-titi cCcC
-</code>
-<code user>
-sed -r 's/(a|B).*/gaga/g' sed1.txt
-</code>
-<code>
-gaga
-gaga
-cCcC
-#
-gaga
-titi cCcC
 </code>

Debian-facile

Différences

Pied de page des forums