L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:accueil [15/07/2014 07:15]
Hypathie [Synthèse grep]
+++ utilisateurs:hypathie:tutos:accueil [19/07/2014 18:33]
Hypathie [Sed et les expressions rationnelles]
@@ Ligne 1: / Ligne 1: @@
-====== Utiliser conjointement cut ; wc ; grep ; sed ======
+====== Sed et les expressions rationnelles ======
-  * Objet : Petite synthèse cut;grep;sed
+**Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.**
-  * Niveau requis : FIXME {{tag>débutant avisé}}
-  * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME
-  * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-)
-===== Synthèse sur cut =====
+  * Niveau requis : {{tag>avisé}}
-Soit les trois dernières lignes du fichier /etc/passwd :
+  * Commentaires : //Tuto en cours de rédaction //
+=====Contexte d'utilisation des ER =====
+Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte.\\
+Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien.\\
+<code text info sed>
+`-r'
+`--regexp-extended'
+     Use extended regular expressions rather than basic regular
+     expressions.  Extended regexps are those that `egrep' accepts;
+     they can be clearer because they usually have less backslashes,
+     but are a GNU extension and hence scripts that use them are not
+     portable.  *Note Extended regular expressions: Extended regexps.
+</code>
+<note>
+Sed utilise une version particulière des expressions régulières.
+  * **Sans l'option ''-r'' :**
+-> __utilisation des expressions régulières de basiques__, c'est-à-dire, celles qui utilisent les métacaractères simples (POSIX) qui sont en communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
+''*'', ''^'',  ''$'', ''[ ]''\\
+-> __utilisation des classes__ :
+^                                 ^                              ^
+|''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]|
+|''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] |
+|''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations |
+|''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle |
+|''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] |
+|''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)|
+|''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] |
+|''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)|
+|''<nowiki>
+[[:punct:]] </nowiki>'' | Les caractères de ponctuation |
+|''<nowiki>[[:space:]]</nowiki>'' | Les espaces |
+|''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] |
+|''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] |
+-> Il s'y ajoute __le caractère ''&''__ : La chaîne à remplacer dans la chaîne de remplacement.
+  * **avec ''-r'' :**
+-> On peut utiliser __les caractères POSIX étendus__ :\\
+''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''\\
+-> Il s'y ajoute enfin __quelques raccourcis__ à la manière de Perl :\\
+''f'' : Produit ou correspond à un saut\\
+''\n'' : Produit ou correspond à un retour à la ligne \\
+''\r'' : Produit ou correspond à un retour chariot\\
+''\t'' : Produit ou correspond à un onglet horizontal\\
+''\v'' : Produit ou correspond à une tabulation verticale\\
+''\w'' : Correspond à n'importe quel caractère "mot". Un caractère "mot" sera une lettre, un chiffre ou le caractère de soulignement.\\
+''\W'' : Correspond à tout caractère «non-mot».\\
+''\b'' : Correspond à une limite de mot.\\
+''\B'' : Matches partout mais sur une limite de mot.\\
+''\a'' : caractère alerte''
+\\dxxx'' : Produit ou correspond à un caractère dont la valeur ascii décimal est xxx\\ ''\cx'' : Control-x \\
+''\OXXX'' : caractère par valeur aSCII octal\\
+''\xhh'' : caractère par valeur aSCII hexadécimal.
+Référence : [[http://www.gnu.org/software/sed/manual/sed.html#Regular-Expressions|sed, a stream editor, "Overview of Regular Expression Syntax"]]
+</note>
+Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage.
+====La substitution ====
+===Syntaxes de substitution===
+<code>
+s/modèle/remplacement/[drapeau] fichier
+</code>
+ou
+<code>
+cmd | s/modèle/remplacement/[drapeau]
+</code>
+>Voir : [[doc:systeme:sed#la-fonction-de-substitution-s]]
+=== détail ===
 <code user>
-cat /etc/passwd
+s/motif/substitut/
+	-> si motif = une regexp
+	-> alors subtitut = une chaîne de caractère
+</code>
+>Pour REGEXP, on peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''.
+====L'adressage ====
+===Préparation===
+<code user>
+echo "aaaa BBB cCcC # 12345" > ~/sed1.txt
+</code>
+<code user>
+sed -i 's+ +\n+g' ~/sed1.txt && cat sed1.txt
 </code>
 <code>
-Debian-gdm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
+aaaa
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+BBB
-libvirt-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
+cCcC
+#
 </code>
-  * Un __champ__ est une chaîne de caractères\\ Par exemple, la dernière ligne ci-dessus est composée de sept champs; ''libvirt-qemu'' ; ''x'' ; ''113'', etc.
-  * Un __délimiteur__ est ce qui sépare chaque champ\\ ci-dessus c'est '':''.
-==== Introduction ====
+=== Adressage avec numéro de lignes ===
-La commande cut permet d'afficher des zones spécifiques d'un fichier.
+  * Exemple avec la commande de suppression ''d''
+<code user>
+sed '3,4 d' ~/sed1.txt
+</code>
 <code>
-cut [options] [fichier...]
+aaaa
+BBB
 </code>
-====option -c====
+> pas d'option : rien n'est modifié
-Sélection par caractère.
+>''d'' : commande de suppression
-===Exemples===
+>''3,4'' : ligne 3 et 4
-> Le premier caractère des trois dernières lignes
+  * option ''-e'' et répétition le commande ''d'' :
 <code user>
-cut -c 1 /etc/passwd
+sed -e '3d; 4d' ~/sed1.txt
 </code>
 <code>
-D
+aaaa
-h
+BBB
-l
+</code>
+===Adressage avec délimiteurs "/ /" :===
+<code user>
+sed '/^B/d' ~/sed1.txt
+</code>
+<code>
+aaaa
+cCcC
+#
 </code>
->Du premier au neuvième caractère
+===Changer de sélecteur d'adressage ===
 <code user>
-cut -c -9 /etc/passwd
+echo "/coucou/titi" >> sed1.txt && cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+/coucou/titi
+</code>
+<code user>
+sed 's/\/coucou\/titi/gaga/' sed1.txt
 </code>
 <code>
-Debian-gd
+aaaa
-hypathie:
+BBB
-libvirt-q
+cCcC
+#
+
+BBB
+titi cCcC
+gaga
 </code>
->Du neuvième au dernier caractère
+> Qu'on peut remplacer par :
 <code user>
-cut -c 9- /etc/passwd
+ sed 's_/coucou/titi_gaga_' sed1.txt
 </code>
 <code>
-dm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
+aaaa
-:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+BBB
-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
+cCcC
+#
+
+BBB
+titi cCcC
+gaga
+</code>
+===Adressage d'une plage avec délimiteurs "/ /,/ /" :===
+<code user>
+sed '/^B/,/^1/d' ~/sed1.txt
+</code>
+<code>
+aaaa
 </code>
-> Du onzième au vingt-et-unième caractère
+===Adressage mixte===
+''n'' et ''m'' sont des nombres entiers naturels
+  * sed 'n,ms/chaine 1/chaine 2/' fichier
+>On remplace chaine 1 par chaine 2 de la ligne n à la ligne m.
+  * sed '/chaine 1/s/chaine 2/chaine 3/' fichier
+>On remplace chaine 2 par chaine 3 pour la ou les ligne(s) adressées par chaine 1.
 <code user>
-cut -c 11-21 /etc/passwd
+cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+</code>
+<code user>
+sed '2,6s/BBB/GAGA/' sed1.txt
+</code>
+ou
+<code user>
+sed -r '2,6s/B{3}/GAGA/' sed1.txt
 </code>
 <code>
-:x:112:120:
+aaaa
-:1000:1000:
+GAGA
-mu:x:113:12
+cCcC
+#
+
+GAGA
+titi cCcC
 </code>
 <code user>
-cut -c 1-9,11-21 /etc/passwd
+sed '/BBB/s/BBB/GAGA/' sed1.txt
+</code>
+ou
+<code user>
+sed -r '/B{3}/s/BBB/GAGA/' sed1.txt
 </code>
 <code>
-saned:x:11:119::/hom
+aaaa
-Debian-gd:x:112:120:
+GAGA
-hypathie::1000:1000:
+cCcC
-libvirt-qmu:x:113:12
+#
+
+GAGA
+titi cCcC
 </code>
-===À savoir ===
-^Découpages par caractère  ^ significations       ^
-|cut -c ''-n''             |du caractère 1 à n    |
-|cut -c ''n-''             |de n jusqu'à la fin   |
-|cut -c ''n-m''            |de n à m              |
-|cut -c ''n-m,i-j''        | de n à m et de i à j |
-====Options -d et -f====
+====GO ! Sed et les regexp simples ====
-Découpage par champ (ou colonne), en fonction du délimiteur ''-d''
+Exercices
-Et liste des champs ""-f"".
+=== le point (.)===
-<note tip>
+<code user>
-À savoir.\\
+cat sed1.txt
-Par défaut, le délimiteur est la tabulation.\\
+aaaa
-Si dans le fichier à traiter le séparateur est la tabulation, on n'a pas à indiquer l'option ''-d'', mais si le séparateur est un autre caractère, il faut l'indiquer
+BBB
-</note>
+cCcC
-===Exemples===
+#
+
+BBB
+titi cCcC
+</code>
+<code user>
+sed 's/./GAGA/' sed1.txt
+GAGAaaa
+GAGABB
+GAGACcC
+GAGA
+GAGA2345
+GAGABB
+GAGAiti cCcC
+</code>
+<code user>
+sed 's/. /GAGA/' sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titGAGAcCcC
+</code>
+Ou
+<code user>
+sed '/./s/#/GAGA/' sed1.txt
+aaaa
+BBB
+cCcC
+GAGA
+
+BBB
+titi cCcC
+</code>
->Coupe en fonction du délimiteur '' -d':' '' et du premier champ ''-f 1''
+=== le caractère ^ ===
 <code user>
-cut -d':' -f 1 /etc/passwd
+sed '/^#/ d' ~/sed1.txt
 </code>
 <code>
-Debian-gdm
+aaaa
-hypathie
+BBB
-libvirt-qemu
+cCcC
+
+BBB
+titi cCcC
 </code>
->Coupe en fonction du délimiteur '' -d':' '' et des champs 1 ; 3 et 4 ''-f 1,3,4''.
 <code user>
-cut -d':' -f 1,3,4 /etc/passwd
+sed '/^#/ !d' ~/sed1.txt
+</code>
+<code>
+#
 </code>
+===le caractère ($)===
+<code user>
+sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
+aaaa
+BBB
+GAGAGAGA
+#
+BBB
+titi GAGAGAGA
+</code>
+=== Point, étoile, crochets===
+<code user>
+ sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
+</code>
 <code>
-Debian-gdm:112:120
+aaaa
-hypathie:1000:1000
+BBB
-libvirt-qemu:113:122
+GAGAGAGA
+#
+
+BBB
+titi GAGAGAGA
+</code>
+<code user>
+sed '/[C]$/s/[Cc].*/GAGA/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+GAGA
+#
+
+BBB
+titi GAGA
 </code>
-===À savoir===
+<code user>
-^                            ^                                 ^
+sed '/[1-5]/ d' ~/sed1.txt
-|cut -d'délimiteur' -f n     | délimiteur et n° champ délimité |
+</code>
-|cut -d'délimiteur' f n,m,...| délimiteur et plusieurs champs  |
+<code>
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
+</code>
-==== wc ====
+<code user>
-Afficher soit le nombre de mots, soit le nombre de ligne, soit le nombre d'octets
+sed 's/[1-5]/gaga/g' sed1.txt
+</code>
 <code>
-wc [options] [fichier...]
+aaaa
+BBB
+cCcC
+#
+gagagagagagagagagaga
+BBB
+titi cCcC
 </code>
-=== Option -l : Afficher les lignes ===
->Le nombre d'utilisateur du système ?
 <code user>
-wc -l /etc/passwd
+sed '/[1-5]/s/[1-5]*/gaga/g' sed1.txt
 </code>
 <code>
-/etc/passwd
+aaaa
+BBB
+cCcC
+#
+gaga
+BBB
+titi cCcC
 </code>
-===Option -w : le nombre de mots===
+===Le caractère & ===
 <code user>
-echo "Coucou à tous">> essai-wc
+sed 's/[0-9][0-9]*$/[&]/' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+[12345]
+BBB
+titi cCcC
 </code>
 <code user>
-wc -w essai-wc
+sed 's/[0-9][0-9]*$/(&)/' sed1.txt
 </code>
 <code>
-essai-wc
+aaaa
+BBB
+cCcC
+#
+(12345)
+BBB
+titi cCcC
 </code>
-=== Options -c : nombre d'octet(s)===
+===Les classes===
 <code user>
-wc -c essai-wc
+sed 's/[[:digit:]]/gaga/g' sed1.txt
 </code>
 <code>
-essai-wc
+aaaa
+BBB
+cCcC
+#
+gagagagagagagagagaga
+BBB
+titi cCcC
 </code>
-=====Synthèse  grep =====
+<code user>
+sed 's/[[:alpha:]]*/gaga/g' sed1.txt
+</code>
 <code>
-grep [options] regexp [fichier...]
+gaga
+gaga
+gaga
+gaga#gaga
+gaga1gaga2gaga3gaga4gaga5gaga
+gaga
+gaga gaga
+gaga/gaga/gaga
 </code>
-Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]]
+====Sed -r : les caractères posix étendues ====
+===Rappel===
+''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''
+===Exercices : matcher et remplacer une chaîne par OK ===
+  * Hello
+<code user>
+echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'
+</code>
+<code>
+coucou OK Yep
+</code>
-^       ^                                                ^
+  * ABC-123 abc-123
-|''-c'' |afficher le décompte des lignes correspondantes |
-|''-i'' | ignorer la case  |
-|''-E'' |utiliser les regexp étendues\\ (correspond à egrep)  |
-> Deux utilisations:\\
+<code user>
->Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier)
+echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\
->Soit ''grep [options] cmd | regexp'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\
+ [[a-z]{3}-[[:digit:]]{3}/OK/'
+OK
+</code>
+>Rappel : les longues commandes peuvent être sectionnées avec\\ ''\<retour à la ligne>[<espace>]''
+  * ab efab ef
-===Sur un fichier===
 <code user>
-grep -E "(:[0-9]{4}:){1}" /etc/passwd
+echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/'
+OK123
 </code>
-<code>
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+  * 123ab efab ef123 par trois "OK"
+<code user>
+echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\
+ -e 's/[[:digit:]]{3}/OK/g'
+OKOKOK
 </code>
-===Filtre un flux d'entrée ===
+  * ab ou cd par OK
 <code user>
-/sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
+OKef OKef efgh OKOK
 </code>
-<code>
-.0.0.1
-.0.0.0
-.168.0.21
-.168.0.255
-.255.255.0
+  * ab ou cd par OK et efface le reste
+<code user>
+echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
+ 's/^.*[ab|cd]*/OK/g'
+OK
+</code>
+  * seulement aaa, aaaa et aaaaa par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
+ 's/a{3,5}/OK/g'
+a aa OK OK OKa OKOK OKaa
+</code>
+  * trois "a" et plus par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
+a aa OK OK OK OK
+</code>
+  * jusqu'à trois "a" par OK
+<note tip>
+Attention !\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a".
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g'
+OK OK OK OKOK OKOK OKOKOK
+</code>
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
+ 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g'
+OKOKaOKaaOKaaaaOKaaaaaaaa
+</code>
+</note>
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
+ -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/'
+OKOKaaa aaaa aaaaaa aaaaaaaa
+</code>
+  * zéro ou une fois "z" par OK
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
+OK OK azzbc azzzbc azzzzbc
+</code>
+  * une ou plusieurs fois "z" par OK
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
+abc OK OK OK OK
+</code>
+=====Sed regexp étendues =====
+=== le "ou" (|)===
+<code user>
+sed -r 's/a|c/gaga/g' sed1.txt
+</code>
+<code>
+gagagagagagagaga
+BBB
+gagaCgagaC
+#
+BBB
+titi gagaCgagaC
+</code>
+===Parenthèses===
+<code user>
+sed -r 's/(a|B).*/gaga/g' sed1.txt
+</code>
+<code>
+gaga
+gaga
+cCcC
+#
+gaga
+titi cCcC
+hypathie@debian:~$
+</code>
+===Les accolades ===
+<code>
+sed 's/a{1,4}/gaga/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
+</code>
+<code user>
+sed -r 's/(a|B).*/gaga/g' sed1.txt
+</code>
+<code>
+gaga
+gaga
+cCcC
+#
+gaga
+titi cCcC
 </code>

Debian-facile

Différences

Pied de page des forums