L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:accueil [15/07/2014 07:15]
Hypathie [Synthèse grep]
+++ utilisateurs:hypathie:tutos:accueil [20/07/2014 07:31]
Hypathie [Sed option -r]
@@ Ligne 1: / Ligne 1: @@
-====== Utiliser conjointement cut ; wc ; grep ; sed ======
+====== Sed et les expressions rationnelles ======
-  * Objet : Petite synthèse cut;grep;sed
+**Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.**
-  * Niveau requis : FIXME {{tag>débutant avisé}}
-  * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME
-  * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-)
-===== Synthèse sur cut =====
+  * Niveau requis : {{tag>avisé}}
-Soit les trois dernières lignes du fichier /etc/passwd :
+  * Commentaires : //Tuto en cours de rédaction //
-<code user>
-cat /etc/passwd
+=====Contexte d'utilisation des ER =====
+>Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte.
+>Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien.
+>Ou encore, elles servent à ajouter, à un endroit précisé par la regexp, un ou éléments au texte.
+====Les caractères utilisés pour créer des regexp avec sed ====
+<code text info sed>
+`-r'
+`--regexp-extended'
+  Use extended regular expressions rather than basic regular
+  expressions.  Extended regexps are those that `egrep' accepts;
+  they can be clearer because they usually have less backslashes,
+  but are a GNU extension and hence scripts that use them are not
+  portable.  *Note Extended regular expressions: Extended regexps.
+</code>
+<note>
+Sed utilise une version particulière des expressions régulières.
+  * **Sans l'option ''-r'' :**
+-> __utilisation des expressions régulières de basiques__, c'est-à-dire, celles qui utilisent les métacaractères simples (POSIX) qui sont en communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
+''*'', ''^'',  ''$'', ''[ ]''\\
+-> __utilisation des classes__ :
+^                                 ^                              ^
+|''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]|
+|''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] |
+|''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations |
+|''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle |
+|''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] |
+|''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)|
+|''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] |
+|''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)|
+|''<nowiki>
+[[:punct:]] </nowiki>'' | Les caractères de ponctuation |
+|''<nowiki>[[:space:]]</nowiki>'' | Les espaces |
+|''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] |
+|''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] |
+-> Il s'y ajoute __le caractère ''&''__ : La chaîne à remplacer dans la chaîne de remplacement.
+  * **avec ''-r'' :**
+-> On peut utiliser __les caractères POSIX étendus__ (ceux communs à 'egrep'):\\
+''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''\\
+-> Il s'y ajoute enfin __les raccourcis ci-desous__. C'est là l'extension GNU qui n'est pas portable :\\
+''f'' : Produit ou correspond à un saut\\
+''\n'' : Produit ou correspond à un retour à la ligne \\
+''\r'' : Produit ou correspond à un retour chariot\\
+''\t'' : Produit ou correspond à un onglet horizontal\\
+''\v'' : Produit ou correspond à une tabulation verticale\\
+''\w'' : Correspond à n'importe quel caractère "mot". Un caractère "mot" sera une lettre, un chiffre ou le caractère de soulignement.\\
+''\W'' : Correspond à tout caractère «non-mot».\\
+''\b'' : Correspond à une limite de mot.\\
+''\B'' : Matches partout mais sur une limite de mot.\\
+''\a'' : caractère alerte''
+\\dxxx'' : Produit ou correspond à un caractère dont la valeur ascii décimal est xxx\\ ''\cx'' : Control-x \\
+''\OXXX'' : caractère par valeur aSCII octal\\
+''\xhh'' : caractère par valeur aSCII hexadécimal.
+Référence : [[http://www.gnu.org/software/sed/manual/sed.html#Regular-Expressions|sed, a stream editor, "Overview of Regular Expression Syntax"]]
+</note>
+Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage.
+====La substitution ====
+===Syntaxes de substitution===
+<code>
+s/modèle/remplacement/[drapeau] fichier
 </code>
+ou
 <code>
-Debian-gdm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
+cmd | s/modèle/remplacement/[drapeau]
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
-libvirt-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
 </code>
-  * Un __champ__ est une chaîne de caractères\\ Par exemple, la dernière ligne ci-dessus est composée de sept champs; ''libvirt-qemu'' ; ''x'' ; ''113'', etc.
+>Voir : [[doc:systeme:sed#la-fonction-de-substitution-s]]
-  * Un __délimiteur__ est ce qui sépare chaque champ\\ ci-dessus c'est '':''.
-==== Introduction ====
+=== Détail ===
-La commande cut permet d'afficher des zones spécifiques d'un fichier.
+<code user>
+s/motif/substitut/
+	-> si motif = une regexp
+	-> alors subtitut = une chaîne de caractère
+</code>
+>Pour REGEXP, on peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''.
-<code>
+====L'adressage ====
-cut [options] [fichier...]
+===Préparation===
+<code user>
+echo "aaaa BBB cCcC # 12345" > ~/sed1.txt
 </code>
-====option -c====
-Sélection par caractère.
-===Exemples===
-> Le premier caractère des trois dernières lignes
 <code user>
-cut -c 1 /etc/passwd
+sed -i 's+ +\n+g' ~/sed1.txt && cat sed1.txt
 </code>
 <code>
-D
+aaaa
-h
+BBB
-l
+cCcC
+#
 </code>
->Du premier au neuvième caractère
+<note tip>
+Tout cela revient au même ;-)
 <code user>
-cut -c -9 /etc/passwd
+echo "aaaa BBB cCcC # 12345" | sed 's+ +\n+g'
+</code>
+<code user>
+echo "aaaa BBB cCcC # 12345" | sed 's/ /\n/g'
+</code>
+<code user>
+echo "aaaa BBB cCcC # 12345" | sed 's_ _\n_g'
+</code>
+voir : [[utilisateurs:hypathie:tutos:accueil#changer-de-selecteur-d-adressage|changer de sélecteur d'adressage]]
+</note>
+=== Adressage avec numéro de lignes ===
+  * Exemple avec la commande de suppression ''d''
+<code user>
+sed '3,4 d' ~/sed1.txt
 </code>
 <code>
-Debian-gd
+aaaa
-hypathie:
+BBB
-libvirt-q
 </code>
+> pas d'option : rien n'est modifié
+>''d'' : commande de suppression
+>''3,4'' : ligne 3 et 4
+  * option ''-e'' et répétition le commande ''d'' :
->Du neuvième au dernier caractère
 <code user>
-cut -c 9- /etc/passwd
+sed -e '3d; 4d' ~/sed1.txt
 </code>
 <code>
-dm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
+aaaa
-:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+BBB
-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
+</code>
+===Adressage avec délimiteurs "/ /" :===
+<code user>
+sed '/^B/d' ~/sed1.txt
+</code>
+<code>
+aaaa
+cCcC
+#
 </code>
-> Du onzième au vingt-et-unième caractère
+===Changer de sélecteur d'adressage ===
 <code user>
-cut -c 11-21 /etc/passwd
+echo "/coucou/titi" >> sed1.txt && cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+/coucou/titi
+</code>
+<code user>
+sed 's/\/coucou\/titi/gaga/' sed1.txt
 </code>
 <code>
-:x:112:120:
+aaaa
-:1000:1000:
+BBB
-mu:x:113:12
+cCcC
+#
+
+BBB
+titi cCcC
+gaga
 </code>
+> Qu'on peut remplacer par :
 <code user>
-cut -c 1-9,11-21 /etc/passwd
+ sed 's_/coucou/titi_gaga_' sed1.txt
 </code>
 <code>
-saned:x:11:119::/hom
+aaaa
-Debian-gd:x:112:120:
+BBB
-hypathie::1000:1000:
+cCcC
-libvirt-qmu:x:113:12
+#
+
+BBB
+titi cCcC
+gaga
+</code>
+===Adressage d'une plage avec délimiteurs "/ /,/ /" :===
+<code user>
+sed '/^B/,/^1/d' ~/sed1.txt
+</code>
+<code>
+aaaa
 </code>
-===À savoir ===
-^Découpages par caractère  ^ significations       ^
-|cut -c ''-n''             |du caractère 1 à n    |
-|cut -c ''n-''             |de n jusqu'à la fin   |
-|cut -c ''n-m''            |de n à m              |
-|cut -c ''n-m,i-j''        | de n à m et de i à j |
-====Options -d et -f====
+===Adressage mixte===
-Découpage par champ (ou colonne), en fonction du délimiteur ''-d''
+''n'' et ''m'' sont des nombres entiers naturels
-Et liste des champs ""-f"".
-<note tip>
-À savoir.\\
-Par défaut, le délimiteur est la tabulation.\\
-Si dans le fichier à traiter le séparateur est la tabulation, on n'a pas à indiquer l'option ''-d'', mais si le séparateur est un autre caractère, il faut l'indiquer
-</note>
-===Exemples===
->Coupe en fonction du délimiteur '' -d':' '' et du premier champ ''-f 1''
+  * sed 'n,ms/chaine 1/chaine 2/' fichier
+>On remplace chaine 1 par chaine 2 de la ligne n à la ligne m.
+  * sed '/chaine 1/s/chaine 2/chaine 3/' fichier
+>On remplace chaine 2 par chaine 3 pour la ou les ligne(s) adressées par chaine 1.
+<code user>
+cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+</code>
+<code user>
+sed '2,6s/BBB/GAGA/' sed1.txt
+</code>
+ou
 <code user>
-cut -d':' -f 1 /etc/passwd
+sed -r '2,6s/B{3}/GAGA/' sed1.txt
 </code>
 <code>
-Debian-gdm
+aaaa
-hypathie
+GAGA
-libvirt-qemu
+cCcC
+#
+
+GAGA
+titi cCcC
 </code>
->Coupe en fonction du délimiteur '' -d':' '' et des champs 1 ; 3 et 4 ''-f 1,3,4''.
 <code user>
-cut -d':' -f 1,3,4 /etc/passwd
+sed '/BBB/s/BBB/GAGA/' sed1.txt
+</code>
+ou
+<code user>
+sed -r '/B{3}/s/BBB/GAGA/' sed1.txt
+</code>
+<code>
+aaaa
+GAGA
+cCcC
+#
+
+GAGA
+titi cCcC
 </code>
+====GO ! Sed et les regexp simples ====
+Exercices
+=== le point (.)===
+<code user>
+cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
+</code>
+  * Exemple 1 :
+<code user>
+sed 's/./GAGA/' sed1.txt
+</code>
 <code>
-Debian-gdm:112:120
+GAGAaaa
-hypathie:1000:1000
+GAGABB
-libvirt-qemu:113:122
+GAGACcC
+GAGA
+GAGA2345
+GAGABB
+GAGAiti cCcC
+</code>
+  * Exemple 2, point<espace> :
+<code user>
+sed 's/. /GAGA/' sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titGAGAcCcC
+</code>
+  * Exemple 3 :
+<code user>
+sed '/./s/#/GAGA/' sed1.txt
+aaaa
+BBB
+cCcC
+GAGA
+
+BBB
+titi cCcC
 </code>
-===À savoir===
+=== le caractère ^ ===
-^                            ^                                 ^
+  * suppression de la ligne commençant par #
-|cut -d'délimiteur' -f n     | délimiteur et n° champ délimité |
-|cut -d'délimiteur' f n,m,...| délimiteur et plusieurs champs  |
-==== wc ====
+<code user>
-Afficher soit le nombre de mots, soit le nombre de ligne, soit le nombre d'octets
+sed '/^#/ d' ~/sed1.txt
+</code>
 <code>
-wc [options] [fichier...]
+aaaa
+BBB
+cCcC
+
+BBB
+titi cCcC
 </code>
-=== Option -l : Afficher les lignes ===
->Le nombre d'utilisateur du système ?
+  * Ne pas supprimer le ligne qui commence par #
 <code user>
-wc -l /etc/passwd
+sed '/^#/ !d' ~/sed1.txt
 </code>
 <code>
-/etc/passwd
+#
 </code>
-===Option -w : le nombre de mots===
+===le caractère ($)===
 <code user>
-echo "Coucou à tous">> essai-wc
+sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+GAGAGAGA
+#
+
+BBB
+titi GAGAGAGA
+</code>
+=== Point, étoile, crochets===
+<code user>
+sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+GAGAGAGA
+#
+
+BBB
+titi GAGAGAGA
 </code>
 <code user>
-wc -w essai-wc
+sed '/[C]$/s/[Cc].*/GAGA/g' sed1.txt
 </code>
 <code>
-essai-wc
+aaaa
+BBB
+GAGA
+#
+
+BBB
+titi GAGA
 </code>
-=== Options -c : nombre d'octet(s)===
 <code user>
-wc -c essai-wc
+sed '/[1-5]/ d' ~/sed1.txt
 </code>
 <code>
-essai-wc
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
 </code>
-=====Synthèse  grep =====
+<code user>
+sed 's/[1-5]/gaga/g' sed1.txt
+</code>
 <code>
-grep [options] regexp [fichier...]
+aaaa
+BBB
+cCcC
+#
+gagagagagagagagagaga
+BBB
+titi cCcC
 </code>
-Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]]
+<code user>
+sed '/[1-5]/s/[1-5]*/gaga/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+gaga
+BBB
+titi cCcC
+</code>
-^       ^                                                ^
+===Le caractère & ===
-|''-c'' |afficher le décompte des lignes correspondantes |
-|''-i'' | ignorer la case  |
-|''-E'' |utiliser les regexp étendues\\ (correspond à egrep)  |
-> Deux utilisations:\\
+<code user>
->Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier)
+sed 's/[0-9][0-9]*$/[&]/' sed1.txt
->Soit ''grep [options] cmd | regexp'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+[12345]
+BBB
+titi cCcC
+</code>
+<code user>
+sed 's/[0-9][0-9]*$/(&)/' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+(12345)
+BBB
+titi cCcC
+</code>
+===Les classes===
+<code user>
+sed 's/[[:digit:]]/gaga/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+gagagagagagagagagaga
+BBB
+titi cCcC
+</code>
-===Sur un fichier===
 <code user>
-grep -E "(:[0-9]{4}:){1}" /etc/passwd
+sed 's/[[:alpha:]]*/gaga/g' sed1.txt
 </code>
 <code>
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+gaga
+gaga
+gaga
+gaga#gaga
+gaga1gaga2gaga3gaga4gaga5gaga
+gaga
+gaga gaga
+gaga/gaga/gaga
 </code>
-===Filtre un flux d'entrée ===
+====Sed -r : les caractères posix étendues ====
+===Rappel===
+''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''
+===Exercices : matcher et remplacer une chaîne par OK ===
+  * Hello
 <code user>
-/sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'
 </code>
 <code>
-.0.0.1
+coucou OK Yep
-.0.0.0
+</code>
-.168.0.21
-.168.0.255
-.255.255.0
+  * ABC-123 abc-123
+<code user>
+echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\
+ [[a-z]{3}-[[:digit:]]{3}/OK/'
+OK
+</code>
+<note tip>
+SHELL : ''\''\\
+-> Les longues commandes peuvent être sectionnées avec :\\
+  \<retour à la ligne>[<espace>]
+</note>
+  * ab efab ef
+<code user>
+echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/'
+OK123
+</code>
+  * 123ab efab ef123 par trois "OK"
+<code user>
+echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\
+ -e 's/[[:digit:]]{3}/OK/g'
+OKOKOK
+</code>
+  * ab ou cd par OK
+<code user>
+echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
+OKef OKef efgh OKOK
+</code>
+  * ab ou cd par OK et efface le reste
+<code user>
+echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
+ 's/^.*[ab|cd]*/OK/g'
+OK
+</code>
+  * seulement aaa, aaaa et aaaaa par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
+ 's/a{3,5}/OK/g'
+a aa OK OK OKa OKOK OKaa
+</code>
+  * trois "a" et plus par OK
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
+a aa OK OK OK OK
+</code>
+  * jusqu'à trois "a" par OK
+<note tip>
+Attention !\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a".
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g'
+OK OK OK OKOK OKOK OKOKOK
+</code>
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
+ 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g'
+OKOKaOKaaOKaaaaOKaaaaaaaa
+</code>
+</note>
+<code user>
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
+ -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/'
+OKOKaaa aaaa aaaaaa aaaaaaaa
+</code>
+  * zéro ou une fois "z" par OK
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
+OK OK azzbc azzzbc azzzzbc
+</code>
+  * une ou plusieurs fois "z" par OK
+<code user>
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
+abc OK OK OK OK
+</code>
+=====Sed et les expressions rationnelles étendues =====
+=== le "ou" (|)===
+<code user>
+sed -r 's/a|c/gaga/g' sed1.txt
+</code>
+<code>
+gagagagagagagaga
+BBB
+gagaCgagaC
+#
+BBB
+titi gagaCgagaC
+</code>
+===Parenthèses===
+<code user>
+sed -r 's/(a|B).*/gaga/g' sed1.txt
+</code>
+<code>
+gaga
+gaga
+cCcC
+#
+gaga
+titi cCcC
+hypathie@debian:~$
+</code>
+===Les accolades ===
+<code>
+sed 's/a{1,4}/gaga/g' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
+</code>
+<code user>
+sed -r 's/(a|B).*/gaga/g' sed1.txt
+</code>
+<code>
+gaga
+gaga
+cCcC
+#
+gaga
+titi cCcC
 </code>

Debian-facile

Différences

Pied de page des forums