L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:accueil [19/07/2014 09:15]
Hypathie [Synthèse sur cut]
+++ utilisateurs:hypathie:tutos:accueil [19/07/2014 15:36]
Hypathie [Sed regexp étendues]
@@ Ligne 1: / Ligne 1: @@
-====== Utiliser conjointement cut ; wc ; grep ; sed ======
+====== Sed et les expressions rationnelles ======
-  * Objet : Petite synthèse cut;grep;sed
+  * Objet : sed
-  * Niveau requis : FIXME {{tag>débutant avisé}}
+  * Niveau requis : FIXME {{tag>avisé}}
-  * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME
+  * Commentaires : //Tuto en cours de rédaction // FIXME
   * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-)
+=====Contexte d'utilisation des ER =====
+Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte.\\
+Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien.\\
-=====Synthèse  grep =====
+<code text info sed>
-<code>
+`-r'
-grep [options] regexp [fichier...]
+`--regexp-extended'
-</code>
+     Use extended regular expressions rather than basic regular
+     expressions.  Extended regexps are those that `egrep' accepts;
+     they can be clearer because they usually have less backslashes,
+     but are a GNU extension and hence scripts that use them are not
+     portable.  *Note Extended regular expressions: Extended regexps.
+</code>
+<note>
+Sed utilise une version particulière des expressions régulières.
-Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]]
+  * Sans l'option ''-r'' :
-^       ^                                                ^
+-> Sed couvre des expressions régulières de base (POSIX). Il s'agit des caractères de bases qui sont communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
-|''-c'' |afficher le décompte des lignes correspondantes |
+''*'', ''^'',  ''$'', ''[ ]''\\
-|''-i'' | ignorer la case  |
-|''-E'' |utiliser les regexp étendues\\ (correspond à egrep)  |
-|''-o'' |afficher uniquement les parties (non vides) correspondantes des lignes sélectionnées, chaque partie étant affichée sur une ligne séparée.|
+-> Les classes :
-> Deux utilisations:\\
+^                                 ^                              ^
->Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier)
+|''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]|
->Soit ''cmd | grep [options]'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\
+|''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] |
+|''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations |
+|''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle |
+|''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] |
+|''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)|
+|''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] |
+|''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)|
+|''<nowiki>
+[[:punct:]] </nowiki>'' | Les caractères de ponctuation |
+|''<nowiki>[[:space:]]</nowiki>'' | Les espaces |
+|''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] |
+|''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] |
+-> Il s'y ajoute ''&'' : La chaîne à remplacer dans la chaîne de remplacement.
-===Sur un fichier===
+  * avec ''-r'' :
-<code user>
-grep -E "(:[0-9]{4}:){1}" /etc/passwd
+-> On peut utiliser les caractères POSIX étendus :\\
+''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }''\\
+-> Il s'y ajoute enfin quelques un caractères que l'on retrouve sous Perl :\\
+''\b'', ''\B'', ''\w'', ''\W'', ''\s'', ''\S'', ''\`'', ''\''', ''\<'', ''\>''
+-> Ainsi que :
+ ''\a'' (caractère alerte), ''\f'' (saut), ''\n'' (saut de ligne), ''\r'' (retour chariot), ''\''t (tabulation horizontale), ''\v'' (tabulation verticale), ''\cx'' (Control-x ), ''\dxxx'' (caractère en valeur ascii décimal), ''\OXXX'' (caractère par valeur aSCII octal), ''\xhh'' (caractère par valeur aSCII hexadécimal).
+</note>
+Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage.
+====La substitution ====
+===Syntaxes de substitution===
+<code>
+s/modèle/remplacement/[drapeau] fichier
 </code>
+ou
 <code>
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
+cmd | s/modèle/remplacement/[drapeau]
 </code>
+>Voir : [[doc:systeme:sed#la-fonction-de-substitution-s]]
-===Filtre un flux d'entrée ===
+=== détail ===
 <code user>
-/sbin/ifconfig | grep -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+s/motif/substitut/
+	-> si motif = une regexp
+	-> alors subtitut = une chaîne de caractère
 </code>
-<code>
+>Pour REGEXP, on peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''.
-          inet adr:192.168.0.22  Bcast:192.168.0.255  Masque:255.255.255.0
-          inet adr:127.0.0.1  Masque:255.0.0.0
+====L'adressage ====
+===Préparation===
+<code user>
+echo "aaaa BBB cCcC # 12345" > ~/sed1.txt
 </code>
 <code user>
-/sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+sed -i 's+ +\n+g' ~/sed1.txt && cat sed1.txt
 </code>
 <code>
-.0.0.1
+aaaa
-.0.0.0
+BBB
-.168.0.21
+cCcC
-.168.0.255
+#
-.255.255.0
 </code>
-<note tip>
+=== Adressage avec numéro de lignes ===
-Attention de ne pas oublier ''-o'' pour afficher l'occurrence exacte d'un mot au lieu de la ligne entière où figure l'occurrence du mot !
-</note>
+  * Exemple avec la commande de suppression ''d''
 <code user>
-echo "bfer aaa jhgao aaaaaa haug aaaaaaaa" | grep -E "[[:blank:]][a]{3}[[:blank:]]"
+sed '3,4 d' ~/sed1.txt
 </code>
 <code>
-bfer aaa jhgao aaaaaa haug aaaaaaaa
+aaaa
+BBB
 </code>
+> pas d'option : rien n'est modifié
+>''d'' : commande de suppression
+>''3,4'' : ligne 3 et 4
+  * option ''-e'' et répétition le commande ''d'' :
 <code user>
-echo "bfer aaa jhgao aaaaaa haug aaaaaaaa" | grep -oE "[[:blank:]][a]{3}[[:blank:]]"
+sed -e '3d; 4d' ~/sed1.txt
 </code>
 <code>
- aaa
+aaaa
+BBB
 </code>
-=====Synthèse sed =====
+===Adressage avec délimiteurs "/ /" :===
-===Syntaxe===
+<code user>
-<code>
+sed '/^B/d' ~/sed1.txt
-sed [options] commande [fichier...]
 </code>
-ou
 <code>
-sed [options] -f script [fichier...]
+aaaa
+cCcC
+#
 </code>
-===Options===
+===Changer de sélecteur d'adressage ===
-^options ^significations ^
-| ''-e'' | enchaîner plusieurs commandes |
-| ''-r'' | utiliser les expressions régulières étendues dans un script |
-|''-n'' |mode silencieux : permet de ne rien modifier\\ associée au drapeau p (print) : affichage sur la sortie standard |
-|''-f'' |Les commandes sont lues à partir d'un fichier préalablement rédigé. |
-|''-i'' |Le fichier est édité sur place.|
-====Afficher ou modifier un fichier ====
->Dans les exemples qui suivent, ne considérons que la présence ou l'absence de l'option ''i''; le reste de la commande est expliqué par la suite.
-===sed permet d'afficher sur la sortie standard===
-  * Créer un fichier :
 <code user>
-echo "aaaa BBB cCcC # 12345" >> ~/sed1.txt
+echo "/coucou/titi" >> sed1.txt && cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+/coucou/titi
 </code>
-  * Afficher le contenu d'un fichier :
 <code user>
-sed '' sed1.txt
+sed 's/\/coucou\/titi/gaga/' sed1.txt
 </code>
 <code>
-aaaa BBB cCcC # 12345
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+gaga
 </code>
-===sed permet d'afficher sa modification (sans modifier le fichier)===
-  * remplacer les espaces par des retours à la ligne :
+> Qu'on peut remplacer par :
 <code user>
-sed 's+ +\n+g' ~/sed1.txt
+ sed 's_/coucou/titi_gaga_' sed1.txt
 </code>
 <code>
@@ Ligne 112: / Ligne 168: @@
 cCcC
 #
+BBB
+titi cCcC
+gaga
 </code>
+===Adressage d'une plage avec délimiteurs "/ /,/ /" :===
 <code user>
-sed '' sed1.txt
+sed '/^B/,/^1/d' ~/sed1.txt
 </code>
 <code>
-aaaa BBB cCcC # 12345
+aaaa
 </code>
-=== Option -i : modifier le fichier ===
-  * sauvegarder le fichier d'origine "sed1.txt" avec ''sed -i.bak'' :
+===Adressage mixte===
+''n'' et ''m'' sont des nombres entiers naturels
+  * sed 'n,ms/chaine 1/chaine 2/' fichier
+>On remplace chaine 1 par chaine 2 de la ligne n à la ligne m.
+  * sed '/chaine 1/s/chaine 2/chaine 3/' fichier
+>On remplace chaine 2 par chaine 3 pour la ou les ligne(s) adressées par chaine 1.
 <code user>
-sed -i.bak 's/sed1.txt//' ~/sed1.txt
+cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
 </code>
->sed n'a pas afficher sur la sortie standard le contenu du fichier de sauvegarde.
 <code user>
-cat sed1.txt.bak
+sed '2,6s/BBB/GAGA/' sed1.txt
+</code>
+ou
+<code user>
+sed -r '2,6s/B{3}/GAGA/' sed1.txt
 </code>
 <code>
-aaaa BBB cCcC # 12345
+aaaa
+GAGA
+cCcC
+#
+
+GAGA
+titi cCcC
 </code>
-  * modifier un fichier avec ''sed -i'' :
 <code user>
-sed -i 's+ +\n+g' ~/sed1.txt
+sed '/BBB/s/BBB/GAGA/' sed1.txt
 </code>
+ou
 <code user>
-cat sed1.txt
+sed -r '/B{3}/s/BBB/GAGA/' sed1.txt
 </code>
 <code>
 aaaa
-BBB
+GAGA
 cCcC
 #
+GAGA
+titi cCcC
 </code>
-=== Plusieurs options à la suite===
->Les options doivent se suivre dans un ordre précis
-  * ajouter des sauts de ligne : ''sed -i -e 's/$/\\n/' ~/sed1.txt''
+====GO ! Sed et les regexp simples ====
-  * supprimer les lignes vides : ''sed -i -e '/^$/d' ~/sed1.txt''
+=== le point (.)===
+<code user>
+cat sed1.txt
+aaaa
+BBB
+cCcC
+#
+
+BBB
+titi cCcC
+</code>
+<code user>
+sed 's/./GAGA/' sed1.txt
+GAGAaaa
+GAGABB
+GAGACcC
+GAGA
+GAGA2345
+GAGABB
+GAGAiti cCcC
+</code>
-====Adressage====
 <code user>
-s/motif/substitut/
+sed 's/. /GAGA/' sed1.txt
-	-> si motif = une regex
+aaaa
-	-> alors subtitut = une chaîne de caractère
+BBB
+cCcC
+#
+
+BBB
+titGAGAcCcC
+</code>
+Ou
+<code user>
+sed '/./s/#/GAGA/' sed1.txt
+aaaa
+BBB
+cCcC
+GAGA
+
+BBB
+titi cCcC
 </code>
->On peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''.
-<code text info sed>
+=== le caractère ^ ===
-`-r'
-`--regexp-extended'
-     Use extended regular expressions rather than basic regular
-     expressions.  Extended regexps are those that `egrep' accepts;
-     they can be clearer because they usually have less backslashes,
-     but are a GNU extension and hence scripts that use them are not
-     portable.  *Note Extended regular expressions: Extended regexps.
-</code>
-<note>
-Sed utilise une version particulière des expressions régulières.
-  * Sans l'option ''-r'' :
-Sed couvre des expressions régulières de base (POSIX). Il s'agit des caractères de bases qui sont communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
-''*'', '','', ''^'',  ''$'', ''[ ]'', ''[^ ]'', ''\( \)'', ''\n'', ''\{n\}'', ''\{n,m\}'', ''\{n,\}''.
-  * avec ''-r'' :
-Il s'y ajoute les caractères POSIX étendus :\\
-''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }'' ; ''\'' ; ''[:alpha:]'', ''[:blank:]'', ''[:cntrl:]'', ''[:digit:]'', ''[:graph:]'', ''[:lower:]'', ''[:print:]'', ''[:punct:]'', ''[:space:]'', ''[:upper:]'', ''[:xdigit:]''\\
-Pour résumer, tous les caractères de ce tableau fonctionnent avec ''sed -r'' : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues]]
-Il s'y ajoute enfin quelques un caractères que l'on retrouve sous Perl :\\
-''\b'', ''\B'', ''\w'', ''\W'', ''\s'', ''\S'', ''\`'', ''\''', ''\<'', ''\>''
-Ainsi que :
- ''\a'' (caractère alerte), ''\f'' (saut), ''\n'' (saut de ligne), ''\r'' (retour chariot), ''\''t (tabulation horizontale), ''\v'' (tabulation verticale), ''\cx'' (Control-x ), ''\dxxx'' (caractère en valeur ascii décimal), ''\OXXX'' (caractère par valeur aSCII octal), ''\xhh'' (caractère par valeur aSCII hexadécimal).
-</note>
-=== Syntaxe d'adressage avec exemple la commande de suppression ===
-  * ''d'' commande de suppression
 <code user>
-sed '3,4 d' ~/sed1.txt
+sed '/^#/ d' ~/sed1.txt
 </code>
 <code>
 aaaa
 BBB
+cCcC
+BBB
+titi cCcC
 </code>
-> pas d'option : rien n'est modifié
->''d'' : commande de suppression
->''3,4'' : ligne 3 et 4
-  * option ''-e'' et répétition le commande ''d'' :
 <code user>
-sed -e '3d; 4d' ~/sed1.txt
+sed '/^#/ !d' ~/sed1.txt
 </code>
 <code>
+#
+</code>
+===le caractère ($)===
+<code user>
+sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
 aaaa
 BBB
+GAGAGAGA
+#
+BBB
+titi GAGAGAGA
 </code>
-  * adressage ''/ /'' :
+=== Point, étoile, crochets===
 <code user>
-sed '/^B/d' ~/sed1.txt
+ sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt
 </code>
 <code>
 aaaa
-cCcC
+BBB
+GAGAGAGA
 #
+BBB
+titi GAGAGAGA
 </code>
-  * adressage d'une plage ''/ /,/ /'' :
 <code user>
-sed '/^B/,/^1/d' ~/sed1.txt
+sed '/[C]$/s/[Cc].*/GAGA/g' sed1.txt
 </code>
 <code>
 aaaa
+BBB
+GAGA
+#
+BBB
+titi GAGA
 </code>
-====La substitution ====
-===Syntaxe===
+<code user>
-<code>
+sed '/[1-5]/ d' ~/sed1.txt
-s/modèle/remplacement/[drapeau] fichier
 </code>
-ou
 <code>
-cmd | s/modèle/remplacement/[drapeau]
+aaaa
+BBB
+cCcC
+#
+BBB
+titi cCcC
 </code>
-===Les drapeaux===
-^  ^  ^
-|g | global : toutes les occurrences |
-|1, 2, etc. | un nombre : la nième occurrence |
-|w | écrire les modifications effectuées dans un fichier |
-|p | afficher la ligne modifiée |
-|e | exécution d'une commande |
-===Sans drapeau : première occurrence de chaque ligne===
 <code user>
-sed 's/C/c/' ~/sed1.txt
+sed 's/[1-5]/gaga/g' sed1.txt
 </code>
 <code>
 aaaa
 BBB
-cccC
+cCcC
 #
+gagagagagagagagagaga
+BBB
+titi cCcC
 </code>
-===Drapeau nombre ===
 <code user>
-sed 's/C/c/2' ~/sed1.txt
+sed '/[1-5]/s/[1-5]*/gaga/g' sed1.txt
 </code>
 <code>
 aaaa
 BBB
-cCcc
+cCcC
 #
+gaga
+BBB
+titi cCcC
 </code>
-=== Drapeau w===
+===Le caractère & ===
 <code user>
-sed "s/12345/6789/w sed1-modif" ~/sed1.txt
+sed 's/[0-9][0-9]*$/[&]/' sed1.txt
+</code>
+<code>
+aaaa
+BBB
+cCcC
+#
+[12345]
+BBB
+titi cCcC
 </code>
 <code user>
-cat ~/sed1.txt
+sed 's/[0-9][0-9]*$/(&)/' sed1.txt
 </code>
 <code>
+aaaa
+BBB
+cCcC
+#
+(12345)
+BBB
+titi cCcC
 </code>
-===Deux drapeaux===
+===Attention : les classes fonctionnent avec les doubles crochets===
 <code user>
-sed 's/C/c/gw modif-sed1.txt' ~/sed1.txt
+sed 's/[[:digit:]]/gaga/g' sed1.txt
 </code>
+<code>
-<code user>
 aaaa
 BBB
-cccc
+cCcC
 #
+gagagagagagagagagaga
+BBB
+titi cCcC
 </code>
+<code user>
+sed 's/[[:alpha:]]*/gaga/g' sed1.txt
+</code>
 <code>
-cccc
+gaga
+gaga
+gaga
+gaga#gaga
+gaga1gaga2gaga3gaga4gaga5gaga
+gaga
+gaga gaga
+gaga/gaga/gaga
 </code>
-===Drapeau p===
+=====Sed regexp étendues =====
->Avec l'option ''-n'' pour éviter les doublons, on utilise le drapeau p ;
+=== le "ou" (|)===
->En effet, on a vu que pour chaque modification, tout le texte est affiché.
-> drapeau p : il affiche le texte modifié, puis il applique le drapeau, donc affiche ce qui les lignes modifiées.
->Grâce ''-n'', on n'affiche pas ce qui est modifié.
->''-n'' + drapeau p : on affiche que ce qui a été modifié
 <code user>
-sed -n 's/12345/6789/p' ~/sed1.txt
+sed -r 's/a|c/gaga/g' sed1.txt
 </code>
 <code>
+gagagagagagagaga
+BBB
+gagaCgagaC
+#
+
+BBB
+titi gagaCgagaC
 </code>
+===Parenthèses===
-===Drapeau e===
->Utilisation de la sortie d'une commande comme chaîne de remplacement.
 <code user>
-sed 's/^#/date/e' ~/sed1.txt
+sed -r 's/(a|B).*/gaga/g' sed1.txt
 </code>
+<code>
-<code user>
+gaga
-cat ~/sed1.txt
+gaga
+cCcC
+#
+
+gaga
+titi cCcC
+hypathie@debian:~$
+</code>
+===Les accolades ===
+<code>
+sed 's/a{1,4}/gaga/g' sed1.txt
 </code>
 <code>
 aaaa
 BBB
 cCcC
-mardi 15 juillet 2014, 11:48:27 (UTC+0200)
+#
+BBB
+titi cCcC
 </code>
-==== sed et variables ====
 <code user>
-VAR="coucou"
+sed -r 's/(a|B).*/gaga/g' sed1.txt
 </code>
-<code user>
-export VAR
-</code>
-<code user>
-sed 's/^#/echo '$VAR'/e' ~/sed1.txt
-</code>
 <code>
-aaaa
+gaga
-BBB
+gaga
 cCcC
-coucou
+#
+gaga
+titi cCcC
 </code>
-====Quelques autres commandes de sed====
-^  ^                       ^
-|d |supprimer  |
-|q |quitter |
-|p | afficher avec ''-n'' |
-|i\texte |insérer du texte|
-|a\texte |ajouter du texte |
-|c\texte |remplacer du texte |
-| = | afficher |
-=====Associer sed et les autres commandes =====

Debian-facile

Différences

Pied de page des forums