Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
utilisateurs:hypathie:tutos:accueil [19/07/2014 15:36] Hypathie [Sed regexp étendues] |
utilisateurs:hypathie:tutos:accueil [21/07/2014 13:09] Hypathie [Sed et les regexp simples] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
====== Sed et les expressions rationnelles ====== | ====== Sed et les expressions rationnelles ====== | ||
- | * Objet : sed | + | **Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.** |
- | * Niveau requis : FIXME {{tag>avisé}} | + | |
- | * Commentaires : //Tuto en cours de rédaction // FIXME | + | |
- | * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-) | + | |
- | =====Contexte d'utilisation des ER ===== | + | * Niveau requis : {{tag>avisé}} |
- | Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte.\\ | + | * Commentaires : //Tuto en cours de rédaction // |
- | Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien.\\ | + | |
- | <code text info sed> | ||
- | `-r' | ||
- | `--regexp-extended' | ||
- | Use extended regular expressions rather than basic regular | ||
- | expressions. Extended regexps are those that `egrep' accepts; | ||
- | they can be clearer because they usually have less backslashes, | ||
- | but are a GNU extension and hence scripts that use them are not | ||
- | portable. *Note Extended regular expressions: Extended regexps. | ||
- | </code> | ||
- | <note> | ||
- | Sed utilise une version particulière des expressions régulières. | ||
- | * Sans l'option ''-r'' : | ||
- | -> Sed couvre des expressions régulières de base (POSIX). Il s'agit des caractères de bases qui sont communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel : | ||
- | ''*'', ''^'', ''$'', ''[ ]''\\ | ||
- | -> Les classes : | ||
- | ^ ^ ^ | ||
- | |''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]| | ||
- | |''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] | | ||
- | |''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations | | ||
- | |''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle | | ||
- | |''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] | | ||
- | |''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)| | ||
- | |''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] | | ||
- | |''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)| | ||
- | |''<nowiki> | ||
- | [[:punct:]] </nowiki>'' | Les caractères de ponctuation | | ||
- | |''<nowiki>[[:space:]]</nowiki>'' | Les espaces | | ||
- | |''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] | | ||
- | |''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] | | ||
- | -> Il s'y ajoute ''&'' : La chaîne à remplacer dans la chaîne de remplacement. | + | =====Sed -r : les caractères étendues ===== |
+ | Rappel : | ||
- | * avec ''-r'' : | + | ''+'' ; ''?'' ; ''|'' ; ''( )'' ; ''['' ; ''{ }'' |
- | -> On peut utiliser les caractères POSIX étendus :\\ | + | === le caractère (+)=== |
- | ''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''( )'' ; ''['' ; ''{ }''\\ | + | |
- | -> Il s'y ajoute enfin quelques un caractères que l'on retrouve sous Perl :\\ | + | * substituer une ou plusieurs fois "z" par OK |
- | ''\b'', ''\B'', ''\w'', ''\W'', ''\s'', ''\S'', ''\`'', ''\''', ''\<'', ''\>'' | + | |
- | -> Ainsi que : | ||
- | ''\a'' (caractère alerte), ''\f'' (saut), ''\n'' (saut de ligne), ''\r'' (retour chariot), ''\''t (tabulation horizontale), ''\v'' (tabulation verticale), ''\cx'' (Control-x ), ''\dxxx'' (caractère en valeur ascii décimal), ''\OXXX'' (caractère par valeur aSCII octal), ''\xhh'' (caractère par valeur aSCII hexadécimal). | ||
- | </note> | ||
- | |||
- | Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage. | ||
- | ====La substitution ==== | ||
- | ===Syntaxes de substitution=== | ||
- | <code> | ||
- | s/modèle/remplacement/[drapeau] fichier | ||
- | </code> | ||
- | ou | ||
- | <code> | ||
- | cmd | s/modèle/remplacement/[drapeau] | ||
- | </code> | ||
- | >Voir : [[doc:systeme:sed#la-fonction-de-substitution-s]] | ||
- | |||
- | === détail === | ||
<code user> | <code user> | ||
- | s/motif/substitut/ | + | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g' |
- | -> si motif = une regexp | + | abc OK OK OK OK |
- | -> alors subtitut = une chaîne de caractère | + | |
</code> | </code> | ||
- | >Pour REGEXP, on peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''. | ||
- | ====L'adressage ==== | + | === Le caractère ( ? )=== |
- | ===Préparation=== | + | |
- | <code user> | + | * substituer zéro ou une fois "z" par OK |
- | echo "aaaa BBB cCcC # 12345" > ~/sed1.txt | + | |
- | </code> | + | |
<code user> | <code user> | ||
- | sed -i 's+ +\n+g' ~/sed1.txt && cat sed1.txt | + | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g' |
- | </code> | + | OK OK azzbc azzzbc azzzzbc |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
</code> | </code> | ||
- | === Adressage avec numéro de lignes === | + | === Le ou ( | )=== |
- | * Exemple avec la commande de suppression ''d'' | + | * substituer ab ou cd par OK |
<code user> | <code user> | ||
- | sed '3,4 d' ~/sed1.txt | + | echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g' |
+ | OKef OKef efgh OKOK | ||
</code> | </code> | ||
- | <code> | ||
- | aaaa | ||
- | BBB | ||
- | 12345 | ||
- | </code> | ||
- | > pas d'option : rien n'est modifié | ||
- | >''d'' : commande de suppression | ||
- | >''3,4'' : ligne 3 et 4 | ||
- | * option ''-e'' et répétition le commande ''d'' : | + | * substituer ab ou cd par OK et effacer le reste |
<code user> | <code user> | ||
- | sed -e '3d; 4d' ~/sed1.txt | + | echo "lflfabef cdef efgh ftyabcdopm" | sed -r\ |
- | </code> | + | 's/^.*[ab|cd]*/OK/g' |
- | <code> | + | OK |
- | aaaa | + | |
- | BBB | + | |
- | 12345 | + | |
- | </code> | + | |
- | ===Adressage avec délimiteurs "/ /" :=== | + | |
- | <code user> | + | |
- | sed '/^B/d' ~/sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
</code> | </code> | ||
- | ===Changer de sélecteur d'adressage === | + | ===Les parenthèses === |
- | <code user> | + | |
- | echo "/coucou/titi" >> sed1.txt && cat sed1.txt | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | /coucou/titi | + | |
- | </code> | + | |
<code user> | <code user> | ||
- | sed 's/\/coucou\/titi/gaga/' sed1.txt | + | echo "a b c d e f" | sed -r 's/(b|e)/X/g' |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | a X c d X f |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | gaga | + | |
</code> | </code> | ||
- | > Qu'on peut remplacer par : | + | ===Parenthèses et inversion de champs=== |
+ | Avec la commande ''s'' (substitution), on peut de définir plusieurs E.R mises entre parenthèses.\\ | ||
+ | Cela permet de faire une inversion en se servant du séparateur de chaque champ à matcher.\\ | ||
+ | * Exemple : | ||
<code user> | <code user> | ||
- | sed 's_/coucou/titi_gaga_' sed1.txt | + | echo "coucou:toto" | sed -r 's/^(.*):(.*)/\2:\1/' |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | toto:coucou |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | gaga | + | |
- | + | ||
- | </code> | + | |
- | ===Adressage d'une plage avec délimiteurs "/ /,/ /" :=== | + | |
- | <code user> | + | |
- | sed '/^B/,/^1/d' ~/sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
</code> | </code> | ||
- | ===Adressage mixte=== | + | <note tip> |
- | ''n'' et ''m'' sont des nombres entiers naturels | + | /^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères |
+ | </note> | ||
- | * sed 'n,ms/chaine 1/chaine 2/' fichier | + | ===Les accolades { et } === |
+ | Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\ | ||
+ | 'm' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256. | ||
- | >On remplace chaine 1 par chaine 2 de la ligne n à la ligne m. | + | * substituer seulement "aaa, aaaa et aaaaa" par OK |
- | + | <code user> | |
- | * sed '/chaine 1/s/chaine 2/chaine 3/' fichier | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\ |
+ | 's/a{3,5}/OK/g' | ||
+ | a aa OK OK OKa OKOK OKaa | ||
+ | </code> | ||
- | >On remplace chaine 2 par chaine 3 pour la ou les ligne(s) adressées par chaine 1. | + | * substituer trois "a" et plus par OK |
<code user> | <code user> | ||
- | cat sed1.txt | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g' |
- | aaaa | + | a aa OK OK OK OK |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
+ | ===Traitement des mots === | ||
+ | * le caractère ''\<'' | ||
+ | Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée. | ||
<code user> | <code user> | ||
- | sed '2,6s/BBB/GAGA/' sed1.txt | + | echo "info pour tous informatique" | sed -r 's/\<info/OK/g' |
- | </code> | + | |
- | ou | + | |
- | <code user> | + | |
- | sed -r '2,6s/B{3}/GAGA/' sed1.txt | + | |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | OK pour tous OKrmatique |
- | GAGA | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | GAGA | + | |
- | titi cCcC | + | |
</code> | </code> | ||
+ | * le caractère ''\>'' | ||
+ | Le caractère ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée. | ||
<code user> | <code user> | ||
- | sed '/BBB/s/BBB/GAGA/' sed1.txt | + | echo "métrique cosmétique" | sed -r 's/métique\>/OK/g' |
- | </code> | + | |
- | ou | + | |
- | <code user> | + | |
- | sed -r '/B{3}/s/BBB/GAGA/' sed1.txt | + | |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | métrique cosOK |
- | GAGA | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | GAGA | + | |
- | titi cCcC | + | |
</code> | </code> | ||
- | ====GO ! Sed et les regexp simples ==== | + | ====Les sous-chaînes : associer ( ), [ ], { }==== |
- | === le point (.)=== | + | * substituer "Hello" par OK |
<code user> | <code user> | ||
- | cat sed1.txt | + | echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g' |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
- | <code user> | + | <code> |
- | sed 's/./GAGA/' sed1.txt | + | coucou OK Yep |
- | GAGAaaa | + | |
- | GAGABB | + | |
- | GAGACcC | + | |
- | GAGA | + | |
- | GAGA2345 | + | |
- | GAGABB | + | |
- | GAGAiti cCcC | + | |
</code> | </code> | ||
- | <code user> | + | * substituer "ABC-123 abc-123" par OK |
- | sed 's/. /GAGA/' sed1.txt | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titGAGAcCcC | + | |
- | </code> | + | |
- | Ou | + | |
- | <code user> | + | |
- | sed '/./s/#/GAGA/' sed1.txt | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | GAGA | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | </code> | + | |
- | === le caractère ^ === | ||
<code user> | <code user> | ||
- | sed '/^#/ d' ~/sed1.txt | + | echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\ |
- | </code> | + | [[a-z]{3}-[[:digit:]]{3}/OK/' |
- | <code> | + | OK |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
- | <code user> | + | <note tip> |
- | sed '/^#/ !d' ~/sed1.txt | + | SHELL : ''\''\\ |
- | </code> | + | |
- | <code> | + | |
- | # | + | |
- | </code> | + | |
- | ===le caractère ($)=== | + | -> Les longues commandes peuvent être sectionnées avec :\\ |
- | <code user> | + | |
- | sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt | + | |
- | aaaa | + | |
- | BBB | + | |
- | GAGAGAGA | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi GAGAGAGA | + | |
- | </code> | + | |
- | === Point, étoile, crochets=== | + | \<retour à la ligne>[<espace>] |
- | <code user> | + | |
- | sed '/[C]$/s/[Cc]./GAGA/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | GAGAGAGA | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi GAGAGAGA | + | |
- | </code> | + | |
- | <code user> | + | |
- | sed '/[C]$/s/[Cc].*/GAGA/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | GAGA | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi GAGA | + | |
- | </code> | + | |
- | <code user> | + | </note> |
- | sed '/[1-5]/ d' ~/sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | </code> | + | |
- | <code user> | + | * substituer "ab efab ef" par OK |
- | sed 's/[1-5]/gaga/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | gagagagagagagagagaga | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | </code> | + | |
<code user> | <code user> | ||
- | sed '/[1-5]/s/[1-5]*/gaga/g' sed1.txt | + | echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/' |
- | </code> | + | 123OK123 |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | gaga | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
- | ===Le caractère & === | + | * substituer "123ab efab ef123" par trois "OK" |
<code user> | <code user> | ||
- | sed 's/[0-9][0-9]*$/[&]/' sed1.txt | + | echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\ |
- | </code> | + | -e 's/[[:digit:]]{3}/OK/g' |
- | <code> | + | OKOKOK |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | [12345] | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | </code> | + | |
- | <code user> | + | |
- | sed 's/[0-9][0-9]*$/(&)/' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | (12345) | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
- | ===Attention : les classes fonctionnent avec les doubles crochets=== | + | * substituer jusqu'à trois "a" par OK |
+ | <note tip> | ||
+ | Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" ! | ||
<code user> | <code user> | ||
- | sed 's/[[:digit:]]/gaga/g' sed1.txt | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g' |
- | </code> | + | OK OK OK OKOK OKOK OKOKOK |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | gagagagagagagagagaga | + | |
- | BBB | + | |
- | titi cCcC | + | |
</code> | </code> | ||
<code user> | <code user> | ||
- | sed 's/[[:alpha:]]*/gaga/g' sed1.txt | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ |
+ | 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g' | ||
+ | OKOKaOKaaOKaaaaOKaaaaaaaa | ||
</code> | </code> | ||
- | <code> | + | </note> |
- | gaga | + | |
- | gaga | + | |
- | gaga | + | |
- | gaga#gaga | + | |
- | gaga1gaga2gaga3gaga4gaga5gaga | + | |
- | gaga | + | |
- | gaga gaga | + | |
- | gaga/gaga/gaga | + | |
- | </code> | + | |
- | =====Sed regexp étendues ===== | + | |
- | === le "ou" (|)=== | + | |
<code user> | <code user> | ||
- | sed -r 's/a|c/gaga/g' sed1.txt | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ |
- | </code> | + | -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/' |
- | <code> | + | OKOKaaa aaaa aaaaaa aaaaaaaa |
- | gagagagagagagaga | + | |
- | BBB | + | |
- | gagaCgagaC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi gagaCgagaC | + | |
- | </code> | + | |
- | ===Parenthèses=== | + | |
- | <code user> | + | |
- | sed -r 's/(a|B).*/gaga/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | gaga | + | |
- | gaga | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | gaga | + | |
- | titi cCcC | + | |
- | hypathie@debian:~$ | + | |
- | </code> | + | |
- | ===Les accolades === | + | |
- | <code> | + | |
- | sed 's/a{1,4}/gaga/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | BBB | + | |
- | titi cCcC | + | |
- | </code> | + | |
- | <code user> | + | |
- | sed -r 's/(a|B).*/gaga/g' sed1.txt | + | |
- | </code> | + | |
- | <code> | + | |
- | gaga | + | |
- | gaga | + | |
- | cCcC | + | |
- | # | + | |
- | 12345 | + | |
- | gaga | + | |
- | titi cCcC | + | |
</code> | </code> | ||