L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:accueil [18/07/2014 11:03]
Hypathie [Synthèse grep]
+++ utilisateurs:hypathie:tutos:accueil [21/07/2014 13:09]
Hypathie [L'adressage]
@@ Ligne 1: / Ligne 1: @@
-====== Utiliser conjointement cut ; wc ; grep ; sed ======
+====== Sed et les expressions rationnelles ======
-  * Objet : Petite synthèse cut;grep;sed
+**Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.**
-  * Niveau requis : FIXME {{tag>débutant avisé}}
-  * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME
-  * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-)
-===== Synthèse sur cut =====
+  * Niveau requis : {{tag>avisé}}
-Soit les trois dernières lignes du fichier /etc/passwd :
+  * Commentaires : //Tuto en cours de rédaction //
-<code user>
-cat /etc/passwd
-</code>
-<code>
-Debian-gdm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
-libvirt-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
-</code>
-  * Un __champ__ est une chaîne de caractères\\ Par exemple, la dernière ligne ci-dessus est composée de sept champs; ''libvirt-qemu'' ; ''x'' ; ''113'', etc.
-  * Un __délimiteur__ est ce qui sépare chaque champ\\ ci-dessus c'est '':''.
-==== Introduction ====
-La commande cut permet d'afficher des zones spécifiques d'un fichier.
-<code>
-cut [options] [fichier...]
-</code>
-====option -c====
-Sélection par caractère.
-===Exemples===
-> Le premier caractère des trois dernières lignes
-<code user>
-cut -c 1 /etc/passwd
-</code>
-<code>
-D
-h
-l
-</code>
->Du premier au neuvième caractère
-<code user>
-cut -c -9 /etc/passwd
-</code>
-<code>
-Debian-gd
-hypathie:
-libvirt-q
-</code>
->Du neuvième au dernier caractère
+=====Sed et les regexp simples =====
+====Explications====
+===le caractère ^ ===
+Le caractère ''^'' n'est spécial qu'en début d'E.R. ou immédiatement à gauche dans une chaîne encadrée par des '[]' (voir : "les crochets").
+  * Exemple 1 : supprimer la ligne comprenant le caractère "#", du fichier :
 <code user>
-cut -c 9- /etc/passwd
+cat >> ~/sed.txt <<EOF
-</code>
+> abc
-<code>
+> #ABC
-dm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false
+> EOF
-:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false
 </code>
-> Du onzième au vingt-et-unième caractère
 <code user>
-cut -c 11-21 /etc/passwd
+sed '/^#/ d' sed.txt
 </code>
 <code>
-:x:112:120:
+abc
-:1000:1000:
-mu:x:113:12
 </code>
+  * Exemple 2 : supprimer le caractère # seulement du fichier sed.txt
 <code user>
-cut -c 1-9,11-21 /etc/passwd
+sed -e '/^#/s/#ABC/ABC/' sed.txt
-</code>
+</code
 <code>
-saned:x:11:119::/hom
+abc
-Debian-gd:x:112:120:
+ABC
-hypathie::1000:1000:
-libvirt-qmu:x:113:12
 </code>
-===À savoir ===
-^Découpages par caractère  ^ significations       ^
-|cut -c ''-n''             |du caractère 1 à n    |
-|cut -c ''n-''             |de n jusqu'à la fin   |
-|cut -c ''n-m''            |de n à m              |
-|cut -c ''n-m,i-j''        | de n à m et de i à j |
-====Options -d et -f====
+  * Exemple 3 : ne pas supprimer le ligne qui commence par #
-Découpage par champ (ou colonne), en fonction du délimiteur ''-d''
-Et liste des champs ""-f"".
-<note tip>
-À savoir.\\
-Par défaut, le délimiteur est la tabulation.\\
-Si dans le fichier à traiter le séparateur est la tabulation, on n'a pas à indiquer l'option ''-d'', mais si le séparateur est un autre caractère, il faut l'indiquer
-</note>
-===Exemples===
->Coupe en fonction du délimiteur '' -d':' '' et du premier champ ''-f 1''
 <code user>
-cut -d':' -f 1 /etc/passwd
+sed '/^#/ !d' ~/sed.txt
 </code>
 <code>
-Debian-gdm
+#
-hypathie
-libvirt-qemu
 </code>
+===Le caractère $ ===
+Le caractère ''$'' représente la fin de la ligne.
+//(Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.)//
->Coupe en fonction du délimiteur '' -d':' '' et des champs 1 ; 3 et 4 ''-f 1,3,4''.
+  * Exemple : supprimer la ligne finissant par "C"
 <code user>
-cut -d':' -f 1,3,4 /etc/passwd
+sed -e 's/.*C$//' -e '/^$/ d' sed.txt
 </code>
 <code>
-Debian-gdm:112:120
+abc
-hypathie:1000:1000
-libvirt-qemu:113:122
 </code>
-===À savoir===
+=== le point (.)===
-^                            ^                                 ^
+ Un point ''.'' est une E.R. d'un seul caractère qui correspond à n'importe quel caractère sauf le saut de ligne.
-|cut -d'délimiteur' -f n     | délimiteur et n° champ délimité |
-|cut -d'délimiteur' f n,m,...| délimiteur et plusieurs champs  |
-==== wc ====
+  * Exemple 1 :
-Afficher soit le nombre de mots, soit le nombre de ligne, soit le nombre d'octets
-<code>
-wc [options] [fichier...]
-</code>
-=== Option -l : Afficher les lignes ===
->Le nombre d'utilisateur du système ?
 <code user>
-wc -l /etc/passwd
+echo "a B 2 ! * & : ?" | sed 's/./Gaga/g'
 </code>
 <code>
-/etc/passwd
+GagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGaga
 </code>
+  * Exemple 2, point<espace> :
-===Option -w : le nombre de mots===
 <code user>
-echo "Coucou à tous">> essai-wc
+echo "C " | sed 's/. /Coucou/'
-</code>
-<code user>
-wc -w essai-wc
 </code>
 <code>
-essai-wc
+Coucou
 </code>
-=== Options -c : nombre d'octet(s)===
+===L'étoile (*)===
-<code user>
+Une E.R. d'un seul caractère suivie d'un ''*'' est une E.R. qui recherche zéro occurrence ou plusieurs de ce caractère.\\
-wc -c essai-wc
+''c*123'' -> ''123'' ou ''c123'' ou ''cc123'' ou ''ccc123'', etc.
-</code>
+<note important>
-<code>
+  * S'il y a plusieurs choix, alors la chaîne de gauche la plus longue est choisie.
-essai-wc
+  * La E.R ''.*'' représente zéro ou plusieurs occurrences de n'importe quel caractère.
-</code>
+</note>
-=====Synthèse  grep =====
+===Les crochets===
-<code>
+La chaîne non-vide encadrée par ''[ ]'' est considérée comme une ''E.R.'' d'un seul caractère pouvant avoir n'importe quelle valeur définie entre ces ''[]''.\\
-grep [options] regexp [fichier...]
-</code>
-Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]]
+À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.\\
+//( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''['' )//
-^       ^                                                ^
+Une combinaison de plusieurs E.R. d'un seul caractère est une E.R. qui correspond à l'ensemble de ce que chaque E.R. désigne.\\ Par exemple ''a[bB]'' recherche ''ab'' ou ''aB''.
-|''-c'' |afficher le décompte des lignes correspondantes |
-|''-i'' | ignorer la case  |
-|''-E'' |utiliser les regexp étendues\\ (correspond à egrep)  |
-|''-o'' |afficher uniquement les parties (non vides) correspondantes des lignes sélectionnées, chaque partie étant affichée sur une ligne séparée.|
+<note>
+Les caractères  ''.'' , ''*'' , ''['' et ''\'' sont toujours spéciaux sauf s'ils sont encadrés entre ''[]''.
-> Deux utilisations:\\
+  * ''[A-Za-z-]'' -> Tout caractère alpha ou le ''-''.
->Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier)
+  * ''[]a-z]'' -> Tout caractère alpha ou le '']''.
->Soit ''grep [options] cmd | regexp'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\
+</note>
-===Sur un fichier===
+===Le caractère & ===
-<code user>
-grep -E "(:[0-9]{4}:){1}" /etc/passwd
-</code>
-<code>
-hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash
-</code>
-===Filtre un flux d'entrée ===
 <code user>
-/sbin/ifconfig | grep -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+sed 's/[0-9][0-9]*$/[&]/' sed1.txt
 </code>
 <code>
-          inet adr:192.168.0.22  Bcast:192.168.0.255  Masque:255.255.255.0
+aaaa
-          inet adr:127.0.0.1  Masque:255.0.0.0
+BBB
+cCcC
+#
+[12345]
+BBB
+titi cCcC
 </code>
 <code user>
-/sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
+sed 's/[0-9][0-9]*$/(&)/' sed1.txt
 </code>
 <code>
-.0.0.1
+aaaa
-.0.0.0
+BBB
-.168.0.21
+cCcC
-.168.0.255
+#
-.255.255.0
+(12345)
+BBB
+titi cCcC
 </code>
-<note tip>
-Attention de ne pas oublier ''-o'' pour afficher l'occurrence exacte d'un mot au lieu de la ligne entière où figure l'occurrence du mot !
-</note>
+=====Sed -r : les caractères étendues =====
+Rappel :
+ ''+'' ; ''?'' ; ''|'' ; ''(   )'' ; ''['' ; ''{   }''
+=== le caractère (+)===
+  * substituer une ou plusieurs fois "z" par OK
 <code user>
-echo "bfer aaa jhgao aaaaaa haug aaaaaaaa" | grep -E "[[:blank:]][a]{3}[[:blank:]]"
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
-</code>
+abc OK OK OK OK
-<code>
-bfer aaa jhgao aaaaaa haug aaaaaaaa
 </code>
+=== Le caractère ( ? )===
+  * substituer zéro ou une fois "z" par OK
 <code user>
-echo "bfer aaa jhgao aaaaaa haug aaaaaaaa" | grep -oE "[[:blank:]][a]{3}[[:blank:]]"
+echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
-</code>
+OK OK azzbc azzzbc azzzzbc
-<code>
- aaa
-</code>
-=====Synthèse sed =====
-===Syntaxe===
-<code>
-sed [options] commande [fichier...]
-</code>
-ou
-<code>
-sed [options] -f script [fichier...]
 </code>
-===Options===
+=== Le ou ( | )===
-^options ^significations ^
-| ''-e'' | enchaîner plusieurs commandes |
+  * substituer  ab ou cd par OK
-| ''-r'' | utiliser les expressions régulières étendues dans un script |
-|''-n'' |mode silencieux : permet de ne rien modifier\\ associée au drapeau p (print) : affichage sur la sortie standard |
-|''-f'' |Les commandes sont lues à partir d'un fichier préalablement rédigé. |
-|''-i'' |Le fichier est édité sur place.|
-====Afficher ou modifier un fichier ====
->Dans les exemples qui suivent, ne considérons que la présence ou l'absence de l'option ''i''; le reste de la commande est expliqué par la suite.
-===sed permet d'afficher sur la sortie standard===
-  * Créer un fichier :
 <code user>
-echo "aaaa BBB cCcC # 12345" >> ~/sed1.txt
+echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
+OKef OKef efgh OKOK
 </code>
-  * Afficher le contenu d'un fichier :
+  * substituer ab ou cd par OK et effacer le reste
 <code user>
-sed '' sed1.txt
+echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
+ 's/^.*[ab|cd]*/OK/g'
+OK
 </code>
-<code>
-aaaa BBB cCcC # 12345
+===Les parenthèses ===
-</code>
-===sed permet d'afficher sa modification (sans modifier le fichier)===
-  * remplacer les espaces par des retours à la ligne :
 <code user>
-sed 's+ +\n+g' ~/sed1.txt
+echo "a b c d e f" | sed -r 's/(b|e)/X/g'
 </code>
 <code>
-aaaa
+a X c d X f
-BBB
-cCcC
-#
 </code>
-<code user>
+===Parenthèses et inversion de champs===
-sed '' sed1.txt
+Avec la commande ''s'' (substitution), on peut de définir plusieurs E.R mises entre parenthèses.\\
-</code>
+Cela permet de faire une inversion en se servant du séparateur de chaque champ à matcher.\\
-<code>
-aaaa BBB cCcC # 12345
-</code>
-=== Option -i : modifier le fichier ===
-  * sauvegarder le fichier d'origine "sed1.txt" avec ''sed -i.bak'' :
+  * Exemple :
 <code user>
-sed -i.bak 's/sed1.txt//' ~/sed1.txt
+echo "coucou:toto" | sed -r 's/^(.*):(.*)/\2:\1/'
-</code>
->sed n'a pas afficher sur la sortie standard le contenu du fichier de sauvegarde.
-<code user>
-cat sed1.txt.bak
 </code>
 <code>
-aaaa BBB cCcC # 12345
+toto:coucou
 </code>
-  * modifier un fichier avec ''sed -i'' :
-<code user>
-sed -i 's+ +\n+g' ~/sed1.txt
-</code>
-<code user>
-cat sed1.txt
-</code>
-<code>
-aaaa
-BBB
-cCcC
-#
-</code>
-=== Plusieurs options à la suite===
->Les options doivent se suivre dans un ordre précis
-  * ajouter des sauts de ligne : ''sed -i -e 's/$/\\n/' ~/sed1.txt''
+<note tip>
-  * supprimer les lignes vides : ''sed -i -e '/^$/d' ~/sed1.txt''
+/^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères
+</note>
-====Adressage====
+===Les accolades { et } ===
+Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\
+'m' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256.
+   * substituer seulement "aaa, aaaa et aaaaa" par OK
 <code user>
-s/motif/substitut/
+echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
-	-> si motif = une regex
+ 's/a{3,5}/OK/g'
-	-> alors subtitut = une chaîne de caractère
+a aa OK OK OKa OKOK OKaa
 </code>
->On peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''.
-<code text man sed>
-  -r, --regexp-extended
-              use extended regular expressions in the script.
+  * substituer trois "a" et plus par OK
- //[...]//
-REGULAR EXPRESSIONS
-       POSIX.2 BREs should be supported, but they aren't completely because of
-       performance problems.  The \n sequence in a regular expression  matches
-       the newline character, and similarly for \a, \t, and other sequences.
-</code>
-<code text info sed>
-`-r'
-`--regexp-extended'
-     Use extended regular expressions rather than basic regular
-     expressions.  Extended regexps are those that `egrep' accepts;
-     they can be clearer because they usually have less backslashes,
-     but are a GNU extension and hence scripts that use them are not
-     portable.  *Note Extended regular expressions: Extended regexps.
-</code>
-<note>
-  * sans ''-r'' :
-//ER// simples :  ''^'' ;  ''$'' ;  ''.'' ;  ''*'' ; ''\(   \)'' ; ''['' ; ''\{   \}'' ; ''\''
-  * avec ''-r'' :
-//ER// étendues : ''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''(   )'' ; ''['' ; ''{   }'' ; ''\'' ; ''[bracket-expression]''
-</note>
-=== Syntaxe d'adressage avec exemple la commande de suppression ===
-  * ''d'' commande de suppression
 <code user>
-sed '3,4 d' ~/sed1.txt
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
-</code>
+a aa OK OK OK OK
-<code>
-aaaa
-BBB
 </code>
-> pas d'option : rien n'est modifié
->''d'' : commande de suppression
->''3,4'' : ligne 3 et 4
-  * option ''-e'' et répétition le commande ''d'' :
+===Traitement des mots ===
+  * le caractère ''\<''
+Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée.
 <code user>
-sed -e '3d; 4d' ~/sed1.txt
+echo "info pour tous informatique" | sed -r 's/\<info/OK/g'
 </code>
 <code>
-aaaa
+OK pour tous OKrmatique
-BBB
 </code>
-  * adressage ''/ /'' :
+  * le caractère  ''\>''
+Le caractère  ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée.
 <code user>
-sed '/^B/d' ~/sed1.txt
+echo "métrique cosmétique" | sed -r 's/métique\>/OK/g'
 </code>
 <code>
-aaaa
+métrique cosOK
-cCcC
-#
-</code>
-  * adressage d'une plage ''/ /,/ /'' :
-<code user>
-sed '/^B/,/^1/d' ~/sed1.txt
-</code>
-<code>
-aaaa
-</code>
-====La substitution ====
-===Syntaxe===
-<code>
-s/modèle/remplacement/[drapeau] fichier
-</code>
-ou
-<code>
-cmd | s/modèle/remplacement/[drapeau]
-</code>
-===Les drapeaux===
-^  ^  ^
-|g | global : toutes les occurrences |
-|1, 2, etc. | un nombre : la nième occurrence |
-|w | écrire les modifications effectuées dans un fichier |
-|p | afficher la ligne modifiée |
-|e | exécution d'une commande |
-===Sans drapeau : première occurrence de chaque ligne===
-<code user>
-sed 's/C/c/' ~/sed1.txt
-</code>
-<code>
-aaaa
-BBB
-cccC
-#
 </code>
-===Drapeau nombre ===
+====Les sous-chaînes : associer ( ), [ ], { }====
+  * substituer "Hello" par OK
 <code user>
-sed 's/C/c/2' ~/sed1.txt
+echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'
 </code>
 <code>
-aaaa
+coucou OK Yep
-BBB
-cCcc
-#
-</code>
-=== Drapeau w===
-<code user>
-sed "s/12345/6789/w sed1-modif" ~/sed1.txt
-</code>
-<code user>
-cat ~/sed1.txt
-</code>
-<code>
 </code>
-===Deux drapeaux===
+  * substituer "ABC-123 abc-123" par OK
 <code user>
-sed 's/C/c/gw modif-sed1.txt' ~/sed1.txt
+echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\
+ [[a-z]{3}-[[:digit:]]{3}/OK/'
+OK
 </code>
-<code user>
+<note tip>
-aaaa
+SHELL : ''\''\\
-BBB
-cccc
+-> Les longues commandes peuvent être sectionnées avec :\\
-#
+  \<retour à la ligne>[<espace>]
-</code>
+</note>
+  * substituer "ab efab ef" par OK
-<code>
-cccc
-</code>
-===Drapeau p===
->Avec l'option ''-n'' pour éviter les doublons, on utilise le drapeau p ;
->En effet, on a vu que pour chaque modification, tout le texte est affiché.
-> drapeau p : il affiche le texte modifié, puis il applique le drapeau, donc affiche ce qui les lignes modifiées.
->Grâce ''-n'', on n'affiche pas ce qui est modifié.
->''-n'' + drapeau p : on affiche que ce qui a été modifié
 <code user>
-sed -n 's/12345/6789/p' ~/sed1.txt
+echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/'
-</code>
+OK123
-<code>
 </code>
-===Drapeau e===
+  * substituer "123ab efab ef123" par trois "OK"
->Utilisation de la sortie d'une commande comme chaîne de remplacement.
 <code user>
-sed 's/^#/date/e' ~/sed1.txt
+echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\
+ -e 's/[[:digit:]]{3}/OK/g'
+OKOKOK
 </code>
+  * substituer jusqu'à trois "a" par OK
+<note tip>
+Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" !
 <code user>
-cat ~/sed1.txt
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g'
-</code>
+OK OK OK OKOK OKOK OKOKOK
-<code>
-aaaa
-BBB
-cCcC
-mardi 15 juillet 2014, 11:48:27 (UTC+0200)
-</code>
-==== sed et variables ====
-<code user>
-VAR="coucou"
 </code>
 <code user>
-export VAR
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
+ 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g'
+OKOKaOKaaOKaaaaOKaaaaaaaa
 </code>
+</note>
 <code user>
-sed 's/^#/echo '$VAR'/e' ~/sed1.txt
+echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
-</code>
+ -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/'
+OKOKaaa aaaa aaaaaa aaaaaaaa
-<code>
-aaaa
-BBB
-cCcC
-coucou
 </code>
-====Quelques autres commandes de sed====
-^  ^                       ^
-|d |supprimer  |
-|q |quitter |
-|p | afficher avec ''-n'' |
-|i\texte |insérer du texte|
-|a\texte |ajouter du texte |
-|c\texte |remplacer du texte |
-| = | afficher |
-=====Associer sed et les autres commandes =====

Debian-facile

Différences

Pied de page des forums