Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
utilisateurs:hypathie:tutos:accueil [15/07/2014 07:15] Hypathie [Synthèse grep] |
utilisateurs:hypathie:tutos:accueil [21/07/2014 13:09] Hypathie [L'adressage] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | ====== Utiliser conjointement cut ; wc ; grep ; sed ====== | + | ====== Sed et les expressions rationnelles ====== |
- | * Objet : Petite synthèse cut;grep;sed | + | **Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.** |
- | * Niveau requis : FIXME {{tag>débutant avisé}} | + | |
- | * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME | + | |
- | * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-) | + | |
- | ===== Synthèse sur cut ===== | + | * Niveau requis : {{tag>avisé}} |
- | Soit les trois dernières lignes du fichier /etc/passwd : | + | * Commentaires : //Tuto en cours de rédaction // |
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | =====Sed et les regexp simples ===== | ||
+ | ====Explications==== | ||
+ | ===le caractère ^ === | ||
+ | Le caractère ''^'' n'est spécial qu'en début d'E.R. ou immédiatement à gauche dans une chaîne encadrée par des '[]' (voir : "les crochets"). | ||
+ | * Exemple 1 : supprimer la ligne comprenant le caractère "#", du fichier : | ||
<code user> | <code user> | ||
- | cat /etc/passwd | + | cat >> ~/sed.txt <<EOF |
+ | > abc | ||
+ | > #ABC | ||
+ | > EOF | ||
</code> | </code> | ||
- | <code> | ||
- | Debian-gdm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false | ||
- | hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | ||
- | libvirt-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false | ||
- | </code> | ||
- | * Un __champ__ est une chaîne de caractères\\ Par exemple, la dernière ligne ci-dessus est composée de sept champs; ''libvirt-qemu'' ; ''x'' ; ''113'', etc. | ||
- | * Un __délimiteur__ est ce qui sépare chaque champ\\ ci-dessus c'est '':''. | ||
- | |||
- | ==== Introduction ==== | ||
- | La commande cut permet d'afficher des zones spécifiques d'un fichier. | ||
+ | <code user> | ||
+ | sed '/^#/ d' sed.txt | ||
+ | </code> | ||
<code> | <code> | ||
- | cut [options] [fichier...] | + | abc |
</code> | </code> | ||
- | ====option -c==== | + | * Exemple 2 : supprimer le caractère # seulement du fichier sed.txt |
- | Sélection par caractère. | + | |
- | ===Exemples=== | + | |
- | > Le premier caractère des trois dernières lignes | + | |
<code user> | <code user> | ||
- | cut -c 1 /etc/passwd | + | sed -e '/^#/s/#ABC/ABC/' sed.txt |
- | </code> | + | </code |
<code> | <code> | ||
- | D | + | abc |
- | h | + | ABC |
- | l | + | |
</code> | </code> | ||
- | >Du premier au neuvième caractère | + | * Exemple 3 : ne pas supprimer le ligne qui commence par # |
<code user> | <code user> | ||
- | cut -c -9 /etc/passwd | + | sed '/^#/ !d' ~/sed.txt |
</code> | </code> | ||
<code> | <code> | ||
- | Debian-gd | + | # |
- | hypathie: | + | |
- | libvirt-q | + | |
</code> | </code> | ||
+ | ===Le caractère $ === | ||
+ | Le caractère ''$'' représente la fin de la ligne. | ||
+ | //(Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.)// | ||
- | >Du neuvième au dernier caractère | + | * Exemple : supprimer la ligne finissant par "C" |
<code user> | <code user> | ||
- | cut -c 9- /etc/passwd | + | sed -e 's/.*C$//' -e '/^$/ d' sed.txt |
</code> | </code> | ||
<code> | <code> | ||
- | dm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false | + | abc |
- | :x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | + | |
- | qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false | + | |
</code> | </code> | ||
- | > Du onzième au vingt-et-unième caractère | + | === le point (.)=== |
+ | Un point ''.'' est une E.R. d'un seul caractère qui correspond à n'importe quel caractère sauf le saut de ligne. | ||
+ | |||
+ | * Exemple 1 : | ||
<code user> | <code user> | ||
- | cut -c 11-21 /etc/passwd | + | echo "a B 2 ! * & : ?" | sed 's/./Gaga/g' |
</code> | </code> | ||
<code> | <code> | ||
- | :x:112:120: | + | GagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGaga |
- | :1000:1000: | + | |
- | mu:x:113:12 | + | |
</code> | </code> | ||
+ | * Exemple 2, point<espace> : | ||
<code user> | <code user> | ||
- | cut -c 1-9,11-21 /etc/passwd | + | echo "C " | sed 's/. /Coucou/' |
</code> | </code> | ||
<code> | <code> | ||
- | saned:x:11:119::/hom | + | Coucou |
- | Debian-gd:x:112:120: | + | |
- | hypathie::1000:1000: | + | |
- | libvirt-qmu:x:113:12 | + | |
</code> | </code> | ||
- | ===À savoir === | ||
- | ^Découpages par caractère ^ significations ^ | ||
- | |cut -c ''-n'' |du caractère 1 à n | | ||
- | |cut -c ''n-'' |de n jusqu'à la fin | | ||
- | |cut -c ''n-m'' |de n à m | | ||
- | |cut -c ''n-m,i-j'' | de n à m et de i à j | | ||
- | ====Options -d et -f==== | + | ===L'étoile (*)=== |
- | Découpage par champ (ou colonne), en fonction du délimiteur ''-d'' | + | Une E.R. d'un seul caractère suivie d'un ''*'' est une E.R. qui recherche zéro occurrence ou plusieurs de ce caractère.\\ |
- | Et liste des champs ""-f"". | + | ''c*123'' -> ''123'' ou ''c123'' ou ''cc123'' ou ''ccc123'', etc. |
- | <note tip> | + | <note important> |
- | À savoir.\\ | + | * S'il y a plusieurs choix, alors la chaîne de gauche la plus longue est choisie. |
- | Par défaut, le délimiteur est la tabulation.\\ | + | * La E.R ''.*'' représente zéro ou plusieurs occurrences de n'importe quel caractère. |
- | Si dans le fichier à traiter le séparateur est la tabulation, on n'a pas à indiquer l'option ''-d'', mais si le séparateur est un autre caractère, il faut l'indiquer | + | |
</note> | </note> | ||
- | ===Exemples=== | ||
- | >Coupe en fonction du délimiteur '' -d':' '' et du premier champ ''-f 1'' | + | ===Les crochets=== |
+ | La chaîne non-vide encadrée par ''[ ]'' est considérée comme une ''E.R.'' d'un seul caractère pouvant avoir n'importe quelle valeur définie entre ces ''[]''.\\ | ||
+ | |||
+ | À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.\\ | ||
+ | //( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''['' )// | ||
+ | |||
+ | Une combinaison de plusieurs E.R. d'un seul caractère est une E.R. qui correspond à l'ensemble de ce que chaque E.R. désigne.\\ Par exemple ''a[bB]'' recherche ''ab'' ou ''aB''. | ||
+ | |||
+ | <note> | ||
+ | Les caractères ''.'' , ''*'' , ''['' et ''\'' sont toujours spéciaux sauf s'ils sont encadrés entre ''[]''. | ||
+ | |||
+ | * ''[A-Za-z-]'' -> Tout caractère alpha ou le ''-''. | ||
+ | * ''[]a-z]'' -> Tout caractère alpha ou le '']''. | ||
+ | |||
+ | </note> | ||
+ | |||
+ | ===Le caractère & === | ||
<code user> | <code user> | ||
- | cut -d':' -f 1 /etc/passwd | + | sed 's/[0-9][0-9]*$/[&]/' sed1.txt |
</code> | </code> | ||
<code> | <code> | ||
- | Debian-gdm | + | aaaa |
- | hypathie | + | BBB |
- | libvirt-qemu | + | cCcC |
+ | # | ||
+ | [12345] | ||
+ | BBB | ||
+ | titi cCcC | ||
</code> | </code> | ||
+ | <code user> | ||
+ | sed 's/[0-9][0-9]*$/(&)/' sed1.txt | ||
+ | </code> | ||
+ | <code> | ||
+ | aaaa | ||
+ | BBB | ||
+ | cCcC | ||
+ | # | ||
+ | (12345) | ||
+ | BBB | ||
+ | titi cCcC | ||
+ | </code> | ||
+ | |||
+ | |||
+ | |||
+ | =====Sed -r : les caractères étendues ===== | ||
+ | Rappel : | ||
+ | |||
+ | ''+'' ; ''?'' ; ''|'' ; ''( )'' ; ''['' ; ''{ }'' | ||
+ | |||
+ | === le caractère (+)=== | ||
+ | |||
+ | * substituer une ou plusieurs fois "z" par OK | ||
- | >Coupe en fonction du délimiteur '' -d':' '' et des champs 1 ; 3 et 4 ''-f 1,3,4''. | ||
<code user> | <code user> | ||
- | cut -d':' -f 1,3,4 /etc/passwd | + | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g' |
+ | abc OK OK OK OK | ||
</code> | </code> | ||
- | <code> | + | === Le caractère ( ? )=== |
- | Debian-gdm:112:120 | + | |
- | hypathie:1000:1000 | + | * substituer zéro ou une fois "z" par OK |
- | libvirt-qemu:113:122 | + | |
+ | <code user> | ||
+ | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g' | ||
+ | OK OK azzbc azzzbc azzzzbc | ||
</code> | </code> | ||
- | ===À savoir=== | + | === Le ou ( | )=== |
- | ^ ^ ^ | + | |
- | |cut -d'délimiteur' -f n | délimiteur et n° champ délimité | | + | |
- | |cut -d'délimiteur' f n,m,...| délimiteur et plusieurs champs | | + | |
- | ==== wc ==== | + | * substituer ab ou cd par OK |
- | Afficher soit le nombre de mots, soit le nombre de ligne, soit le nombre d'octets | + | |
+ | <code user> | ||
+ | echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g' | ||
+ | OKef OKef efgh OKOK | ||
+ | </code> | ||
+ | |||
+ | * substituer ab ou cd par OK et effacer le reste | ||
+ | |||
+ | <code user> | ||
+ | echo "lflfabef cdef efgh ftyabcdopm" | sed -r\ | ||
+ | 's/^.*[ab|cd]*/OK/g' | ||
+ | OK | ||
+ | </code> | ||
+ | |||
+ | ===Les parenthèses === | ||
+ | <code user> | ||
+ | echo "a b c d e f" | sed -r 's/(b|e)/X/g' | ||
+ | </code> | ||
<code> | <code> | ||
- | wc [options] [fichier...] | + | a X c d X f |
</code> | </code> | ||
- | === Option -l : Afficher les lignes === | + | |
- | >Le nombre d'utilisateur du système ? | + | ===Parenthèses et inversion de champs=== |
+ | Avec la commande ''s'' (substitution), on peut de définir plusieurs E.R mises entre parenthèses.\\ | ||
+ | Cela permet de faire une inversion en se servant du séparateur de chaque champ à matcher.\\ | ||
+ | |||
+ | * Exemple : | ||
<code user> | <code user> | ||
- | wc -l /etc/passwd | + | echo "coucou:toto" | sed -r 's/^(.*):(.*)/\2:\1/' |
</code> | </code> | ||
<code> | <code> | ||
- | 33 /etc/passwd | + | toto:coucou |
</code> | </code> | ||
- | ===Option -w : le nombre de mots=== | + | <note tip> |
+ | /^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères | ||
+ | </note> | ||
+ | |||
+ | ===Les accolades { et } === | ||
+ | Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\ | ||
+ | 'm' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256. | ||
+ | |||
+ | * substituer seulement "aaa, aaaa et aaaaa" par OK | ||
<code user> | <code user> | ||
- | echo "Coucou à tous">> essai-wc | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\ |
+ | 's/a{3,5}/OK/g' | ||
+ | a aa OK OK OKa OKOK OKaa | ||
</code> | </code> | ||
+ | |||
+ | * substituer trois "a" et plus par OK | ||
+ | |||
+ | <code user> | ||
+ | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g' | ||
+ | a aa OK OK OK OK | ||
+ | </code> | ||
+ | |||
+ | ===Traitement des mots === | ||
+ | * le caractère ''\<'' | ||
+ | Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée. | ||
<code user> | <code user> | ||
- | wc -w essai-wc | + | echo "info pour tous informatique" | sed -r 's/\<info/OK/g' |
</code> | </code> | ||
<code> | <code> | ||
- | 3 essai-wc | + | OK pour tous OKrmatique |
</code> | </code> | ||
- | === Options -c : nombre d'octet(s)=== | + | * le caractère ''\>'' |
+ | Le caractère ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée. | ||
<code user> | <code user> | ||
- | wc -c essai-wc | + | echo "métrique cosmétique" | sed -r 's/métique\>/OK/g' |
</code> | </code> | ||
<code> | <code> | ||
- | 15 essai-wc | + | métrique cosOK |
</code> | </code> | ||
- | =====Synthèse grep ===== | + | ====Les sous-chaînes : associer ( ), [ ], { }==== |
+ | * substituer "Hello" par OK | ||
+ | <code user> | ||
+ | echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g' | ||
+ | </code> | ||
<code> | <code> | ||
- | grep [options] regexp [fichier...] | + | coucou OK Yep |
</code> | </code> | ||
- | Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]] | + | * substituer "ABC-123 abc-123" par OK |
- | ^ ^ ^ | + | <code user> |
- | |''-c'' |afficher le décompte des lignes correspondantes | | + | echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\ |
- | |''-i'' | ignorer la case | | + | [[a-z]{3}-[[:digit:]]{3}/OK/' |
- | |''-E'' |utiliser les regexp étendues\\ (correspond à egrep) | | + | OK |
+ | </code> | ||
- | > Deux utilisations:\\ | + | <note tip> |
- | >Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier) | + | SHELL : ''\''\\ |
- | >Soit ''grep [options] cmd | regexp'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\ | + | |
+ | -> Les longues commandes peuvent être sectionnées avec :\\ | ||
+ | |||
+ | \<retour à la ligne>[<espace>] | ||
+ | |||
+ | </note> | ||
+ | |||
+ | * substituer "ab efab ef" par OK | ||
- | ===Sur un fichier=== | ||
<code user> | <code user> | ||
- | grep -E "(:[0-9]{4}:){1}" /etc/passwd | + | echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/' |
+ | 123OK123 | ||
</code> | </code> | ||
- | <code> | + | |
- | hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | + | * substituer "123ab efab ef123" par trois "OK" |
+ | |||
+ | <code user> | ||
+ | echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\ | ||
+ | -e 's/[[:digit:]]{3}/OK/g' | ||
+ | OKOKOK | ||
</code> | </code> | ||
- | ===Filtre un flux d'entrée === | + | * substituer jusqu'à trois "a" par OK |
+ | <note tip> | ||
+ | Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" ! | ||
<code user> | <code user> | ||
- | /sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g' |
+ | OK OK OK OKOK OKOK OKOKOK | ||
</code> | </code> | ||
- | <code> | ||
- | 127.0.0.1 | ||
- | 255.0.0.0 | ||
- | 192.168.0.21 | ||
- | 192.168.0.255 | ||
- | 255.255.255.0 | ||
+ | <code user> | ||
+ | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ | ||
+ | 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g' | ||
+ | OKOKaOKaaOKaaaaOKaaaaaaaa | ||
+ | </code> | ||
+ | </note> | ||
+ | <code user> | ||
+ | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ | ||
+ | -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/' | ||
+ | OKOKaaa aaaa aaaaaa aaaaaaaa | ||
</code> | </code> | ||