Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
utilisateurs:hypathie:tutos:accueil [18/07/2014 07:59] Hypathie [Synthèse sed] |
utilisateurs:hypathie:tutos:accueil [21/07/2014 11:28] Hypathie [L'adressage] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | ====== Utiliser conjointement cut ; wc ; grep ; sed ====== | + | ====== Sed et les expressions rationnelles ====== |
- | * Objet : Petite synthèse cut;grep;sed | + | **Objet : Apprendre à utiliser les expressions rationnelles spécifiques à sed.** |
- | * Niveau requis : FIXME {{tag>débutant avisé}} | + | |
- | * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME | + | |
- | * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-) | + | |
- | ===== Synthèse sur cut ===== | + | * Niveau requis : {{tag>avisé}} |
- | Soit les trois dernières lignes du fichier /etc/passwd : | + | * Commentaires : //Tuto en cours de rédaction // |
- | <code user> | + | |
- | cat /etc/passwd | + | |
- | </code> | + | |
- | <code> | + | |
- | Debian-gdm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false | + | |
- | hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | + | |
- | libvirt-qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false | + | |
- | </code> | + | |
- | * Un __champ__ est une chaîne de caractères\\ Par exemple, la dernière ligne ci-dessus est composée de sept champs; ''libvirt-qemu'' ; ''x'' ; ''113'', etc. | + | |
- | * Un __délimiteur__ est ce qui sépare chaque champ\\ ci-dessus c'est '':''. | + | |
- | ==== Introduction ==== | ||
- | La commande cut permet d'afficher des zones spécifiques d'un fichier. | ||
+ | =====Contexte d'utilisation des ER ===== | ||
+ | |||
+ | >Avec sed les ER s'utilisent lorsqu'on veut modifier un fichier texte. | ||
+ | >Il s'agit de matcher un ou des éléments d'un fichier texte par une REGEXP et de remplacer, ce ou ces éléments ciblés du texte, par autres choses ou rien. | ||
+ | >Ou encore, elles servent à ajouter, à un endroit précisé par la regexp, un ou éléments au texte. | ||
+ | |||
+ | ====Les caractères utilisés pour créer des regexp avec sed ==== | ||
+ | <code text info sed> | ||
+ | `-r' | ||
+ | `--regexp-extended' | ||
+ | Use extended regular expressions rather than basic regular | ||
+ | expressions. Extended regexps are those that `egrep' accepts; | ||
+ | they can be clearer because they usually have less backslashes, | ||
+ | but are a GNU extension and hence scripts that use them are not | ||
+ | portable. *Note Extended regular expressions: Extended regexps. | ||
+ | </code> | ||
+ | <note> | ||
+ | **Sed utilise une version particulière des expressions régulières.** | ||
+ | |||
+ | * **Sans l'option ''-r'' :** | ||
+ | |||
+ | -> __**utilisation des expressions régulières de basiques**__,\\ c'est-à-dire, celles qui utilisent les métacaractères simples (POSIX) qui sont en communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel : | ||
+ | **''.''** ; **''*''**, **''^''**, **''$''**, **''[ ]''**\\ | ||
+ | |||
+ | __Attention au caractère__ ''*'' :\\ | ||
+ | - comme métacaractère :\\ ''*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère | ||
+ | - expression régulière :\\ ''*'' -> zéro ou plusieurs fois l'élément précédent (b*BABA -> BABA, bBABA, bbBABA, bbbBABA, etc.) | ||
+ | - expression régulière :\\ ''.*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère | ||
+ | |||
+ | -> **Il s'y ajoute pour sed __le caractère__ ''&'' :**\\ | ||
+ | - **''&''** : Représente la chaîne à remplacer((ce qu'on ajoute autour de ''&'' est ajouté à la chaîne remplacée)). | ||
+ | |||
+ | -> __**utilisation des classes**__ : | ||
+ | |||
+ | > Attention il y a une petite ambiguïté !\\ Les classes peuvent effectivement être utilisées avec sed sans l'option ''-r'' bien que la documentation de sed renvoie à celle grep -E (ou egrep) où elles font partie des regexp étendues. | ||
+ | |||
+ | ^ ^ ^ | ||
+ | |''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]| | ||
+ | |''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] | | ||
+ | |''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations | | ||
+ | |''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle | | ||
+ | |''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] | | ||
+ | |''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)| | ||
+ | |''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] | | ||
+ | |''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)| | ||
+ | |''<nowiki> | ||
+ | [[:punct:]] </nowiki>'' | Les caractères de ponctuation | | ||
+ | |''<nowiki>[[:space:]]</nowiki>'' | Les espaces | | ||
+ | |''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] | | ||
+ | |''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] | | ||
+ | |||
+ | * **Avec ''-r'' :** | ||
+ | |||
+ | -> **On peut utiliser tous les __caractères vus précédemment__.**\\ | ||
+ | L'ajout de l'option -r ne change pas leur signification. | ||
+ | |||
+ | -> **On peut utiliser __les caractères POSIX étendus__ :**\\ | ||
+ | |||
+ | **''|''** ; **''+''** ; **''?''** ; **''( )''** ;**''{ }''** ; **''<nowiki>[ - ]</nowiki>''** | ||
+ | |||
+ | Auxquels il s'ajoute les caractères non-portables : ''\<'' et ''\>''\\ | ||
+ | -''\<'' : cible le début d'un mot((Attention : Un mot est une chaîne de caractères faite de chiffres, lettres ou de ''_'' et séparée par tout autre caractère qu'un chiffre, une lettre ou le ''_''.)) : ''\<'' doit figurer devant la sous-chaîne désirée\\ | ||
+ | -''\>'' : cible la fin d'un mot : ''\>'' doit figurer en fin de la sous-chaîne désirée | ||
+ | |||
+ | |||
+ | >Voici la liste complète et testée des caractères nécessitant l'option ''-r'' de sed :\\ | ||
+ | >**''|''** ; **''+''** ; **''?''** ; **''( )''** ;**''{ }''** ; **''<nowiki>[ - ]</nowiki>''** ; **''\<''** ; **''\>''**\\ | ||
+ | |||
+ | -> **Il s'y ajoute quelqu'uns __des raccourcis ci-dessous__.**\\ | ||
+ | Il s'agit là de quelques unes des extensions GNU(([[https://www.gnu.org/software/sed/manual/html_node/Escapes.html#Escapes|Escapes]])) qui sont pas portables, mais qui fonctionnent avec sed ''-r'' :\\ | ||
+ | |||
+ | **''\f''** : Produit ou correspond à un saut\\ | ||
+ | **''\n''** : Produit ou correspond à un retour à la ligne \\ | ||
+ | **''\t''** : Produit ou correspond à un onglet horizontal\\ | ||
+ | **''\v''** : Produit ou correspond à une tabulation verticale\\ | ||
+ | **''\w''** : Synonyme de ''<nowiki>[[:alnum:]]</nowiki>'' -> correspond à un mot.\\ | ||
+ | **''\W''** : Synonyme de ''<nowiki>[^[:alnum]]</nowiki>'' -> ce qui autre qu'un mot.\\ | ||
+ | **''\b''** : Correspond à une chaîne vide (blanc) à l'extrémité d'un mot((''info\b'' ->"info pour tous" et ''\binfo'' -> "informatique"))\\ | ||
+ | |||
+ | Référence : [[http://sunsite.ualberta.ca/Documentation/Gnu/sed-3.02/html_chapter/sed_3.html]] | ||
+ | </note> | ||
+ | |||
+ | Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage. | ||
+ | =====La substitution===== | ||
+ | ===Syntaxes de substitution=== | ||
<code> | <code> | ||
- | cut [options] [fichier...] | + | s/modèle/remplacement/[drapeau] fichier |
- | </code> | + | |
- | ====option -c==== | + | |
- | Sélection par caractère. | + | |
- | ===Exemples=== | + | |
- | > Le premier caractère des trois dernières lignes | + | |
- | <code user> | + | |
- | cut -c 1 /etc/passwd | + | |
</code> | </code> | ||
+ | ou | ||
<code> | <code> | ||
- | D | + | cmd | s/modèle/remplacement/[drapeau] |
- | h | + | |
- | l | + | |
</code> | </code> | ||
+ | >Voir : [[doc:systeme:sed#la-fonction-de-substitution-s]] | ||
- | >Du premier au neuvième caractère | + | === Détail === |
<code user> | <code user> | ||
- | cut -c -9 /etc/passwd | + | s/motif/substitut/ |
+ | -> si motif = une regexp | ||
+ | -> alors subtitut = une chaîne de caractère | ||
</code> | </code> | ||
- | <code> | + | >Pour REGEXP, on peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''. |
- | Debian-gd | + | |
- | hypathie: | + | =====L'adressage ===== |
- | libvirt-q | + | ===Préparation=== |
+ | <code user> | ||
+ | echo "aaaa BBB cCcC # 12345" > ~/sed1.txt | ||
</code> | </code> | ||
- | >Du neuvième au dernier caractère | ||
<code user> | <code user> | ||
- | cut -c 9- /etc/passwd | + | sed -i 's+ +\n+g' ~/sed1.txt && cat sed1.txt |
</code> | </code> | ||
<code> | <code> | ||
- | dm:x:112:120:Gnome Display Manager:/var/lib/gdm3:/bin/false | + | aaaa |
- | :x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | + | BBB |
- | qemu:x:113:122:Libvirt Qemu,,,:/var/lib/libvirt:/bin/false | + | cCcC |
+ | # | ||
+ | 12345 | ||
</code> | </code> | ||
- | > Du onzième au vingt-et-unième caractère | + | <note tip> |
+ | Tout cela revient au même ;-) | ||
<code user> | <code user> | ||
- | cut -c 11-21 /etc/passwd | + | echo "aaaa BBB cCcC # 12345" | sed 's+ +\n+g' |
- | </code> | + | |
- | <code> | + | |
- | :x:112:120: | + | |
- | :1000:1000: | + | |
- | mu:x:113:12 | + | |
</code> | </code> | ||
<code user> | <code user> | ||
- | cut -c 1-9,11-21 /etc/passwd | + | echo "aaaa BBB cCcC # 12345" | sed 's/ /\n/g' |
</code> | </code> | ||
- | <code> | + | |
- | saned:x:11:119::/hom | + | <code user> |
- | Debian-gd:x:112:120: | + | echo "aaaa BBB cCcC # 12345" | sed 's_ _\n_g' |
- | hypathie::1000:1000: | + | |
- | libvirt-qmu:x:113:12 | + | |
</code> | </code> | ||
- | ===À savoir === | ||
- | ^Découpages par caractère ^ significations ^ | ||
- | |cut -c ''-n'' |du caractère 1 à n | | ||
- | |cut -c ''n-'' |de n jusqu'à la fin | | ||
- | |cut -c ''n-m'' |de n à m | | ||
- | |cut -c ''n-m,i-j'' | de n à m et de i à j | | ||
- | ====Options -d et -f==== | ||
- | Découpage par champ (ou colonne), en fonction du délimiteur ''-d'' | ||
- | Et liste des champs ""-f"". | ||
- | <note tip> | ||
- | À savoir.\\ | ||
- | Par défaut, le délimiteur est la tabulation.\\ | ||
- | Si dans le fichier à traiter le séparateur est la tabulation, on n'a pas à indiquer l'option ''-d'', mais si le séparateur est un autre caractère, il faut l'indiquer | ||
</note> | </note> | ||
- | ===Exemples=== | ||
- | >Coupe en fonction du délimiteur '' -d':' '' et du premier champ ''-f 1'' | + | === Adressage avec numéro de lignes === |
+ | |||
+ | * Exemple avec la commande de suppression ''d'' | ||
<code user> | <code user> | ||
- | cut -d':' -f 1 /etc/passwd | + | sed '3,4 d' ~/sed1.txt |
</code> | </code> | ||
<code> | <code> | ||
- | Debian-gdm | + | aaaa |
- | hypathie | + | BBB |
- | libvirt-qemu | + | 12345 |
</code> | </code> | ||
+ | > pas d'option : rien n'est modifié | ||
+ | >''d'' : commande de suppression | ||
+ | >''3,4'' : ligne 3 et 4 | ||
+ | |||
+ | * option ''-e'' et répétition le commande ''d'' : | ||
- | >Coupe en fonction du délimiteur '' -d':' '' et des champs 1 ; 3 et 4 ''-f 1,3,4''. | ||
<code user> | <code user> | ||
- | cut -d':' -f 1,3,4 /etc/passwd | + | sed -e '3d; 4d' ~/sed1.txt |
</code> | </code> | ||
- | |||
<code> | <code> | ||
- | Debian-gdm:112:120 | + | aaaa |
- | hypathie:1000:1000 | + | BBB |
- | libvirt-qemu:113:122 | + | 12345 |
</code> | </code> | ||
- | + | === Adressage avec n° d'occurrence (fonctionne sur une ligne)=== | |
- | ===À savoir=== | + | |
- | ^ ^ ^ | + | |
- | |cut -d'délimiteur' -f n | délimiteur et n° champ délimité | | + | |
- | |cut -d'délimiteur' f n,m,...| délimiteur et plusieurs champs | | + | |
- | + | ||
- | ==== wc ==== | + | |
- | Afficher soit le nombre de mots, soit le nombre de ligne, soit le nombre d'octets | + | |
- | <code> | + | |
- | wc [options] [fichier...] | + | |
- | </code> | + | |
- | === Option -l : Afficher les lignes === | + | |
- | >Le nombre d'utilisateur du système ? | + | |
<code user> | <code user> | ||
- | wc -l /etc/passwd | + | echo "lalalala" | sed -e 's/la/li/2' |
</code> | </code> | ||
<code> | <code> | ||
- | 33 /etc/passwd | + | lalilala |
</code> | </code> | ||
- | ===Option -w : le nombre de mots=== | + | ===Adressage du n° de ligne pour la substitution=== |
+ | Idem que précédemment, on place le n° devant la commande !\\ | ||
+ | Mais attention ici il s'agit de la substitution ''s'' : | ||
<code user> | <code user> | ||
- | echo "Coucou à tous">> essai-wc | + | sed -r '6s/BBB/toto/' sed1.txt |
</code> | </code> | ||
- | <code user> | + | <code> |
- | wc -w essai-wc | + | aaaa |
+ | BBB | ||
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | toto | ||
+ | titi cCcC | ||
+ | /coucou/titi | ||
</code> | </code> | ||
+ | ===Adressage avec délimiteurs "/ /" :=== | ||
+ | soit le fichier sed2.txt | ||
<code> | <code> | ||
- | 3 essai-wc | + | aaaa |
+ | BBB titi | ||
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | BBB | ||
+ | titi cCcC | ||
+ | titi BBB | ||
+ | /coucou/titi | ||
</code> | </code> | ||
- | |||
- | === Options -c : nombre d'octet(s)=== | ||
<code user> | <code user> | ||
- | wc -c essai-wc | + | sed '/^B/d' ~/sed2.txt |
</code> | </code> | ||
+ | > Dans le délimiteur, on place la chaîne de caractères ou la regexp qui indique à sed où doit être fait l'action de la commande. | ||
<code> | <code> | ||
- | 15 essai-wc | + | aaaa |
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | titi cCcC | ||
+ | titi BBB | ||
</code> | </code> | ||
- | =====Synthèse grep ===== | + | ===Adressage d'une plage avec délimiteurs "/ /,/ /" :=== |
+ | <code user> | ||
+ | sed '/^B/,/^1/d' ~/sed1.txt | ||
+ | </code> | ||
<code> | <code> | ||
- | grep [options] regexp [fichier...] | + | aaaa |
</code> | </code> | ||
- | Voir : [[atelier:chantier:bash-vii-globs-etendus-regex#tableau-des-caracteres-utilises-dans-les-expressions-regulieres-etendues|caractères utilisés dans les expressions régulières étendues]] | + | ===Adressage mixte=== |
+ | ''n'' et ''m'' sont des nombres entiers naturels | ||
- | ^ ^ ^ | + | * sed 'n,ms/chaine 1/chaine 2/' fichier |
- | |''-c'' |afficher le décompte des lignes correspondantes | | + | |
- | |''-i'' | ignorer la case | | + | |
- | |''-E'' |utiliser les regexp étendues\\ (correspond à egrep) | | + | |
- | > Deux utilisations:\\ | + | >On remplace chaine 1 par chaine 2 de la ligne n à la ligne m. |
- | >Soit ''grep [options] "expression" /chemin/fichier'' (on applique grep sur un fichier) | + | |
- | >Soit ''grep [options] cmd | regexp'' (on travaille à partir d'un flux d'entrée avec un filtre (pipe)\\ | + | |
+ | * sed '/chaine 1/s/chaine 2/chaine 3/' fichier | ||
+ | |||
+ | >On remplace chaine 2 par chaine 3 pour la ou les ligne(s) adressées par chaine 1. | ||
- | ===Sur un fichier=== | ||
<code user> | <code user> | ||
- | grep -E "(:[0-9]{4}:){1}" /etc/passwd | + | cat sed1.txt |
+ | aaaa | ||
+ | BBB | ||
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | BBB | ||
+ | titi cCcC | ||
+ | </code> | ||
+ | |||
+ | <code user> | ||
+ | sed '2,6s/BBB/GAGA/' sed1.txt | ||
+ | </code> | ||
+ | ou | ||
+ | <code user> | ||
+ | sed -r '2,6s/B{3}/GAGA/' sed1.txt | ||
</code> | </code> | ||
<code> | <code> | ||
- | hypathie:x:1000:1000:Hypathie,,,:/home/hypathie:/bin/bash | + | aaaa |
+ | GAGA | ||
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | GAGA | ||
+ | titi cCcC | ||
</code> | </code> | ||
- | ===Filtre un flux d'entrée === | ||
<code user> | <code user> | ||
- | /sbin/ifconfig | grep -oE "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" | + | sed '/BBB/s/BBB/GAGA/' sed1.txt |
</code> | </code> | ||
- | <code> | + | ou |
- | 127.0.0.1 | + | <code user> |
- | 255.0.0.0 | + | sed -r '/B{3}/s/BBB/GAGA/' sed1.txt |
- | 192.168.0.21 | + | |
- | 192.168.0.255 | + | |
- | 255.255.255.0 | + | |
</code> | </code> | ||
- | =====Synthèse sed ===== | ||
- | ===Syntaxe=== | ||
<code> | <code> | ||
- | sed [options] commande [fichier...] | + | aaaa |
+ | GAGA | ||
+ | cCcC | ||
+ | # | ||
+ | 12345 | ||
+ | GAGA | ||
+ | titi cCcC | ||
</code> | </code> | ||
- | ou | + | |
- | <code> | + | === Adressage avec le tilde=== |
- | sed [options] -f script [fichier...] | + | <code text man sed> |
+ | first~step | ||
+ | Match every step' th line starting with line first. | ||
</code> | </code> | ||
+ | Remplaçons "first" et step" par "n" et "m" qui sont toujours des nombres ! | ||
- | ===Options=== | + | L'expression ''n ~ m'' ou ''n~m'' signifie simplement :\\ |
- | ^options ^significations ^ | + | |
- | | ''-e'' | enchaîner plusieurs commandes | | + | |
- | | ''-r'' | utiliser les expressions régulières étendues dans un script | | + | |
- | |''-n'' |mode silencieux : permet de ne rien modifier\\ associée au drapeau p (print) : affichage sur la sortie standard | | + | |
- | |''-f'' |Les commandes sont lues à partir d'un fichier préalablement rédigé. | | + | |
- | |''-i'' |Le fichier est édité sur place.| | + | |
- | ====Afficher ou modifier un fichier ==== | + | " la E.R matche toutes les ''n''ième ligne(s) d'un fichier et cela en sautant un nombre de ligne égal à un écart (~) qui est lui-même égal, à la différence entre le nombre ''m'' avec la première ligne du fichier (c'est-à-dire la position ordinal 1). On connaît donc le nombre de ligne sautée en faisant toujours ''m - 1''." |
- | >Dans les exemples qui suivent, ne considérons que la présence ou l'absence de l'option ''i''; le reste de la commande est expliqué par la suite. | + | |
- | ===sed permet d'afficher sur la sortie standard=== | + | * ''1 ~ 2'' : matche les lignes impaires : 1ière, 3ième, 5ième, etc.\\ En effet, de la première ligne du fichier à ''m'' (''m'' = 2), il y a 1. Il sera sauté 1 ligne non-matchée et cela à partir de la ligne n°1 (''n'' = 1). Donc la sélection concerne la première ligne et saute 1 ligne, matche la 3ième ligne et saute 1 ligne, etc. |
- | * Créer un fichier : | + | * ''2~3'' : matche les lignes 2 ; 5 ; 8 ; 11\\ L'écart sauté sera de 2 car de la position 3 (''m'' = 3) à la première ligne du fichier, il y a deux lignes (3-1=2), et cela commence à la deuxième ligne (''n'' = 2). Donc la deuxième ligne est matchée, deux lignes sont sautées (3ième et 4 ième), la 5 ième est matchée, etc. |
- | <code user> | + | * 10 ~ 5 : sélection des lignes 10 ; 15 ; 20 ; 25 etc. 5 - 4 = 4 : Il sera sauté 4 ligne non-matchées à partir de la ligne 10. |
- | echo "aaaa BBB cCcC # 12345" >> ~/sed1.txt | + | |
- | </code> | + | |
- | * Afficher le contenu d'un fichier : | + | * Exemple 1: |
<code user> | <code user> | ||
- | sed '' sed1.txt | + | sed '1~2 s_.*[coucou]_OK_' essai-tilde |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa BBB cCcC # 12345 | + | OK/1 |
+ | /titi/coucou/2 | ||
+ | OK/3 | ||
+ | /tutu/coucou/4 | ||
+ | OK/5 | ||
+ | /nono/coucou/6 | ||
+ | OK/7 | ||
+ | /lili/coucou/8 | ||
+ | OK/9 | ||
+ | /fofo/coucou/10 | ||
+ | OK/11 | ||
+ | /bibi/coucou/12 | ||
+ | OK/13 | ||
+ | /sisi/coucou/14 | ||
+ | OK/15 | ||
</code> | </code> | ||
- | ===sed permet d'afficher sa modification (sans modifier le fichier)=== | + | * Exemple 2 : |
- | * remplacer les espaces par des retours à la ligne : | + | |
<code user> | <code user> | ||
- | sed 's+ +\n+g' ~/sed1.txt | + | sed '2~3 s_.*[coucou]_OK_' essai-tilde |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | /toto/coucou/1 |
- | BBB | + | OK/2 |
- | cCcC | + | /tati/coucou/3 |
- | # | + | /tutu/coucou/4 |
- | 12345 | + | OK/5 |
+ | /nono/coucou/6 | ||
+ | /lulu/coucou/7 | ||
+ | OK/8 | ||
+ | /fifi/coucou/9 | ||
+ | /fofo/coucou/10 | ||
+ | OK/11 | ||
+ | /bibi/coucou/12 | ||
+ | /zaza/coucou/13 | ||
+ | OK/14 | ||
+ | /baba/coucou/15 | ||
</code> | </code> | ||
+ | * Exemple 3 : | ||
<code user> | <code user> | ||
- | sed '' sed1.txt | + | sed '10~5 s_.*[coucou]_OK_' essai-tilde |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa BBB cCcC # 12345 | + | /toto/coucou/1 |
+ | /titi/coucou/2 | ||
+ | /tati/coucou/3 | ||
+ | /tutu/coucou/4 | ||
+ | /nani/coucou/5 | ||
+ | /nono/coucou/6 | ||
+ | /lulu/coucou/7 | ||
+ | /lili/coucou/8 | ||
+ | /fifi/coucou/9 | ||
+ | OK/10 | ||
+ | /dodu/coucou/11 | ||
+ | /bibi/coucou/12 | ||
+ | /zaza/coucou/13 | ||
+ | /sisi/coucou/14 | ||
+ | OK/15 | ||
</code> | </code> | ||
- | === Option -i : modifier le fichier === | + | =====Sed et les regexp simples ===== |
- | + | ====Explications==== | |
- | * sauvegarder le fichier d'origine "sed1.txt" avec ''sed -i.bak'' : | + | ===le caractère ^ === |
+ | Le caractère ''^'' n'est spécial qu'en début d'E.R. ou immédiatement à gauche dans une chaîne encadrée par des '[]' (voir : "les crochets"). | ||
+ | * Exemple 1 : supprimer la ligne comprenant le caractère "#", du fichier : | ||
<code user> | <code user> | ||
- | sed -i.bak 's/sed1.txt//' ~/sed1.txt | + | cat >> ~/sed.txt <<EOF |
+ | > abc | ||
+ | > #ABC | ||
+ | > EOF | ||
</code> | </code> | ||
- | >sed n'a pas afficher sur la sortie standard le contenu du fichier de sauvegarde. | + | |
<code user> | <code user> | ||
- | cat sed1.txt.bak | + | sed '/^#/ d' sed.txt |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa BBB cCcC # 12345 | + | abc |
</code> | </code> | ||
- | * modifier un fichier avec ''sed -i'' : | + | * Exemple 2 : supprimer le caractère # seulement du fichier sed.txt |
<code user> | <code user> | ||
- | sed -i 's+ +\n+g' ~/sed1.txt | + | sed -e '/^#/s/#ABC/ABC/' sed.txt |
+ | </code | ||
+ | <code> | ||
+ | abc | ||
+ | ABC | ||
</code> | </code> | ||
+ | |||
+ | * Exemple 3 : ne pas supprimer le ligne qui commence par # | ||
+ | |||
<code user> | <code user> | ||
- | cat sed1.txt | + | sed '/^#/ !d' ~/sed.txt |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | ||
- | BBB | ||
- | cCcC | ||
# | # | ||
- | 12345 | ||
</code> | </code> | ||
- | === Plusieurs options à la suite=== | + | ===Le caractère $ === |
- | >Les options doivent se suivre dans un ordre précis | + | Le caractère ''$'' représente la fin de la ligne. |
+ | //(Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.)// | ||
- | * ajouter des sauts de ligne : ''sed -i -e 's/$/\\n/' ~/sed1.txt'' | + | * Exemple : supprimer la ligne finissant par "C" |
- | * supprimer les lignes vides : ''sed -i -e '/^$/d' ~/sed1.txt'' | + | |
- | + | ||
- | ====Adressage==== | + | |
<code user> | <code user> | ||
- | s/motif/substitut/ | + | sed -e 's/.*C$//' -e '/^$/ d' sed.txt |
- | -> si motif = une regex | + | |
- | -> alors subtitut = une chaîne de caractère | + | |
</code> | </code> | ||
- | >On peut utiliser la syntaxe habituelle, ou la syntaxe étendue avec l'option ''-r''. | + | <code> |
- | <code text man sed> | + | abc |
- | -r, --regexp-extended | + | |
- | + | ||
- | use extended regular expressions in the script. | + | |
- | //[...]// | + | |
- | REGULAR EXPRESSIONS | + | |
- | POSIX.2 BREs should be supported, but they aren't completely because of | + | |
- | performance problems. The \n sequence in a regular expression matches | + | |
- | the newline character, and similarly for \a, \t, and other sequences. | + | |
</code> | </code> | ||
- | <code text info sed> | ||
- | `-r' | ||
- | `--regexp-extended' | ||
- | Use extended regular expressions rather than basic regular | ||
- | expressions. Extended regexps are those that `egrep' accepts; | ||
- | they can be clearer because they usually have less backslashes, | ||
- | but are a GNU extension and hence scripts that use them are not | ||
- | portable. *Note Extended regular expressions: Extended regexps. | ||
- | </code> | ||
- | <note> | ||
- | * sans ''-r'' : | ||
- | //ER// simples : ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''\( \)'' ; ''['' ; ''\{ \}'' ; ''\'' | ||
- | * avec ''-r'' : | ||
- | //ER// étendues : ''|'' ; ''^'' ; ''$'' ; ''.'' ; ''*'' ; ''+'' ; ''?'' ; ''( )'' ; ''['' ; ''{ }'' ; ''\'' ; ''[bracket-expression]'' | + | === le point (.)=== |
- | </note> | + | Un point ''.'' est une E.R. d'un seul caractère qui correspond à n'importe quel caractère sauf le saut de ligne. |
- | === Syntaxe d'adressage avec exemple la commande de suppression === | + | |
- | * ''d'' commande de suppression | + | * Exemple 1 : |
<code user> | <code user> | ||
- | sed '3,4 d' ~/sed1.txt | + | echo "a B 2 ! * & : ?" | sed 's/./Gaga/g' |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | GagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGaga |
- | BBB | + | |
- | 12345 | + | |
</code> | </code> | ||
- | > pas d'option : rien n'est modifié | + | * Exemple 2, point<espace> : |
- | >''d'' : commande de suppression | + | |
- | >''3,4'' : ligne 3 et 4 | + | |
- | + | ||
- | * option ''-e'' et répétition le commande ''d'' : | + | |
<code user> | <code user> | ||
- | sed -e '3d; 4d' ~/sed1.txt | + | echo "C " | sed 's/. /Coucou/' |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | Coucou |
- | BBB | + | |
- | 12345 | + | |
</code> | </code> | ||
- | * adressage ''/ /'' : | + | |
+ | ===L'étoile (*)=== | ||
+ | Une E.R. d'un seul caractère suivie d'un ''*'' est une E.R. qui recherche zéro occurrence ou plusieurs de ce caractère.\\ | ||
+ | ''c*123'' -> ''123'' ou ''c123'' ou ''cc123'' ou ''ccc123'', etc. | ||
+ | <note important> | ||
+ | * S'il y a plusieurs choix, alors la chaîne de gauche la plus longue est choisie. | ||
+ | * La E.R ''.*'' représente zéro ou plusieurs occurrences de n'importe quel caractère. | ||
+ | </note> | ||
+ | |||
+ | ===Les crochets=== | ||
+ | La chaîne non-vide encadrée par ''[ ]'' est considérée comme une ''E.R.'' d'un seul caractère pouvant avoir n'importe quelle valeur définie entre ces ''[]''.\\ | ||
+ | |||
+ | À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.\\ | ||
+ | //( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''['' )// | ||
+ | |||
+ | Une combinaison de plusieurs E.R. d'un seul caractère est une E.R. qui correspond à l'ensemble de ce que chaque E.R. désigne.\\ Par exemple ''a[bB]'' recherche ''ab'' ou ''aB''. | ||
+ | |||
+ | <note> | ||
+ | Les caractères ''.'' , ''*'' , ''['' et ''\'' sont toujours spéciaux sauf s'ils sont encadrés entre ''[]''. | ||
+ | |||
+ | * ''[A-Za-z-]'' -> Tout caractère alpha ou le ''-''. | ||
+ | * ''[]a-z]'' -> Tout caractère alpha ou le '']''. | ||
+ | |||
+ | </note> | ||
+ | |||
+ | ===Le caractère & === | ||
<code user> | <code user> | ||
- | sed '/^B/d' ~/sed1.txt | + | sed 's/[0-9][0-9]*$/[&]/' sed1.txt |
</code> | </code> | ||
<code> | <code> | ||
aaaa | aaaa | ||
+ | BBB | ||
cCcC | cCcC | ||
# | # | ||
- | 12345 | + | [12345] |
+ | BBB | ||
+ | titi cCcC | ||
</code> | </code> | ||
- | * adressage d'une plage ''/ /,/ /'' : | ||
<code user> | <code user> | ||
- | sed '/^B/,/^1/d' ~/sed1.txt | + | sed 's/[0-9][0-9]*$/(&)/' sed1.txt |
</code> | </code> | ||
<code> | <code> | ||
aaaa | aaaa | ||
+ | BBB | ||
+ | cCcC | ||
+ | # | ||
+ | (12345) | ||
+ | BBB | ||
+ | titi cCcC | ||
</code> | </code> | ||
- | ====La substitution ==== | + | |
- | ===Syntaxe=== | + | |
- | <code> | + | |
- | s/modèle/remplacement/[drapeau] fichier | + | =====Sed -r : les caractères étendues ===== |
+ | Rappel : | ||
+ | |||
+ | ''+'' ; ''?'' ; ''|'' ; ''( )'' ; ''['' ; ''{ }'' | ||
+ | |||
+ | === le caractère (+)=== | ||
+ | |||
+ | * substituer une ou plusieurs fois "z" par OK | ||
+ | |||
+ | <code user> | ||
+ | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g' | ||
+ | abc OK OK OK OK | ||
</code> | </code> | ||
- | ou | + | |
- | <code> | + | === Le caractère ( ? )=== |
- | cmd | s/modèle/remplacement/[drapeau] | + | |
+ | * substituer zéro ou une fois "z" par OK | ||
+ | |||
+ | <code user> | ||
+ | echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g' | ||
+ | OK OK azzbc azzzbc azzzzbc | ||
</code> | </code> | ||
- | ===Les drapeaux=== | + | |
- | ^ ^ ^ | + | === Le ou ( | )=== |
- | |g | global : toutes les occurrences | | + | |
- | |1, 2, etc. | un nombre : la nième occurrence | | + | * substituer ab ou cd par OK |
- | |w | écrire les modifications effectuées dans un fichier | | + | |
- | |p | afficher la ligne modifiée | | + | |
- | |e | exécution d'une commande | | + | |
- | ===Sans drapeau : première occurrence de chaque ligne=== | + | |
<code user> | <code user> | ||
- | sed 's/C/c/' ~/sed1.txt | + | echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g' |
+ | OKef OKef efgh OKOK | ||
</code> | </code> | ||
- | <code> | + | |
- | aaaa | + | * substituer ab ou cd par OK et effacer le reste |
- | BBB | + | |
- | cccC | + | <code user> |
- | # | + | echo "lflfabef cdef efgh ftyabcdopm" | sed -r\ |
- | 12345 | + | 's/^.*[ab|cd]*/OK/g' |
+ | OK | ||
</code> | </code> | ||
- | ===Drapeau nombre === | + | ===Les parenthèses === |
<code user> | <code user> | ||
- | sed 's/C/c/2' ~/sed1.txt | + | echo "a b c d e f" | sed -r 's/(b|e)/X/g' |
</code> | </code> | ||
<code> | <code> | ||
- | aaaa | + | a X c d X f |
- | BBB | + | |
- | cCcc | + | |
- | # | + | |
- | 12345 | + | |
</code> | </code> | ||
- | === Drapeau w=== | + | |
+ | ===Parenthèses et inversion de champs=== | ||
+ | Avec la commande ''s'' (substitution), on peut de définir plusieurs E.R mises entre parenthèses.\\ | ||
+ | Cela permet de faire une inversion en se servant du séparateur de chaque champ à matcher.\\ | ||
+ | |||
+ | * Exemple : | ||
<code user> | <code user> | ||
- | sed "s/12345/6789/w sed1-modif" ~/sed1.txt | + | echo "coucou:toto" | sed -r 's/^(.*):(.*)/\2:\1/' |
- | </code> | + | |
- | <code user> | + | |
- | cat ~/sed1.txt | + | |
</code> | </code> | ||
<code> | <code> | ||
- | 6789 | + | toto:coucou |
</code> | </code> | ||
- | ===Deux drapeaux=== | + | <note tip> |
+ | /^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères | ||
+ | </note> | ||
+ | |||
+ | ===Les accolades { et } === | ||
+ | Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\ | ||
+ | 'm' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256. | ||
+ | |||
+ | * substituer seulement "aaa, aaaa et aaaaa" par OK | ||
<code user> | <code user> | ||
- | sed 's/C/c/gw modif-sed1.txt' ~/sed1.txt | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\ |
+ | 's/a{3,5}/OK/g' | ||
+ | a aa OK OK OKa OKOK OKaa | ||
</code> | </code> | ||
+ | |||
+ | * substituer trois "a" et plus par OK | ||
<code user> | <code user> | ||
- | aaaa | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g' |
- | BBB | + | a aa OK OK OK OK |
- | cccc | + | |
- | # | + | |
- | 12345 | + | |
</code> | </code> | ||
- | <code> | + | ===Traitement des mots === |
- | cccc | + | * le caractère ''\<'' |
- | </code> | + | Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée. |
- | ===Drapeau p=== | + | |
- | >Avec l'option ''-n'' pour éviter les doublons, on utilise le drapeau p ; | + | |
- | >En effet, on a vu que pour chaque modification, tout le texte est affiché. | + | |
- | > drapeau p : il affiche le texte modifié, puis il applique le drapeau, donc affiche ce qui les lignes modifiées. | + | |
- | >Grâce ''-n'', on n'affiche pas ce qui est modifié. | + | |
- | >''-n'' + drapeau p : on affiche que ce qui a été modifié | + | |
<code user> | <code user> | ||
- | sed -n 's/12345/6789/p' ~/sed1.txt | + | echo "info pour tous informatique" | sed -r 's/\<info/OK/g' |
</code> | </code> | ||
<code> | <code> | ||
- | 6789 | + | OK pour tous OKrmatique |
</code> | </code> | ||
- | ===Drapeau e=== | + | * le caractère ''\>'' |
- | >Utilisation de la sortie d'une commande comme chaîne de remplacement. | + | Le caractère ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée. |
<code user> | <code user> | ||
- | sed 's/^#/date/e' ~/sed1.txt | + | echo "métrique cosmétique" | sed -r 's/métique\>/OK/g' |
+ | </code> | ||
+ | <code> | ||
+ | métrique cosOK | ||
</code> | </code> | ||
+ | ====Les sous-chaînes : associer ( ), [ ], { }==== | ||
+ | * substituer "Hello" par OK | ||
<code user> | <code user> | ||
- | cat ~/sed1.txt | + | echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g' |
</code> | </code> | ||
<code> | <code> | ||
- | 6789 | + | coucou OK Yep |
- | aaaa | + | |
- | BBB | + | |
- | cCcC | + | |
- | mardi 15 juillet 2014, 11:48:27 (UTC+0200) | + | |
- | 12345 | + | |
</code> | </code> | ||
- | ==== sed et variables ==== | + | |
+ | * substituer "ABC-123 abc-123" par OK | ||
<code user> | <code user> | ||
- | VAR="coucou" | + | echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\ |
+ | [[a-z]{3}-[[:digit:]]{3}/OK/' | ||
+ | OK | ||
</code> | </code> | ||
+ | |||
+ | <note tip> | ||
+ | SHELL : ''\''\\ | ||
+ | |||
+ | -> Les longues commandes peuvent être sectionnées avec :\\ | ||
+ | |||
+ | \<retour à la ligne>[<espace>] | ||
+ | |||
+ | </note> | ||
+ | |||
+ | * substituer "ab efab ef" par OK | ||
<code user> | <code user> | ||
- | export VAR | + | echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/' |
+ | 123OK123 | ||
</code> | </code> | ||
+ | |||
+ | * substituer "123ab efab ef123" par trois "OK" | ||
<code user> | <code user> | ||
- | sed 's/^#/echo '$VAR'/e' ~/sed1.txt | + | echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\ |
+ | -e 's/[[:digit:]]{3}/OK/g' | ||
+ | OKOKOK | ||
</code> | </code> | ||
- | <code> | + | * substituer jusqu'à trois "a" par OK |
- | aaaa | + | <note tip> |
- | BBB | + | Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" ! |
- | cCcC | + | <code user> |
- | coucou | + | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g' |
- | 12345 | + | OK OK OK OKOK OKOK OKOKOK |
+ | </code> | ||
+ | |||
+ | <code user> | ||
+ | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ | ||
+ | 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g' | ||
+ | OKOKaOKaaOKaaaaOKaaaaaaaa | ||
+ | </code> | ||
+ | </note> | ||
+ | <code user> | ||
+ | echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\ | ||
+ | -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/' | ||
+ | OKOKaaa aaaa aaaaaa aaaaaaaa | ||
</code> | </code> | ||
- | ====Quelques autres commandes de sed==== | ||
- | ^ ^ ^ | ||
- | |d |supprimer | | ||
- | |q |quitter | | ||
- | |p | afficher avec ''-n'' | | ||
- | |i\texte |insérer du texte| | ||
- | |a\texte |ajouter du texte | | ||
- | |c\texte |remplacer du texte | | ||
- | | = | afficher | | ||
- | =====Associer sed et les autres commandes ===== | ||