====== Sed et les expressions rationnelles ======

  * Objet : apprendre à utiliser les E.R avec sed
  * Commentaire : détail de la documentation de sed relative au E.R.
  * Niveau requis : {{tag>avisé}}

=====Contexte d'utilisation des ER =====
On utilise les expressions rationnelles simples ou étendues (//ERE//) avec sed

  * pour les adressages par l'encadrement, [[utilisateurs:hypathie:tutos:sed-par-la-methode-structuraliste?&#adressage-simple|simple]] et [[utilisateurs:hypathie:tutos:sed-par-la-methode-structuraliste?&#adressage-double|double]].
  * avec la commande s : 
    * ''s/motif/substitut/[options_de_s]'' où "motif" peut être une //ER// ou une //ERE//
    * qui utilise aussi des ER pour ses adressages.

Dans ce qui suit, seule [[utilisateurs:hypathie:tutos:sed-par-la-methode-structuraliste?&#la-commande-s|la commande s]] servira pour illustrer d'exemples l'utilisation des //ER// et //ERE//.\\ 
Pour l'utilisation globale de sed voir [[utilisateurs:hypathie:tutos:sed-par-la-methode-structuraliste|sed par la méthode structuraliste]].

====Les caractères utilisés pour créer des regexp avec sed ====
<code text info sed>
`-r'
`--regexp-extended'
  Use extended regular expressions rather than basic regular
  expressions.  Extended regexps are those that `egrep' accepts;
  they can be clearer because they usually have less backslashes,
  but are a GNU extension and hence scripts that use them are not
  portable.  *Note Extended regular expressions: Extended regexps.
</code> 
<note>
**Sed utilise une version particulière des expressions régulières.** 

  * **Sans l'option ''-r'' :**

-> __**utilisation des expressions régulières de basiques**__,\\ c'est-à-dire, celles qui utilisent les métacaractères simples (POSIX) qui sont en communs à tous les programmes utilisant les expressions régulières.\\ En voici un rappel :
**''.''** ; **''*''**, **''^''**,  **''$''**, **''[ ]''**,**''\<''** , **''\>''** \\

__Attention au caractère__ ''*'' :\\
  - comme métacaractère :\\ ''*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère
  - expression régulière :\\ ''*'' -> zéro ou plusieurs fois l'élément précédent (b*BABA -> BABA, bBABA, bbBABA, bbbBABA, etc.)
  - expression régulière :\\ ''.*'' -> zéro ou plusieurs occurrence(s) de n'importe quel caractère

-> __**utilisation des classes**__ :

> Attention il y a une petite ambiguïté !\\ Les classes peuvent effectivement être utilisées avec sed sans l'option ''-r'' bien que la documentation de sed renvoie à celle grep -E (ou egrep) où elles font partie des regexp étendues.

^                                 ^                              ^ 
|''<nowiki>[[:alnum:]]</nowiki>'' | Alpha-numerique [a-z A-Z 0-9]|
|''<nowiki>[[:alpha:]]</nowiki>'' | Alphabetic [a-z A-Z] |
|''<nowiki>[[:blank:]]</nowiki>'' | Espaces ou tabulations |
|''<nowiki>[[:cntrl:]]</nowiki>'' | Caractères de contrôle |
|''<nowiki>[[:digit:]]</nowiki>'' | Nombres [0-9] |
|''<nowiki>[[:graph:]]</nowiki>'' | Tous les caractères visibles (à l'exclusion des espaces)|
|''<nowiki>[[:lower:]]</nowiki>'' | Lettres minuscules [a-z] |
|''<nowiki>[[:print:]]</nowiki>'' | Caractères imprimables (tous caractères sauf ceux de contrôle)|
|''<nowiki>
[[:punct:]] </nowiki>'' | Les caractères de ponctuation |
|''<nowiki>[[:space:]]</nowiki>'' | Les espaces |
|''<nowiki>[[:upper:]]</nowiki>'' | Les lettres majuscules [A-Z] |
|''<nowiki>[[:xdigit:]]</nowiki>'' | Chiffres hexadécimaux [0-9 a-f A-F] |

  * **Avec ''-r'' :**
 
-> **On peut utiliser tous les __caractères vus précédemment__.**\\ 
L'ajout de l'option -r ne change pas leur signification.

-> **On peut utiliser __les caractères POSIX étendus__ :**\\

**''|''** ; **''+''** ; **''?''** ; **''(   )''** ;**''{   }''** ; **''<nowiki>[ - ]</nowiki>''**

Auxquels il s'ajoute les caractères non-portables : ''\<'' et ''\>''\\  
-''\<'' : cible le début d'un mot((Attention : Un mot est une chaîne de caractères faite de chiffres, lettres ou de ''_'' et séparée par tout autre  caractère qu'un chiffre, une lettre ou le ''_''.)) : ''\<'' doit figurer devant la sous-chaîne désirée\\ 
-''\>'' : cible la fin d'un mot : ''\>'' doit figurer en fin de la sous-chaîne désirée


>Voici la liste complète et testée des caractères nécessitant l'option ''-r'' de sed :\\
>**''|''** ; **''+''** ; **''?''** ; **''(   )''** ;**''{   }''** ; **''<nowiki>[ - ]</nowiki>''** ; **''\<''** ; **''\>''**\\

-> **Il s'y ajoute quelqu'uns __des raccourcis ci-dessous__.**\\ 
Il s'agit là de quelques unes des extensions GNU(([[https://www.gnu.org/software/sed/manual/html_node/Escapes.html#Escapes|Escapes]])) qui sont pas portables, mais qui fonctionnent avec sed ''-r'' :\\

**''\f''** : Produit ou correspond à un saut\\ 
**''\n''** : Produit ou correspond à un retour à la ligne \\ 
**''\t''** : Produit ou correspond à un onglet horizontal\\ 
**''\v''** : Produit ou correspond à une tabulation verticale\\ 
**''\w''** : Synonyme de ''<nowiki>[[:alnum:]]</nowiki>'' -> correspond à un mot.\\ 
**''\W''** : Synonyme de ''<nowiki>[^[:alnum]]</nowiki>'' -> ce qui autre qu'un mot.\\ 
**''\b''** : Correspond à une chaîne vide (blanc) à l'extrémité d'un mot((''info\b'' ->"info pour tous" et ''\binfo'' -> "informatique"))\\ 

Référence : [[http://sunsite.ualberta.ca/Documentation/Gnu/sed-3.02/html_chapter/sed_3.html]]
</note>

Pour utiliser les REGEXP, il faut avant tout maîtriser les syntaxes de substitution, et l'adressage.




=====Sed et les regexp simples =====
====Explications====
===le caractère ^ ===
Le caractère ''^'' n'est spécial qu'en début d'E.R. ou immédiatement à gauche dans une chaîne encadrée par des '[]' (voir : "les crochets").
  * Exemple 1 : supprimer la ligne comprenant le caractère "#", du fichier :
<code user>
cat >> ~/sed.txt <<EOF
> abc
> #ABC
> EOF
</code>

<code user>
sed '/^#/ d' sed.txt
</code>
<code>
abc
</code>
  * Exemple 2 : supprimer le caractère # seulement du fichier sed.txt
<code user>
sed -e '/^#/s/#ABC/ABC/' sed.txt
</code
<code>
abc
ABC
</code>

  * Exemple 3 : ne pas supprimer le ligne qui commence par #

<code user>
sed '/^#/ !d' ~/sed.txt
</code>
<code>
#
</code>
===Le caractère $ ===
Le caractère ''$'' représente la fin de la ligne.
//(Le caractères ''$'' n'est spécial qu'en fin d'E.R ou d'un ensemble d'E.R.)//

  * Exemple : supprimer la ligne finissant par "C"
<code user>
sed -e 's/.*C$//' -e '/^$/ d' sed.txt 
</code>
<code>
abc
</code>

===L'étoile (*)===
Une E.R. d'un seul caractère suivie d'un ''*'' est une E.R. qui recherche zéro occurrence ou plusieurs de ce caractère.\\ 
''c*123'' -> ''123'' ou ''c123'' ou ''cc123'' ou ''ccc123'', etc.
L'expression régulière précédente, doit être un caractère ordinaire, un caractère spécial précédé par ''\'', ''a.'', une expression rationnelle groupés((voir les parenthèses)), ou une expression entre crochets.
<note important>
  * S'il y a plusieurs choix, alors la chaîne de gauche la plus longue est choisie.
  * La E.R ''.*'' représente zéro ou plusieurs occurrences de n'importe quel caractère.
</note>


===Les crochets===
La chaîne non-vide encadrée par ''[ ]'' est considérée comme une ''E.R.'' d'un seul caractère pouvant avoir n'importe quelle valeur définie entre ces ''[]''.\\

<code user>echo "1 B 2 b à bB" | sed 's/[Bb]/gaga/g'</code>

  1 gaga 2 gaga à gagagaga

À l'inverse, la E.R représentée par ''[^...]'' est une chaîne composée de tous caractères à l'exclusion de ceux encadrés.\\ 
//( le caractère ''^'' ne spécifie cette fonctionnalité d'exclusion que s'il se trouve en première position, immédiatement après le ''['' )//

>À l'exclusion de tous caractères ! Y compris l'espace :

<code user>echo "1 B 2 b à bB" | sed 's/[^Bb]/gaga/g'</code>

  gagagagaBgagagagagagabgagagagagagabB

Une combinaison de plusieurs E.R. d'un seul caractère est une E.R. qui correspond à l'ensemble de ce que chaque E.R. désigne.\\ Par exemple ''a[bB]'' recherche ''ab'' ou ''aB''.

<note>
Les caractères  ''.'' , ''*'' , ''['' et ''\'' sont toujours spéciaux sauf s'ils sont encadrés entre ''[]''.

  * ''[A-Za-z-]'' -> Tout caractère alpha ou le ''-''.
  * ''[]a-z]'' -> Tout caractère alpha ou le '']''.

</note>
=== le point (.)===
 Un point ''.'' est une E.R. d'un seul caractère qui correspond à n'importe quel caractère sauf le saut de ligne.

  * Exemple 1 :
<code user>
echo "a B 2 ! * & : ?" | sed 's/./Gaga/g'
</code>
<code>
GagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGagaGaga
</code>
  * Exemple 2, point<espace> :
<code user>
echo "C " | sed 's/. /Coucou/'
</code>
<code>
Coucou
</code>

=====Sed -r : les caractères étendues =====
Rappel :

 ''+'' ; ''?'' ; ''|'' ; ''(   )'' ; ''['' ; ''{   }''

=== le caractère (+)===

  * substituer une ou plusieurs fois "z" par OK

<code user>
echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az+bc/OK/g'
abc OK OK OK OK
</code>

=== Le caractère ( ? )===

  * substituer zéro ou une fois "z" par OK

<code user>
echo "abc azbc azzbc azzzbc azzzzbc" | sed -r 's/az?bc/OK/g'
OK OK azzbc azzzbc azzzzbc
</code>

=== Le ou ( | )===

  * substituer  ab ou cd par OK

<code user>
echo "abef cdef efgh abcd" | sed -r 's/ab|cd/OK/g'
OKef OKef efgh OKOK
</code>

  * substituer ab ou cd par OK et effacer le reste

<code user>
echo "lflfabef cdef efgh ftyabcdopm" | sed -r\
 's/^.*[ab|cd]*/OK/g'
OK
</code>

===Les parenthèses ===
<code user>
echo "a b c d e f" | sed -r 's/(b|e)/X/g'
</code>
<code>
a X c d X f
</code>

===Parenthèses et inversion de champs===
Avec la commande ''s'' (substitution), on peut de définir plusieurs E.R mises entre parenthèses.\\
Cela permet de faire une inversion en se servant du séparateur de chaque champ à matcher.\\

  * Exemple :
<code user>
echo "coucou:toto" | sed -r 's/^(.*):(.*)/\2:\1/'
</code>
<code>
toto:coucou
</code>

<note tip>
/^\(.*\)\1$/ : correspond à une ligne contenant au moins deux fois la même sous-chaîne de caractères
</note>

===Les accolades { et } ===
Un seul caractère suivie par ''{m}'', ''{m,}'', ou ''{m,n}'' est une E.R. qui correspond au caractère précédant ''{'' s'il est présent, exactement m fois (''m''); au moins m fois (''m,''); entre "m" et "n" fois (''m,n'').\\ 
'm' et 'n' doivent être des entiers positifs ou nuls inférieurs à 256.

   * substituer seulement "aaa, aaaa et aaaaa" par OK
<code user>
echo "a aa aaa aaaa aaaaaa aaaaaaaa aaaaaaa" | sed -r\
 's/a{3,5}/OK/g'
a aa OK OK OKa OKOK OKaa
</code>

  * substituer trois "a" et plus par OK

<code user>
echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{3,}/OK/g'
a aa OK OK OK OK
</code>

===Traitement des mots ===
  * le caractère ''\<''
Le caractère ''\<'' oblige l'E.R. à correspondre avec le début d'un mot (mot = chaîne de caractères chiffres, lettres ou '_').\\ ''\<'' doit figurer devant la sous-chaîne désirée.
<code user>
echo "info pour tous informatique" | sed -r 's/\<info/OK/g'
</code>
<code>
OK pour tous OKrmatique
</code>

  * le caractère  ''\>''
Le caractère  ''\>'' oblige l'E.R. à correspondre à la fin d'un mot.\\ ''\>'' doit figurer en fin de la sous-chaîne désirée.
<code user>
echo "métrique cosmétique" | sed -r 's/métique\>/OK/g'
</code>
<code>
métrique cosOK
</code>

====Les sous-chaînes : associer ( ), [ ], { }====
  * substituer "Hello" par OK
<code user>
echo "coucou Hello Yep" | sed -r 's/[A-Z]{1}[a-z]{4}/OK/g'
</code>
<code>
coucou OK Yep
</code>

  * substituer "ABC-123 abc-123" par OK

<code user>
echo "ABC-123 abc-123" | sed -r 's/[A-Z]{3}-[[:digit:]]{3}\
 [[a-z]{3}-[[:digit:]]{3}/OK/'
OK
</code>

<note tip>
SHELL : ''\''\\

-> Les longues commandes peuvent être sectionnées avec :\\ 

  \<retour à la ligne>[<espace>]

</note>

  * substituer "ab efab ef" par OK

<code user>
echo "123ab efab ef123" | sed -r 's/(ab[[:blank:]]ef){2}/OK/'
123OK123
</code>

  * substituer "123ab efab ef123" par trois "OK"

<code user>
echo "123ab efab ef123" | sed -r -e 's/(ab[[:blank:]]ef){2}/OK/g'\
 -e 's/[[:digit:]]{3}/OK/g'
OKOKOK
</code>

  * substituer jusqu'à trois "a" par OK
<note tip>
Attention !\\ La E.R ''{,m}'' n'est pas utilisée avec sed.\\ Les chaînes comportant plus de trois "a" contiennent aussi moins de trois "a" !
<code user>
echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r 's/a{,3}/OK/g'
OK OK OK OKOK OKOK OKOKOK
</code>

<code user>
echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
 's/(a{1}[[:blank:]]|a{2}[[:blank:]])/OK/g'
OKOKaOKaaOKaaaaOKaaaaaaaa
</code>
</note>
<code user>
echo "a aa aaa aaaa aaaaaa aaaaaaaa" | sed -r\
 -e 's/(a{1}[[:blank:]])/OK/' -e 's/(a{2}[[:blank:]])/OK/' 
OKOKaaa aaaa aaaaaa aaaaaaaa
</code>