L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:proxy-transparent [16/10/2014 15:46]
Hypathie [configuration d'iptables (NAT)]
+++ utilisateurs:hypathie:tutos:proxy-transparent [17/10/2014 16:04]
Hypathie [Vérifications]
@@ Ligne 22: / Ligne 22: @@
 Le serveur squid est installé :
-<code root>apt-get install --no-install-recommends squid3</code>
+<code root>apt-get install squid3</code>
+<code root>apt-get build-dep squid3</code>
 =====Configuration de squid comme proxy transparent=====
+Squid permet options et modules :\\
+  * préfetch : de précharger les pages et ainsi accélérer la navigation;
+  * filtres antivirus, antipopups, etc.
+  * contrôle d'accès au proxy par login et mot de passe.
+  * contrôle d'accès en fonction des heures.
+Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui "ignorera" qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question l'accès par login et mot de passe...
 ===Faire une sauvegarde du fichier de configuration ===
-Le fichier est commenté quasiment entièrement.
+Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description assez complète de chacun d’eux.
-<code root>cp /etc/squid/squid.conf /etc/squid/squid.conf-saved</code>
+  * On sauvegarde l'original :
+<code root>cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back</code>
-Puis pour y voir plus clair, on toutes les lignes dé-commentées du fichier original, et on re-crée ce fichier afin qu'il ne contienne que ces lignes.
+  * Puis pour y voir plus clair
+On supprime toutes les lignes commentées et vide du fichier original, et on le re-crée afin qu'il ne contienne que ces lignes dé-commentées par défaut.
-<code root>echo "`grep -v "^#" /etc/squid/squid.conf | sed -e '/^$/d'`" >/etc/squid/squid.conf</code>
+<code root>echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf</code>
-Ce qui donne :
+  * On ajoute ou modifie les lignes suivantes :
-<code user>less /etc/squid/squid.conf</code>
+eth0 (vers internet) : 192.168.0.1\\
+eth1 (vers lan) : 192.168.1.1
 <code>
-acl all src all
+acl localnet src 192.168.1.0/24
-acl manager proto cache_object #par défaut
+acl lan src 192.168.0.1 192.168.1.0/24
-acl localhost src 127.0.0.1/32 # par défaut
+http_access allow localhost
-acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 # par défaut
+http_access allow localnet
-acl localnet src 10.0.0.0/8     # RFC1918 possible internal network
+http_access allow lan
-acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
+#Default:
-acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
+access_log /var/log/squid3/access.log squid
-acl SSL_ports port 443          # https
+</code>
-acl SSL_ports port 563          # snews
+> ''acl localnet src 192.168.1.0/24'' : le réseau qui doit avoir accès au serveur proxy
-acl SSL_ports port 873          # rsync
+>''acl lan src 192.168.0.1 192.168.1.0/24'': Liste de contrôle : le lan seulement utilise squid
+>''http_access allow localhost'': accès à squid permis au localhost
+>''http_access allow lan'': idem
+>''http_port 3128'' : "http_port 3128" devient "http_port 3128 transparent"
+>''access_log /var/log/squid3/access.log squid'' : le fichier de log est commenté, on récupère la ligne dans le fichier sauvegardé et on l'ajoute.
+  * Ce qui donne :
+<code user>less /etc/squid3/squid.conf</code>
+<code>
+acl manager proto cache_object
+acl localhost src 127.0.0.1/32 ::1
+acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
+acl localnet src 192.168.1.0/24 # RFC1918 possible internal network
+acl SSL_ports port 443
 acl Safe_ports port 80          # http
 acl Safe_ports port 21          # ftp
@@ Ligne 56: / Ligne 81: @@
 acl Safe_ports port 591         # filemaker
 acl Safe_ports port 777         # multiling http
-acl Safe_ports port 631         # cups
-acl Safe_ports port 873         # rsync
-acl Safe_ports port 901         # SWAT
-acl purge method PURGE
 acl CONNECT method CONNECT
-http_access deny all
+acl lan src 192.168.1.0/24
 http_access allow manager localhost
 http_access deny manager
-http_access allow purge localhost
-http_access deny purge
 http_access deny !Safe_ports
 http_access deny CONNECT !SSL_ports
-http_access allow localnet
 http_access allow localhost
+http_access allow localnet
+http_access allow lan
 http_access deny all
-icp_access allow localnet
+http_port 3128 transparent
-icp_access deny all
+# Leave coredumps in the first cache dir
-http_port 3128
+coredump_dir /var/spool/squid3
-hierarchy_stoplist cgi-bin ?
+#Default:
-cache_mem 8 MB
+access_log /var/log/squid3/access.log squid
-access_log /var/log/squid/access.log squid
 refresh_pattern ^ftp:           1440    20%     10080
 refresh_pattern ^gopher:        1440    0%      1440
 refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
-refresh_pattern (Release|Packages(.gz)*)$       0       20%     2880
 refresh_pattern .               0       20%     4320
-acl shoutcast rep_header X-HTTP09-First-Line ^ICY.[0-9]
-upgrade_http0.9 deny shoutcast
-acl apache rep_header Server ^Apache
-broken_vary_encoding allow apache
-extension_methods REPORT MERGE MKACTIVITY CHECKOUT
- visible_hostname debian-serveur
-hosts_file /etc/hosts
-coredump_dir /var/spool/squid
 </code>
-  * On ajoute ou modifie les lignes suivantes :
+===Redémarrer squid===
-eth0 (vers internet) : 192.168.0.1\\
+<code root>/etc/init.d/squid3 restart</code>
-eth1 (vers lan) : 192.168.1.1
-<code>
-acl localnet src 192.168.1.0/24
-httpd_accel_host virtual
-httpd_accel_port 80
-httpd_accel_with_proxy on
-httpd_accel_uses_host_header on
-acl lan src 192.168.0.1 192.168.1.0/24
-http_access allow localhost
-http_access allow lan
-</code>
-> ''acl localnet src 192.168.1.0/24'' : le réseau qui doit avoir accès au serveur proxy
->''httpd_accel_host virtual'': Squid comme un accélérateur de http((Dans ce mode, Squid est capable de se substituer à un serveur http, il fonctionne alors en "reverse proxying". Il ne sert donc plus à partager "le monde" pour un réseau, mais à partager une machine (ou plusieurs) "au monde". Ainsi, les clients n'accéderons plus au serveur http, mais à Squid. Dans une configuration classique, Squid devra donc écouter sur le port 80 et avoir connaissance du serveur http qu'il remplace. ))
->''httpd_accel_port 80'': choix du port 80 comme port contrôlé par le proxy
->''httpd_accel_with_proxy on'': poser squid comme proxy local et comme accélérateur http
->''httpd_accel_uses_host_header on'': activer le nom d'hôte
->''acl lan src 192.168.0.1 192.168.1.0/24'': Liste de contrôle : le lan seulement utilise squid
->''http_access allow localhost'': accès à squid permis au localhost
->''http_access allow lan'': idem
->''http_port 3128'' : "http_port 3128" devient "http_port 3128 transparent"
+S'il n'y a pas d'erreur :
+<code>[ ok ] Restarting Squid HTTP proxy: squid.</code>
+====Activation du cache ====
+Avec squid3 le cache n'est pas activer.\\
+Pour l'activer, il va falloir aller chercher dans le fichier original ce qui concerne la mise en cache !
+En voilà un résumé ;-)
+<note tip>
+**__Voici la définition de quelques options de configuration basiques :__**
+**''http_port''** : permet de définir le port sur lequel se lance Squid.\\ Par défaut, Squid se lance sur le port 3128. Il est également possible de définir plusieurs ports.
+  http_port 3128 8080
+**''cache_dir''** : permet d’indiquer où stocker les données mises en cache sur le disque.\\ Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.\\ Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.\\ Pour __mettre en place cette politique de remplacement des données en cache__ lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’**option cache_dir** qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.\\ Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.\\ Par exemple :
+  cache_dir ufs /usr/local/squid/var/cache/ 100 16 256
+"Remarque : Le type ufs de magasin:\\
+"ufs" est l'ancien format de stockage Squid bien connu qui a toujours été là."
+**''http_access''**, **''icp_access''** : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).\\ Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.\\ Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local :
+  * Définition d'une liste d'accès
+  acl localhost src 127.0.0.1/32
+  * Définition des droits de cette liste
+  http_access allow localhost
+  * Interdiction à toutes les autres listes
+  http_access deny all
+**__Concernant la mise en cache les résolutions DNS__** :
+**''positive_dns_ttl''** : permet de définir la limite supérieure au-delà de laquelle le serveur invalidera une résolution DNS positive mise en cache.
+Par défaut cette option est positionnée à 6 heures (360 minutes). Cette valeur doit être plus grande que celle de l’option negative_dns_ttl.
+**''negative_dns_ttl''** : permet de définir la durée pendant laquelle une résolution DNS négative sera gardée en cache. La valeur minimale est de 1 seconde et il n’est pas recommandé d’aller au-delà de 10 secondes.
+**__Concernant l'affichage des traces de debug__ :**
+**''log_mime_hdrs''** : permet d’afficher les en-têtes HTTP des requêtes et des réponses dans les logs d’activité.
+**''debug_options''** : cette option permet d’afficher les différentes informations de debug de Squid. Le système de log du serveur est décomposé en sections. Il est donc possible de paramétrer le niveau de log de chacune de ces sections en fonction de ce que l’on souhaite étudier.(( Il existe **93** sections et 10 niveaux de debug, de __0 à 9__, 9 étant le plus précis.)) Voici une configuration qui permet d’avoir un peu plus d’informations sur les traitements réalisés par Squid en interne ((attention toutefois car les fichiers de log peuvent très vite devenir volumineux)) :
+  debug_options ALL,1 17,2 55,2 56,2 57,2 58,2
+>section **17** Request Forwarding __2__
+>section **55** HTTP Header __2__
+>section **56** HTTP Message Body  __2__
+>section **57** HTTP Status-line  __2__
+>section **58** HTTP Reply (Response) __2__
+</note>
+  * Il faut donc extraire ce qui nous intéresse concernant le cache du fichier de configuration /etc/squid3/squid.conf :
+>#Default:
+>''# cache_mem 256 MB''
+>#Default:
+>''# maximum_object_size_in_memory 512 KB''
+># Décommentez et régler les éléments suivants pour ajouter un répertoire de cache disque:
+>''#cache_dir ufs /var/spool/squid3 100 16 256''
+>#Default:
+>''# store_dir_select_algorithm least-load''
+>#       A value of 0 indicates no limit.
+>#Default:
+>''# max_open_disk_fds 0''
+>#  TAG: minimum_object_size     (bytes)
+>#       Objects smaller than this size will NOT be saved on disk.  The
+>#       value is specified in kilobytes, and the default is 0 KB, which
+>#       means there is no minimum.
+>#Default:
+>''# minimum_object_size 0 KB''
+>#Default:
+>''# maximum_object_size 4096 KB''
+<note important>
+Comparer :\\
+-> ''# cache_mem 256 MB''\\
+-> ''#cache_dir ufs /var/spool/squid3 100 16 256''\\
+=> La définition de la mémoire cache (256 MB) serait plus large que l'espace disque défini (100MB) !\\
+Donc attention en dé-commentant !
+  df -h /var
+  Sys. fich.              Taille Util. Dispo Uti% Monté sur
+  /dev/mapper/systeme-var   2,8G  1,0G  1,7G  39% /var
+</note>
   * Ce qui donne :
 <code>
-acl all src all
+acl manager proto cache_object
-acl manager proto cache_object #par défaut
+acl localhost src 127.0.0.1/32 ::1
-acl localhost src 127.0.0.1/32 # par défaut
+acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
-acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 # par défaut
 acl localnet src 192.168.1.0/24 # RFC1918 possible internal network
-acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
+acl SSL_ports port 443
-acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
-acl SSL_ports port 443          # https
-acl SSL_ports port 563          # snews
-acl SSL_ports port 873          # rsync
 acl Safe_ports port 80          # http
 acl Safe_ports port 21          # ftp
@@ Ligne 138: / Ligne 216: @@
 acl Safe_ports port 591         # filemaker
 acl Safe_ports port 777         # multiling http
-acl Safe_ports port 631         # cups
-acl Safe_ports port 873         # rsync
-acl Safe_ports port 901         # SWAT
-acl purge method PURGE
 acl CONNECT method CONNECT
-http_access deny all
+acl lan src 192.168.0.1 192.168.1.0/24
 http_access allow manager localhost
 http_access deny manager
-http_access allow purge localhost
-http_access deny purge
 http_access deny !Safe_ports
 http_access deny CONNECT !SSL_ports
-http_access allow localnet
-httpd_accel_host virtual
-httpd_accel_port 80
-httpd_accel_with_proxy on
-httpd_accel_uses_host_header on
-acl lan src 192.168.0.1 192.168.1.0/24
 http_access allow localhost
+http_access allow localnet
 http_access allow lan
 http_access deny all
-icp_access allow localnet
-icp_access deny all
 http_port 3128 transparent
-hierarchy_stoplist cgi-bin ?
-cache_mem 8 MB
+#Default:
-access_log /var/log/squid/access.log squid
+#cache_mem 256 MB
+cache_mem 100 MB
+#Default:
+maximum_object_size_in_memory 512 KB
+# Décommentez et régler les éléments suivants pour ajouter un répertoire de cach
+e disque:
+cache_dir ufs /var/spool/squid3 100 16 256
+#Default:
+store_dir_select_algorithm least-load
+# A value of 0 indicates no limit.
+#Default:
+max_open_disk_fds 0
+# TAG: minimum_object_size (bytes)
+# Objects smaller than this size will NOT be saved on disk. The
+# value is specified in kilobytes, and the default is 0 KB, which
+# means there is no minimum.
+#Default:
+minimum_object_size 0 KB
+#Default:
+maximum_object_size 4096 KB
+# Leave coredumps in the first cache dir
+coredump_dir /var/spool/squid3
+#Default:
+access_log /var/log/squid3/access.log squid
 refresh_pattern ^ftp:           1440    20%     10080
 refresh_pattern ^gopher:        1440    0%      1440
 refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
-refresh_pattern (Release|Packages(.gz)*)$       0       20%     2880
 refresh_pattern .               0       20%     4320
-acl shoutcast rep_header X-HTTP09-First-Line ^ICY.[0-9]
-upgrade_http0.9 deny shoutcast
-acl apache rep_header Server ^Apache
-broken_vary_encoding allow apache
-extension_methods REPORT MERGE MKACTIVITY CHECKOUT
- visible_hostname debian-serveur
-hosts_file /etc/hosts
-coredump_dir /var/spool/squid
 </code>
-S'il n'y a pas d'erreur :
-<code>[ ok ] Restarting Squid HTTP proxy: squid.</code>
-===Redémarrer squid===
+  * Et quand on relance squid3
-<code root>/etc/init.d/squid restart</code>
+<code root>/etc/init.d/squid3 start</code>
+<code>
+/10/17 09:28:42| Creating Swap Directories
+/10/17 09:28:42| /var/spool/squid3 exists
+/10/17 09:28:42| Making directories in /var/spool/squid3/00
+/10/17 09:28:42| Making directories in /var/spool/squid3/01
+/10/17 09:28:42| Making directories in /var/spool/squid3/02
+/10/17 09:28:42| Making directories in /var/spool/squid3/03
+/10/17 09:28:42| Making directories in /var/spool/squid3/04
+/10/17 09:28:42| Making directories in /var/spool/squid3/05
+/10/17 09:28:42| Making directories in /var/spool/squid3/06
+/10/17 09:28:42| Making directories in /var/spool/squid3/07
+/10/17 09:28:42| Making directories in /var/spool/squid3/08
+/10/17 09:28:42| Making directories in /var/spool/squid3/09
+/10/17 09:28:42| Making directories in /var/spool/squid3/0A
+/10/17 09:28:42| Making directories in /var/spool/squid3/0B
+/10/17 09:28:42| Making directories in /var/spool/squid3/0C
+/10/17 09:28:42| Making directories in /var/spool/squid3/0D
+/10/17 09:28:42| Making directories in /var/spool/squid3/0E
+/10/17 09:28:43| Making directories in /var/spool/squid3/0F
+. ok </code>
 ===== configuration d'iptables (NAT) =====
 Nous n'avons pour l'instant que l'IP masquerade mis en place :
@@ Ligne 191: / Ligne 290: @@
 <code root>
-iptables -t nat -A PREROUTING -i eth1 -s 192.168.1.0/24 -p tcp --dport 80 -j REDIRECT --to-port 3128
+iptables -t nat -A PREROUTING -s 192.168.0.1 -p tcp --dport 80 -j ACCEPT
-iptables -t nat -I PREROUTING 1 -i eth1 -s 192.168.1.0/24 -p tcp -m tcp --dport 80 -J ACCEPT
+iptables -t nat -A PREROUTING -p tcp --dport 80 -j DNAT\
+ --to-destination 192.168.0.1:3128
+iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP
+iptables -t nat -A PREROUTING -i eth1 -s 192.168.1.0/24\
+ -p tcp --dport 80 -j REDIRECT --to-port 3128
+iptables -t nat -I PREROUTING 1 -i eth1 -s 192.168.1.0/24\
+ -p tcp -m tcp --dport 80 -J ACCEPT
 </code>
@@ Ligne 225: / Ligne 330: @@
   * Faire rendre en compte une éventuelle modification :
 <code root>sysctl -p</code>
+=====Vérifications====
+====Passage par le proxy ====
+Vérifie si le sous-réseau qui passe est connecté au web par le passerelle, passe bien par le proxy.
+===Générer du flux ===
+Tout bêtement, de côté du lan, on navigue en observant le fichier des logs d'accès :
+  * Le fichier /var/log/squid3/access.log
+Par exemple :
+<code root>
+tail -f /var/log/squid3/access.log
+</code>
+Puis côté du Lan, on navigue, il y a alors du mouvement de le fichier de log :
+<code>
+1413554295.061    138 192.168.1.2 TCP_MISS/200 13345 GET http://debian-facile.org/ - DIRECT/212.129.32.102 text/html
+1413554295.098     36 192.168.1.2 TCP_MISS/200 8320 GET http://debian-facile.org/style/Kao.css - DIRECT/212.129.32.102 text/css
+1413554295.108     59 192.168.1.2 TCP_MISS/200 950 GET http://debian-facile.org/nono.css - DIRECT/212.129.32.102 text/css
+<...>
+1413554299.083     32 192.168.1.2 TCP_MISS/200 554 GET http://debian-facile.org/style/Air/img/asterisk.png - DIRECT/212.129.32.102 image/png
+1413554301.463     74 192.168.1.2 TCP_MISS/200 1391 POST http://debian-facile.org/login.php? - DIRECT/212.129.32.102 text/html
+<...>
+</code>
+<note tip>
+**__Détail sur  /var/log/squid3/access.log__ :**\\
+On y retrouve tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :\\ **''time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type''**\\
+> **''time''** : le temps UTC (en ms) auquel la requête a été reçue.
+>**''elapsed''** : le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) :
+  * Pour TCP, il s’agit du temps écoulé entre le moment où le serveur a reçu la requête et le moment où il a répondu au client.
+  * Pour UDP, il s’agit du temps calculé entre le moment où le serveur prévoit de répondre au client et le moment où il lui répond effectivement.
+>**''remotehost''** : l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes.
+>**''code/status''** : le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas.
+>**''bytes''** : la taille de la donnée livrée au client.
+>**''method''** : la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.).
+>**''URL''** : l’URL de la ressource demandée.
+>**''rfc931''** : les informations utilisateurs (désactivé par défaut).
+>**''hierarchy code''** : un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée.
+>**''type''** : le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).
+</note>
+  * Voir le fichier /var/log/squid3/cache.log
+On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.\\
+Par exemple ci-dessous les DNS enregistrés :
+<code>2014/10/16 13:11:45| Process ID 3735
+/10/16 13:11:45| With 65535 file descriptors available
+/10/16 13:11:45| Initializing IP Cache...
+/10/16 13:11:45| DNS Socket created at [::], FD 7
+/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8
+/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
+/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf
+/10/16 13:11:45| Unlinkd pipe opened on FD 13<...></code>
+====Les pages web visitées et la cache====
 ===== Utilisation =====

Debian-facile

Différences

Pied de page des forums