L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Différences

Ci-dessous, les différences entre deux révisions de la page.

--- utilisateurs:hypathie:tutos:proxy-transparent [18/10/2014 07:19]
Hypathie [Introduction]
+++ utilisateurs:hypathie:tutos:proxy-transparent [02/11/2014 11:41]
Hypathie [Configuration détaillée du proxy]
@@ Ligne 26: / Ligne 26: @@
 === Configuration d'iptables (NAT) ===
-  * Il faut ajouter :
+  * Pour faire choses proprement on flush les tables concernées et on ajoute :
 <code root>
@@ Ligne 34: / Ligne 34: @@
 iptables -t mangle -X
-iptables -t nat -A PREROUTING -i eth0 -s 192.168.0.1 -p tcp --dport 80 -j ACCEPT
+iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
-iptables -t nat -A PREROUTING -i eth1 -p tcp -m tcp --dport 80\
+iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j DNAT --to 192.168.0.1:3128
- -j DNAT --to-destination 192.168.0.1:3128
-iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP
-iptables -t nat -A PREROUTING -i eth1 -s 192.168.1.0/24\
+iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128
- -p tcp --dport 80 -j REDIRECT --to-port 3128
-iptables -t nat -A PREROUTING -i eth0 -p tcp -m tcp --dport 80\
+iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP
- -j REDIRECT --to-ports 3128
-iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
 </code>
+Voir un autre exemple : [[http://sourcelinux.wikidot.com/setting-up-squid-in-gateway-as-a-transparent-proxy]]
-  * Ce qui donne :
-<code root>iptables -L -t nat</code>
-<code>Chain PREROUTING (policy ACCEPT)
+<note>
-target     prot opt source        destination
+**Ne pas oublier d'ouvrir éventuellement le port 3128 si un pare-feu posé précédemment met à DROP les chaînes INPUT FORWARD et OUTPUT à DROP la table FILTER**
-ACCEPT     tcp  --  debian-serveur.mondomaine.hyp  anywhere   tcp dpt:http
-DNAT       tcp  --  anywhere             anywhere  tcp dpt:http to:192.168.0.1:3128
-REDIRECT   tcp  --  192.168.1.0/24       anywhere  tcp dpt:http redir ports 3128
-Chain INPUT (policy ACCEPT)
-target     prot opt source      destination
-Chain OUTPUT (policy ACCEPT)
-target     prot opt source      destination
-Chain POSTROUTING (policy ACCEPT)
-target     prot opt source      destination
-MASQUERADE  all  --  anywhere   anywhere</code>
-<code root>iptables -L PREROUTING -t mangle</code>
-<code>iptables -L -t mangle
-Chain PREROUTING (policy ACCEPT)
-target     prot opt source   destination
-DROP       tcp  --  anywhere anywhere      tcp dpt:3128</code>
-<note>
 **Pour mangle**, une petite citation extrait du [[http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat|site officiel de squid]] :
@@ Ligne 84: / Ligne 57: @@
   so that intercepted traffic does not get dropped.
-**Par contre, concernant les deux interfaces, il faut lancer les commandes iptables pour le DNAT sur l'interface côté lan, et sur l'IP du serveur proxy du réseau côté web.**
+</note>
+  * On conserve nos règles iptables pour le proxy
+<code root>
+iptables-save > /etc/iptables.squid
+echo "post-up iptables-restore < /etc/iptables.squid" >> /etc/network/interfaces</code>
-</note>
 ===Configurer /etc/sysctl.conf ===
 La première ligne est probablement déjà configurer tel que ce-dessous. Modifier aussi la seconde
@@ Ligne 96: / Ligne 73: @@
 net.ipv4.conf.default.rp_filter = 0
 </code>
-  * Faire rendre en compte une éventuelle modification :
+  * Faire prendre en compte une éventuelle modification :
 <code root>sysctl -p</code>
-===Installer le serveur squid3===
+====Installer le serveur squid3====
-<code root>apt-get install squid3</code>
 <code root>apt-get build-dep squid3</code>
+<code root>apt-get install squid3</code>
 =====Configuration de squid comme proxy transparent=====
@@ Ligne 120: / Ligne 99: @@
 <code root>cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back</code>
-  * Puis pour y voir plus clair :
+  * **Puis pour y voir plus clair :**
 On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut.
 <code root>echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf</code>
-  * On ajoute ou modifie les lignes suivantes :
+====Vérifier le proxy ====
-Rappel de la configuration:\\
+===Bloquer tous le trafic du LAN ===
-eth0 (vers internet) : 192.168.0.1\\
+Dans un premier temps on va simplement vérifier que le proxy bloque le trafic du LAN, pour ce faire on ajoute seulement une acl pour le réseau de la passerelle 192.168.0.0/24 et on prévient squid qu'il sert de proxy transparent ''http_port 3128 transparent'' :
-eth1 (vers lan) : 192.168.1.1
+  * **On édite /etc/squid3/squid.conf**
+<code root>vim /etc/squid3/squid.conf</code>
-> ''acl localnet src 192.168.1.0/24'' : le réseau qui doit avoir accès au serveur proxy
->''acl lan src 192.168.0.1 192.168.1.0/24'': Liste de contrôle : le lan seulement utilise squid
->''http_access allow localhost'': accès à squid permis au localhost
->''http_access allow lan'': idem
->''http_port 3128'' : "http_port 3128" devient "http_port 3128 transparent"
->''access_log /var/log/squid3/access.log squid'' : le fichier de log est commenté, on récupère la ligne dans le fichier sauvegardé et on l'ajoute.
-  * Concernant le cache tout est commenté dans le fichier original
+  * **Ce qui donne :**
-On récupère le concernant, et on l'ajoute aussi dans le fichier /etc/squid3/squid.conf
-  * Ce qui donne :
-<code user>less /etc/squid3/squid.conf</code>
 <code>
 acl manager proto cache_object
@@ Ligne 159: / Ligne 129: @@
 acl Safe_ports port 777         # multiling http
 acl CONNECT method CONNECT
-acl lan src 192.168.0.1 192.168.1.0/24
 http_access allow manager localhost
 http_access deny manager
@@ Ligne 165: / Ligne 134: @@
 http_access deny CONNECT !SSL_ports
 http_access allow localhost
 http_access allow localnet
-http_access allow lan
 http_access deny all
 http_port 3128 transparent
+coredump_dir /var/spool/squid3
+refresh_pattern ^ftp:           1440    20%     10080
+refresh_pattern ^gopher:        1440    0%      1440
+refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
+refresh_pattern .               0       20%     4320
+</code>
+> Il est inutile d'interdire le trafic du LAN (192.168.1.0/24) avec une acl ''acl localnet src 192.168.1.0/24'' ; ''http_access deny localnet'' car on a tout interdit sauf localhost (127.0.0.0/8) et localnet.
-#hierarchy_stoplist cgi-bin ?
+  * On recharge squid3 :
+<code root>/etc/init.d/squid3 restart</code>
-# MEMORY CACHE OPTIONS
+  * **Si on tente de naviguer depuis le LAN :**
-#Default:
+{{http://pix.toile-libre.org/upload/img/1414862596.png|}}
-#cache_mem 256 MB
-cache_mem 8 MB
-#Default:
-maximum_object_size_in_memory 256 KB
-#memory_replacement_policy lru
-# DISK CACHE OPTIONS
-# Décommentez et régler les éléments suivants pour ajouter un répertoire de cache disque:
-cache_dir ufs /var/spool/squid3 100 16 256
-#Default:
+===Autoriser le trafic pour le LAN===
-#store_dir_select_algorithm least-load
+  * **On ajoute une acl pour le lan et on l'autorise !**
+<code root>vim /etc/squid3/squid.conf</code>
+<code>
+<...>
+acl lan src 192.168.1.0/24
+<...>
+http_access allow localnet
+</code>
-# A value of 0 indicates no limit.
+  * **On recharge squid3 :**
-#Default:
+<code root>/etc/init.d/squid3 restart</code>
-max_open_disk_fds 0
-# TAG: minimum_object_size (bytes)
-# Objects smaller than this size will NOT be saved on disk. The
-# value is specified in kilobytes, and the default is 0 KB, which
-# means there is no minimum.
-#Default:
-minimum_object_size 0 KB
-#Default:
-maximum_object_size 10 KB
-# LOG_FILE OPTIONS
+=====Configuration détaillée du proxy =====
-#Default:
+====Mise en place du cache pour le LAN  ====
-access_log /var/log/squid3/access.log squid
+===Créer un dossier pour le cache===
-#Default:
+  * **Vérifier la taille de l'emplacement pour le cache :**
-cache_log /var/log/squid3/cache.log
+Par exemple /home
+<code root>cd /home</code>
+<code root>du -hs</code>
+M
-# Leave coredumps in the first cache dir
+  * **Création d'un dossier d'une taille prédéfinie de 20M**
-#coredump_dir /var/spool/squid3
-# OPTIONS FOR TUNING THE CACHE
-cache allow all
-refresh_pattern ^ftp:           1440    20%     10080
-refresh_pattern ^gopher:        1440    0%      1440
-refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
-refresh_pattern .               0       20%     4320
-hosts_file /etc/hosts
+<code root>mkdir -p /home/proxy/cache/</code>
-</code>
-===Activation du cache ===
+<code root>chmod 777 /home/proxy/cache</code>
+<code root>chown proxy:proxy /home/proxy/cache</code>
+===Configuration de squid3 pour la mise en place du cache===
 Avec squid3 le cache n'est pas activer.\\
 Pour l'activer, il va falloir aller chercher dans le fichier original ce qui concerne la mise en cache !
@@ Ligne 294: / Ligne 258: @@
 >#Default:
 >''# maximum_object_size 4096 KB''
+>''cache'' : pour déterminer l'utilisation du cache\\ ''cache allow LocalNet'' ; elle doit remplacer ''no_cache''
 <note important>
@@ Ligne 310: / Ligne 275: @@
 </note>
-  * Grâce à la ligne suivant les fichiers du cache sont créés
+  * **On désactive squid3**
->''cache_dir ufs /var/spool/squid3 100 16 256''
+<code root>/etc/init.d/squid3 stop</code>
-Et quand on re-démarre squid3 :
+  * **On édite /etc/squid3/squid.conf :**
+Pour lui ajouter les directives du fichier "my-squid.conf en adaptant leurs valeurs à sa configuration
+<code root>vim /etc/squid3/squid.conf</code>
-<code root>/etc/init.d/squid3 restart</code>
+  * **Ou télécharger ce fichier :**
+<code texte my-squid.conf>
+# ACCESS CONTROLS OPTIONS
+# ====================
+acl QUERY urlpath_regex -i cgi-bin \? \.php$ \.asp$ \.shtml$ \.cfm$ \.cfml$ \.phtml$ \.php3$ localhost
+acl all src
+acl localhost src 127.0.0.1/32 ::1
+acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
+acl localnet src 192.168.0.0/24 # RFC1918 possible internal network
+acl lan src 192.168.1.0/24
+acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 81 3128 1025-65535
+acl sslports port 443 563 81 2087 10000
+acl manager proto cache_object
+acl purge method PURGE
+acl connect method CONNECT
+http_access allow manager localhost
+http_access deny manager
+http_access deny safeports
+http_access deny CONNECT !sslports
+http_access allow localhost
+http_access allow localnet
+http_access allow lan
+http_access deny all
+# NETWORK OPTIONS
+# ====================
+http_port 3128 transparent
+# OPTIONS WHICH AFFECT THE CACHE SIZE
+# ==============================
+cache_mem 16 MB
+maximum_object_size_in_memory 32 KB
+memory_replacement_policy heap GDSF
+cache_replacement_policy heap LFUDA
+cache_dir aufs /home/proxy/cache 20000 14 256
+maximum_object_size 128000 KB
+cache_swap_low 95
+cache_swap_high 99
+# LOGFILE PATHNAMES AND CACHE DIRECTORIES
+# ==================================
+access_log /var/log/squid3/access.log
+cache_log /var/log/squid3/cache.log
+cache_store_log none
+logfile_rotate 5
+log_icp_queries off
+# OPTIONS FOR TUNING THE CACHE
+# ========================
+cache deny QUERY
+refresh_pattern ^ftp: 1440 20% 10080 reload-into-ims
+refresh_pattern ^gopher: 1440 0% 1440
+refresh_pattern -i \.(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private
+refresh_pattern -i \.(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 10080 90% 43200 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private
+refresh_pattern -i \.(avi|iso|wav|mid|mp?|mpeg|mov|3gp|wm?|swf|flv|x-flv|axd)$ 43200 95% 432000 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private
+refresh_pattern -i \.(html|htm|css|js)$ 1440 75% 40320
+refresh_pattern -i \.index.(html|htm)$ 0 75% 10080
+refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
+refresh_pattern . 1440 90% 10080
+#
+quick_abort_min 0 KB
+quick_abort_max 0 KB
+quick_abort_pct 100
+store_avg_object_size 13 KB
+# HTTP OPTIONS
+# ===========
+vary_ignore_expire on
+# ANONIMITY OPTIONS
+# ===============
+request_header_access From deny all
+request_header_access Server deny all
+request_header_access Link deny all
+request_header_access Via deny all
+request_header_access X-Forwarded-For deny all
+# TIMEOUTS
+# =======
+forward_timeout 240 second
+connect_timeout 30 second
+peer_connect_timeout 5 second
+read_timeout 600 second
+request_timeout 60 second
+shutdown_lifetime 10 second
+# ADMINISTRATIVE PARAMETERS
+# =====================
+cache_mgr routeur-debian
+cache_effective_user proxy
+cache_effective_group proxy
+httpd_suppress_version_string on
+visible_hostname routeur-debian
+ftp_list_width 32
+ftp_passive on
+ftp_sanitycheck on
+# DNS OPTIONS
+# ==========
+dns_timeout 10 seconds
+dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241
+# MISCELLANEOUS
+# ===========
+memory_pools off
+client_db off
+reload_into_ims on
+coredump_dir /var/log/squid
+pipeline_prefetch on
+offline_mode off
+</code>
+  * Copie du précédent fichier squid.conf :
+<code root>mv /etc/squid3/squid.conf /etc/squid3/squid.conf-BAK2</code>
+  * Mise en place du nouveau fichier /etc/squid3/squid.conf
+<code root>mv /home/hypathie/Téléchargements/my-squid.conf /etc/squid3/squid.conf</code>
+  * **Et quand on re-démarre squid3 :**
+> Grâce à la directive ''cache_dir'' les fichiers du cache sont créés
+<code root>/etc/init.d/squid3 start</code>
 <code>2014/10/17 16:29:49| Creating Swap Directories
 /10/17 16:29:49| /var/spool/squid3 exists
@@ Ligne 343: / Ligne 437: @@
   * On se déplace dans le répertoire du cache :
 (S'il vous plaît servez-vous de l'auto-complétion, surtout ici)
-<code root>cd /var/spool/squid3/</code>
+<code root>cd /home/cache</code>
   * On supprime tous les dossiers
@@ Ligne 362: / Ligne 456: @@
 =====Vérifications====
+Dans le fichier de configuration /etc/squid3/squid.conf :\\
+  * les dossiers du cache : /var/spool/squid3
+  * le fichier de log d'accès : /var/log/squid3/access.log
+  * cache_store_log: /var/log/squid3/store.log\\ Enregistre les activités du gestionnaire de stockage. Cela montre quels les objets sont éjectés de la mémoire cache, et où les objets sont enregistrés et pour combien de temps. Pour désactiver, entrez "none" ou supprimer la ligne. Vous pouvez désactiver en toute sécurité.
+  * mime_table (pour utiliser FTP) : /usr/share/squid3/mime.conf
+  * cache_log /var/log/squid3/cache.log
 ====Vérifier le passage par le proxy ====
 Pour vérifier que le sous-réseau qui est connecté au web via la passerelle, passe bien de même par le proxy.\\
 Il faut :
   * Générer du flux depuis le sous-réseau
 Tout bêtement, de côté du lan, on navigue !
@@ Ligne 385: / Ligne 487: @@
 <...>
 </code>
+====Vérifier le cache ====
+Ci-dessus, nous avons observé que les connexions passaient par le proxy.\\
+Pour vérifier que squid sert au client une page de son cache, il faut visiter le même URL plusieurs fois.
+La 1ère fois on a normalement dans /var/log/squid3/access.log, ''TCP_MISS'', mais après on doit obtenir ''TCP_HIT''.
+  * TCP_MISS : L'objet demandé n'est pas dans le cache.
+  * TCP_HIT : Une copie valide de l'objet demandé était dans le cache.
+On peut trouver d'autres indications :
+  * TCP_REFRESH_HIT :   L'objet demandé a été mis en cache mais obsolète (ICM -> 304).
+  * TCP_REF_FAIL_HIT : L'objet demandé a été mis en cache mais il obsolète ; la requête IMS a échoué mais l'objet a été livré.
+  * TCP_REFRESH_MISS : L'objet demandé a été mis en cache mais était obsolète. La requête IMS retourné le nouveau contenu.
+  * TCP_CLIENT_REFRESH_MISS : Le client a émis une certaine demande de cache en même temps que la demande.  Ainsi, le cache doit extraire à nouveau l'objet.
+  * TCP_IMS_HIT : Le client a émis une demande IMS pour un objet qui est nouvellement dans le cache.
+  * TCP_NEGATIVE_HIT :Demande d'un objet mis en cache négative, par exemple "404 Not Found"
+  * TCP_MEM_HIT : Une copie valide de l'objet demandé a été mis dans la mémoire du cache, évitant ainsi les accès disque.
+  * TCP_DENIED : Accès a été refusé pour cette demande.
+  * TCP_OFFLINE_HIT : L'objet demandé a été récupéré à partir du cache en mode déconnecté. Voir "offline_mode" dans le fichier squid.conf.
+Se connecter plusieurs fois et tenter la commande :
+  *Il faut un certain temps pour obtenir des HIT
+<code root>tail -f /var/log/squid3/cache.log | grep  TCP_HIT</code>
+<code>Server: ECS (cdg/D62E)\r\nX-Cache: HIT\r\nContent-Length: 471\r\n\r]
+1413884011.978     66 192.168.1.2 TCP_MISS/200 919 POST http://ocsp.digicert.com/ - DIRECT/93.184.220.29 application/ocsp-response [Host: ocsp.digicert.com\r\nUser-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0 Iceweasel/31.2.0\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\nAccept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3\r\nAccept-Encoding: gzip, deflate\r\nDNT: 1\r\nContent-Length: 83\r\nContent-Type: application/ocsp-request\r\nConnection: keep-alive\r\n] [HTTP/1.1 200 OK\r\nAccept-Ranges: bytes\r\nCache-Control: max-age=514328\r\nContent-Type: application/ocsp-response\r\nDate: Tue, 21 Oct 2014 09:32:42 GMT\r\nETag: "5445fdee-1d7"\r\nExpires: Mon, 27 Oct 2014 21:32:42 GMT\r\nLast-Modified: Tue, 21 Oct 2014 06:32:14 GMT\r\nServer: ECS (cdg/4484)\r\nX-Cache: HIT\r\nContent-Length: 471\r\n\r]</code>
+====Vérifier le cache====
+===Voir le fichier /var/log/squid3/cache.log===
+On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.\\
+  * Par exemple ci-dessous les DNS enregistrés :
+<code>2014/10/16 13:11:45| Process ID 3735
+/10/16 13:11:45| With 65535 file descriptors available
+/10/16 13:11:45| Initializing IP Cache...
+/10/16 13:11:45| DNS Socket created at [::], FD 7
+/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8
+/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
+/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf
+/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf
+/10/16 13:11:45| Unlinkd pipe opened on FD 13<...></code>
 <note tip>
@@ Ligne 414: / Ligne 563: @@
 >**''type''** : le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).
 </note>
-====Vérifier le cache====
-===Voir le fichier /var/log/squid3/cache.log===
-On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.\\
-  * Par exemple ci-dessous les DNS enregistrés :
-<code>2014/10/16 13:11:45| Process ID 3735
-/10/16 13:11:45| With 65535 file descriptors available
-/10/16 13:11:45| Initializing IP Cache...
-/10/16 13:11:45| DNS Socket created at [::], FD 7
-/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8
-/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
-/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
-/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf
-/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf
-/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf
-/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf
-/10/16 13:11:45| Unlinkd pipe opened on FD 13<...></code>

Debian-facile

Différences

Pied de page des forums