Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →
Ceci est une ancienne révision du document !
Voir : le site de squid
proxy transparent
Voir aussi : http://www.sput.nl/software/squid33.html
http://www.linux-france.org/prj/edu/archinet/systeme/ch40s02.html
Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration. On parle alors de « proxy transparent ». Cette configuration est obtenue par translation d'adresse IP.
Un serveur DNS est installé sur la passerelle.
La passerelle est mise en place avec masquerade :
(eth0 est la carte ethernet vers le web)
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
iptables -t nat -F iptables -t nat -X iptables -t mangle -F iptables -t mangle -X iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j DNAT --to 192.168.0.1:3128 iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128 iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP
Voir un autre exemple : http://sourcelinux.wikidot.com/setting-up-squid-in-gateway-as-a-transparent-proxy
Pour mangle, une petite citation extrait du site officiel de squid :
Due to the NAT security vulnerabilities it is also a very good idea to block external access to the internal receiving port. This has to be done in the mangle part of iptables before DNAT happens so that intercepted traffic does not get dropped.
iptables-save > /etc/iptables.squid echo "post-up iptables-restore < /etc/iptables.squid" >> /etc/network/interfaces
La première ligne est probablement déjà configurer tel que ce-dessous. Modifier aussi la seconde
# Controls IP packet forwarding net.ipv4.ip_forward = 1 # Controls source route verification net.ipv4.conf.default.rp_filter = 0
sysctl -p
apt-get build-dep squid3
apt-get install squid3
Squid permet options et modules :
Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui “ignorera” qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question l'accès par login et mot de passe…
Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description très complète de chacun d’eux.
C'est très important pour la suite !
cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back
On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut.
echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf
Dans un premier temps on va simplement vérifier que le proxy bloque le trafic du LAN, pour ce faire on ajoute seulement une acl pour le réseau de la passerelle 192.168.0.0/24 et on prévient squid qu'il sert de proxy transparent http_port 3128 transparent
:
vim /etc/squid3/squid.conf
acl manager proto cache_object acl localhost src 127.0.0.1/32 ::1 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 acl localnet src 192.168.0.0/24 # RFC1918 possible internal network acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost http_access allow localnet http_access deny all http_port 3128 transparent coredump_dir /var/spool/squid3 refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320
Il est inutile d'interdire le trafic du LAN (192.168.1.0/24) avec une aclacl localnet src 192.168.1.0/24
;http_access deny localnet
car on a tout interdit sauf localhost (127.0.0.0/8) et localnet.
/etc/init.d/squid3 restart
vim /etc/squid3/squid.conf
<...> acl lan src 192.168.1.0/24 <...> http_access allow localnet
/etc/init.d/squid3 restart
fdisk -l
Périphérique Amorce Début Fin Blocs Id Système /dev/sdg1 63 1336206374 668103156 83 Linux /dev/sdg2 1336206375 3907024064 1285408845 83 Linux
On démonte la partition :
umount /dev/sdg1
df
<...> /dev/sdg1 657618716 202064 624011496 1% /media/ <...>
umount /dev/sdg1
Par exemple avec lxde : gestionnaire de fichiers → Éditer → Préférences → Gestion des volumes\ Puis on décoche “Monter les volumes amovibles automatiquement lors du démarrage” et “Monter les volumes amovibles automatiquement quand ils sont insérés”.
mkfs.ext3 /dev/sdg1
mkdir /data/
mount /dev/sdg1 /data
mkdir /data/cache/
chmod -R 777 /data/cache/
chown -R proxy:proxy /data/cache/
blkid /dev/sdg1
vim /etc/fstab
On ajoute à la fin du fichier :
UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d /data none bind,rw,noatime,async 0 0
Avec squid3 le cache n'est pas activer par défaut.
/etc/init.d/squid3 stop
Pour lui ajouter les directives du fichier “my-squid.conf en adaptant leurs valeurs à sa configuration
vim /etc/squid3/squid.conf
acl manager proto cache_object acl localhost src 127.0.0.1/32 ::1 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 acl lan src 192.168.1.0/24 acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost http_access allow lan http_access deny all icp_access allow localhost icp_access deny all http_port 3128 transparent cache_mem 256 MB minimum_object_size 3 KB maximum_object_size 6 MB ipcache_size 10240 fqdncache_size 10240 memory_replacement_policy heap GDSF cache_replacement_policy heap LFUDA cache_dir aufs /data/cache 20000 14 256 cache_swap_low 95 cache_swap_high 99 cache_effective_user proxy cache_effective_group proxy access_log /var/log/squid3/access.log squid #cache_log /var/log/squid3/cache.log #cache_store_log /var/log/squid3/store.log coredump_dir /var/spool/squid3 cache allow lan refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320 visible_hostname routeur-debian dns_timeout 10 seconds dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241
squid3 -z
2014/11/04 12:56:33| Creating Swap Directories 2014/11/04 12:56:33| /data/cache exists 2014/11/04 12:56:33| Making directories in /data/cache/00 2014/11/04 12:56:33| Making directories in /data/cache/01 2014/11/04 12:56:33| Making directories in /data/cache/02 2014/11/04 12:56:33| Making directories in /data/cache/03 2014/11/04 12:56:33| Making directories in /data/cache/04 2014/11/04 12:56:33| Making directories in /data/cache/05 2014/11/04 12:56:33| Making directories in /data/cache/06 2014/11/04 12:56:33| Making directories in /data/cache/07 2014/11/04 12:56:33| Making directories in /data/cache/08 2014/11/04 12:56:33| Making directories in /data/cache/09 2014/11/04 12:56:33| Making directories in /data/cache/0A 2014/11/04 12:56:33| Making directories in /data/cache/0B 2014/11/04 12:56:33| Making directories in /data/cache/0C 2014/11/04 12:56:33| Making directories in /data/cache/0D
cache_mem
: Il s'agit de la taille de la mémoire RAM et la valeur choisie doit être adaptée à son matérielle.
Plus squid est configuré avec un stockage disque important via la directive cache_dir plus il aura besoin de mémoire pour en ordonné l’utilisation. Mais en outre plus vous allouez d’espace de mémoire pour squid via la directive cache_mem plus squid aura besoin de mémoire vive, en dehors du quota alloué par cette directive, pour ordonner la aussi les objets stocker dans ce cache.
Pour connaître la taille et le détaille de l'utilisation de la RAM : free -m
cache_dir
: permet d’indiquer où stocker les données mises en cache sur le disque.
Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.
Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.
Pour mettre en place cette politique de remplacement des données en cache lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’option cache_dir qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.
Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.
Par défaut :
cache_dir ufs /usr/local/squid/var/cache/ 100 16 256
“Remarque : Le type ufs de magasin:
“ufs” est l'ancien format de stockage Squid bien connu qui a toujours été là.”
http_access
, icp_access
: permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).
Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.
Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local :
acl localhost src 127.0.0.1/32
http_access allow localhost
http_access deny all
Concernant la mise en cache les résolutions DNS :
positive_dns_ttl
: permet de définir la limite supérieure au-delà de laquelle le serveur invalidera une résolution DNS positive mise en cache.
Par défaut cette option est positionnée à 6 heures (360 minutes). Cette valeur doit être plus grande que celle de l’option negative_dns_ttl.
negative_dns_ttl
: permet de définir la durée pendant laquelle une résolution DNS négative sera gardée en cache. La valeur minimale est de 1 seconde et il n’est pas recommandé d’aller au-delà de 10 secondes.
Concernant l'affichage des traces de debug :
log_mime_hdrs
: permet d’afficher les en-têtes HTTP des requêtes et des réponses dans les logs d’activité.
debug_options
: cette option permet d’afficher les différentes informations de debug de Squid. Le système de log du serveur est décomposé en sections. Il est donc possible de paramétrer le niveau de log de chacune de ces sections en fonction de ce que l’on souhaite étudier.1) Voici une configuration qui permet d’avoir un peu plus d’informations sur les traitements réalisés par Squid en interne 2) :
debug_options ALL,1 17,2 55,2 56,2 57,2 58,2
section 17 Request Forwarding 2
section 55 HTTP Header 2
section 56 HTTP Message Body 2
section 57 HTTP Status-line 2
section 58 HTTP Reply (Response) 2
# cache_mem 256 MB
#cache_dir ufs /var/spool/squid3 100 16 256
⇒ La définition de la mémoire cache (256 MB) serait plus large que l'espace disque défini (100MB) !
Donc attention en dé-commentant !
df -h /var Sys. fich. Taille Util. Dispo Uti% Monté sur /dev/mapper/systeme-var 2,8G 1,0G 1,7G 39% /var
# ACCESS CONTROLS OPTIONS # ==================== acl QUERY urlpath_regex -i cgi-bin \? \.php$ \.asp$ \.shtml$ \.cfm$ \.cfml$ \.phtml$ \.php3$ localhost acl all src acl localhost src 127.0.0.1/32 ::1 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 acl localnet src 192.168.0.0/24 # RFC1918 possible internal network acl lan src 192.168.1.0/24 acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 81 3128 1025-65535 acl sslports port 443 563 81 2087 10000 acl manager proto cache_object acl purge method PURGE acl connect method CONNECT http_access allow manager localhost http_access deny manager http_access deny !safeports http_access deny CONNECT !sslports http_access allow localhost http_access allow localnet http_access allow lan http_access deny all # NETWORK OPTIONS # ==================== http_port 3128 transparent # OPTIONS WHICH AFFECT THE CACHE SIZE # ============================== cache_mem 16 MB maximum_object_size_in_memory 32 KB memory_replacement_policy heap GDSF cache_replacement_policy heap LFUDA cache_dir aufs /home/proxy/cache 20000 14 256 maximum_object_size 128000 KB cache_swap_low 95 cache_swap_high 99 # LOGFILE PATHNAMES AND CACHE DIRECTORIES # ================================== access_log /var/log/squid3/access.log cache_log /var/log/squid3/cache.log cache_store_log none logfile_rotate 5 log_icp_queries off # OPTIONS FOR TUNING THE CACHE # ======================== cache deny QUERY refresh_pattern ^ftp: 1440 20% 10080 reload-into-ims refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i \.(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private refresh_pattern -i \.(rpm|cab|deb|exe|msi|msu|zip|tar|xz|bz|bz2|lzma|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 10080 90% 43200 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private refresh_pattern -i \.(avi|iso|wav|mid|mp?|mpeg|mov|3gp|wm?|swf|flv|x-flv|axd)$ 43200 95% 432000 override-expire override-lastmod reload-into-ims ignore-no-cache ignore-private refresh_pattern -i \.(html|htm|css|js)$ 1440 75% 40320 refresh_pattern -i \.index.(html|htm)$ 0 75% 10080 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 1440 90% 10080 # quick_abort_min 0 KB quick_abort_max 0 KB quick_abort_pct 100 store_avg_object_size 13 KB # HTTP OPTIONS # =========== vary_ignore_expire on # ANONIMITY OPTIONS # =============== request_header_access From deny all request_header_access Server deny all request_header_access Link deny all request_header_access Via deny all request_header_access X-Forwarded-For deny all # TIMEOUTS # ======= forward_timeout 240 second connect_timeout 30 second peer_connect_timeout 5 second read_timeout 600 second request_timeout 60 second shutdown_lifetime 10 second # ADMINISTRATIVE PARAMETERS # ===================== cache_mgr routeur-debian cache_effective_user proxy cache_effective_group proxy httpd_suppress_version_string on visible_hostname routeur-debian ftp_list_width 32 ftp_passive on ftp_sanitycheck on # DNS OPTIONS # ========== dns_timeout 10 seconds dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241 # MISCELLANEOUS # =========== memory_pools off client_db off reload_into_ims on coredump_dir /var/log/squid pipeline_prefetch on offline_mode off
mv /etc/squid3/squid.conf /etc/squid3/squid.conf-BAK2
mv /home/hypathie/Téléchargements/my-squid.conf /etc/squid3/squid.conf
> Grâce à la directive cache_dir
les fichiers du cache sont créés
/etc/init.d/squid3 start
2014/10/17 16:29:49| Creating Swap Directories 2014/10/17 16:29:49| /var/spool/squid3 exists 2014/10/17 16:29:49| Making directories in /var/spool/squid3/00 2014/10/17 16:29:49| Making directories in /var/spool/squid3/01 2014/10/17 16:29:49| Making directories in /var/spool/squid3/02 2014/10/17 16:29:49| Making directories in /var/spool/squid3/03 2014/10/17 16:29:49| Making directories in /var/spool/squid3/04 2014/10/17 16:29:49| Making directories in /var/spool/squid3/05 2014/10/17 16:29:49| Making directories in /var/spool/squid3/06 2014/10/17 16:29:49| Making directories in /var/spool/squid3/07 2014/10/17 16:29:49| Making directories in /var/spool/squid3/08 2014/10/17 16:29:49| Making directories in /var/spool/squid3/09 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0A 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0B 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0C 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0D 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0E 2014/10/17 16:29:50| Making directories in /var/spool/squid3/0F . ok
/etc/init.d/squid3 stop
(S'il vous plaît servez-vous de l'auto-complétion, surtout ici)
cd /home/cache
rm -rv 0*
rm -v swap.state*
/etc/init.d/squid3 start
Dans le fichier de configuration /etc/squid3/squid.conf :
Pour vérifier que le sous-réseau qui est connecté au web via la passerelle, passe bien de même par le proxy.
Il faut :
Tout bêtement, de côté du lan, on navigue !
le fichier /var/log/squid3/access.log des logs d'accès :
tail -f /var/log/squid3/access.log
Puis côté du Lan, on navigue, il y a alors du mouvement de le fichier de log :
1413554295.061 138 192.168.1.2 TCP_MISS/200 13345 GET http://debian-facile.org/ - DIRECT/212.129.32.102 text/html 1413554295.098 36 192.168.1.2 TCP_MISS/200 8320 GET http://debian-facile.org/style/Kao.css - DIRECT/212.129.32.102 text/css 1413554295.108 59 192.168.1.2 TCP_MISS/200 950 GET http://debian-facile.org/nono.css - DIRECT/212.129.32.102 text/css <...> 1413554299.083 32 192.168.1.2 TCP_MISS/200 554 GET http://debian-facile.org/style/Air/img/asterisk.png - DIRECT/212.129.32.102 image/png 1413554301.463 74 192.168.1.2 TCP_MISS/200 1391 POST http://debian-facile.org/login.php? - DIRECT/212.129.32.102 text/html <...>
Ci-dessus, nous avons observé que les connexions passaient par le proxy.
Pour vérifier que squid sert au client une page de son cache, il faut visiter le même URL plusieurs fois.
La 1ère fois on a normalement dans /var/log/squid3/access.log, TCP_MISS
, mais après on doit obtenir TCP_HIT
.
On peut trouver d'autres indications :
Se connecter plusieurs fois et tenter la commande :
tail -f /var/log/squid3/cache.log | grep TCP_HIT
Server: ECS (cdg/D62E)\r\nX-Cache: HIT\r\nContent-Length: 471\r\n\r] 1413884011.978 66 192.168.1.2 TCP_MISS/200 919 POST http://ocsp.digicert.com/ - DIRECT/93.184.220.29 application/ocsp-response [Host: ocsp.digicert.com\r\nUser-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0 Iceweasel/31.2.0\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\nAccept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3\r\nAccept-Encoding: gzip, deflate\r\nDNT: 1\r\nContent-Length: 83\r\nContent-Type: application/ocsp-request\r\nConnection: keep-alive\r\n] [HTTP/1.1 200 OK\r\nAccept-Ranges: bytes\r\nCache-Control: max-age=514328\r\nContent-Type: application/ocsp-response\r\nDate: Tue, 21 Oct 2014 09:32:42 GMT\r\nETag: "5445fdee-1d7"\r\nExpires: Mon, 27 Oct 2014 21:32:42 GMT\r\nLast-Modified: Tue, 21 Oct 2014 06:32:14 GMT\r\nServer: ECS (cdg/4484)\r\nX-Cache: HIT\r\nContent-Length: 471\r\n\r]
On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.
2014/10/16 13:11:45| Process ID 3735 2014/10/16 13:11:45| With 65535 file descriptors available 2014/10/16 13:11:45| Initializing IP Cache... 2014/10/16 13:11:45| DNS Socket created at [::], FD 7 2014/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf 2014/10/16 13:11:45| Unlinkd pipe opened on FD 13<...>
On y retrouve tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :
time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type
time
: le temps UTC (en ms) auquel la requête a été reçue.
elapsed
: le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) :
remotehost
: l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes.
code/status
: le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas.
bytes
: la taille de la donnée livrée au client.
method
: la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.).
URL
: l’URL de la ressource demandée.
rfc931
: les informations utilisateurs (désactivé par défaut).
hierarchy code
: un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée.
type
: le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).