Table des matières
squid: installer un proxy transparent
- Objet : squid: installer un proxy transparent
- Niveau requis :
- Commentaires : réseau - installer un proxy transparent sur une passerelle pour contrôler la connexion web d'un sous-réseau
- Débutant, à savoir : Utiliser GNU/Linux en ligne de commande, tout commence là !
- Suivi :
- Création par Hypathie 15/11/2014
- Testé par <…> le <…>
- Commentaires sur le forum : Lien vers le forum concernant ce tuto 1)
https://debian-facile.org/viewtopic.php?pid=195663#p195663
Introduction
Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration.
On parle alors de « proxy transparent ».
Cette configuration est obtenue par translation d'adresse IP.
|BOX_adsl|________(192.168.0.1:eth0)-|ROUTEUR-DEBIAN-(eth1:192.168.1.1) | |PROXY | | | sous-réseau A sous-réseau B | | |_CLIENT-A1 (eth0:192.168.0.10) |_CLIENT-B1 (eth0:192.168.1.3) |_CLIENT-AX (eth0:192.168.0.xx) |_CLIENT-BX (eth0:192.168.1.x)
Les clients du réseau B de profitent du proxy de la passerelle sans avoir à configurer leurs navigateurs.
Références
Prérequis
Un serveur DNS est installé sur la passerelle.
La passerelle est mise en place avec masquerade :
(eth0 est la carte ethernet vers le web)
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
Configuration d'iptables (NAT)
- Pour faire les choses proprement on flush les tables concernées et on ajoute :
iptables -t nat -F iptables -t nat -X iptables -t mangle -F iptables -t mangle -X iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j DNAT --to 192.168.0.1:3129 iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3129 iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP iptables -t mangle -A PREROUTING -p tcp --dport 3129 -j DROP
Voir un autre exemple : http://sourcelinux.wikidot.com/setting-up-squid-in-gateway-as-a-transparent-proxy
Pour mangle, une petite citation extrait du http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat#iptables_configuration :
Due to the NAT security vulnerabilities it is also a very good idea to block external access to the internal receiving port. This has to be done in the mangle part of iptables before DNAT happens so that intercepted traffic does not get dropped.
- On sauvegarde les règles iptables et on les restaure avec /etc/network/interfaces
iptables-save > /etc/iptables.squid echo "post-up iptables-restore < /etc/iptables.squid" >> /etc/network/interfaces
Table de routage
- Éditer le fichier /etc/rc.local
vim /etc/rc.local
- rc.local
/sbin/route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.0.1 dev eth0 /sbin/route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth1 exit 0
Ou encore préciser dans /etc/network/interfaces la route pour chaque interface.
La méthode ci-dessus n'a d'intérêt que dans le cas où l'IP est attribuée par DHCP au niveau de /etc/network/interfaces.
- Côté client l'adresse IP du proxy squid3 comme route par défaut :
Par exmple :
route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth0
Configurer /etc/sysctl.conf
La première ligne est probablement déjà configurée tel que ci-dessous. Modifier aussi la seconde
- sysctl.conf
# Controls IP packet forwarding net.ipv4.ip_forward = 1 # Controls source route verification net.ipv4.conf.default.rp_filter = 0 </code> * Faire prendre en compte une éventuelle modification : <code root>sysctl -p
Installer le serveur squid3
apt-get build-dep squid3
apt-get install squid3
Configuration de squid comme proxy transparent
Squid permet options et modules :
- préfetch : de précharger les pages et ainsi accélérer la navigation;
- filtres antivirus, antipopups, etc.
- contrôle d'accès au proxy par login et mot de passe.
- contrôle d'accès en fonction des heures.
Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui “ignorera” qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question de l'accès par login et mot de passe…
Faire une sauvegarde du fichier de configuration
Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description très complète de chacun d’eux.
- On sauvegarde l'original :
C'est très important pour la suite !
cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back
- Puis pour y voir plus clair :
On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut.
echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf
Vérifier le proxy
Bloquer tout le trafic du LAN
Dans un premier temps on va simplement vérifier que le proxy bloque le trafic du LAN, pour ce faire on ajoute seulement une acl pour le réseau de la passerelle 192.168.0.0/24 et on prévient squid qu'il
sert de proxy transparent http_port 3129 transparent :
- On édite /etc/squid3/squid.conf
vim /etc/squid3/squid.conf
- Ce qui donne :
- squid.conf
acl manager proto cache_object acl localhost src 127.0.0.1/32 ::1 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 acl localnet src 192.168.0.0/24 # RFC1918 possible internal network acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost http_access allow localnet http_access deny all http_port 3129 transparent coredump_dir /var/spool/squid3 refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320
Il est inutile d'interdire le trafic du LAN (192.168.1.0/24) avec une aclacl localnet src 192.168.1.0/24;http_access deny localnetcar on a tout interdit sauf localhost (127.0.0.0/8) et localnet.
- On recharge squid3 :
/etc/init.d/squid3 restart
- Si on tente de naviguer depuis le LAN :
Autoriser le trafic pour le LAN
- On ajoute une acl pour le lan et on l'autorise !
vim /etc/squid3/squid.conf
- squid.conf
<...> acl lan src 192.168.1.0/24 <...> http_access allow localnet
- On recharge squid3 :
/etc/init.d/squid3 restart
Configuration détaillée du proxy
Mise en place du cache pour le LAN
Créer un dossier pour le cache
- Repérer le périphérique choisi :
fdisk -l
- retour de la commande
Périphérique Amorce Début Fin Blocs Id Système <...> /dev/sdg1 63 1336206374 668103156 83 Linux /dev/sdg2 1336206375 3907024064 1285408845 83 Linux
- On démonte la partition :
umount /dev/sdg1
- On vérifie que la partition ne soit pas montée parallèlement par le montage automatique des supports amovibles :
df
- retour de la commande
Sys. fich. 1K-blocks Util. Disponible Uti% Monté <...> /dev/sdg1 657618716 202064 624011496 1% /media/ <...>
- Si c'est le cas comme ci-dessus (montée dans /media), on relance umount :
umount /dev/sdg1
Par exemple avec lxde :
→ gestionnaire de fichiers → Éditer → Préférences → Gestion des volumes
Puis on décoche
- “Monter les volumes amovibles automatiquement lors du démarrage”
- “Monter les volumes amovibles automatiquement quand ils sont insérés”.
- Formater le périphérique en ext3 ou reiserfs :
En ext3 tel que cela est conseillé dans la doc de squid ; la journalisation de ext4 semble ralentir la mise en cache.
mkfs.ext3 /dev/sdg1
- Création d'un dossier pour le cache de squid3 :
mkdir /data/
mount /dev/sdg1 /data
mkdir /data/cache/
- Mise au point des droits sur le système de répertoire /data/cache/
chmod -R 777 /data/cache/
chown -R proxy:proxy /data/cache/
- Connaître UUID de la partition pour le cache de squid3 :
blkid /dev/sdg1
- retour de la commande
UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d
- Configurer le montage de la partition au démarrage du système :
vim /etc/fstab
On ajoute à la fin du fichier :
UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d /data ext3 rw,noatime,async 0 2
Paramétrage du cache dans /etc/squid3/squid.conf
Avec squid3 le cache n'est pas activer par défaut, pour mettre en place le cache, il faut récupérer les lignes commentées du fichiers d'origine /etc/squid3/squid.conf_back.
- On désactive squid3
/etc/init.d/squid3 stop
- On édite /etc/squid3/squid.conf :
Pour lui ajouter les directives du fichier “my-squid.conf en adaptant leurs valeurs à sa configuration
vim /etc/squid3/squid.conf
- squid.conf
acl manager proto cache_object acl localhost src 127.0.0.1/32 ::1 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 acl lan src 192.168.1.0/24 acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost http_access allow lan http_access deny all icp_access allow localhost icp_access deny all http_port 3128 http_port 3129 transparent cache_mem 256 MB minimum_object_size 3 KB maximum_object_size 6 MB ipcache_size 10240 fqdncache_size 10240 memory_replacement_policy heap GDSF cache_replacement_policy heap LFUDA cache_dir aufs /data/cache 20000 14 256 cache_swap_low 95 cache_swap_high 99 cache_effective_user proxy cache_effective_group proxy access_log /var/log/squid3/access.log squid #cache_log /var/log/squid3/cache.log #cache_store_log /var/log/squid3/store.log coredump_dir /var/spool/squid3 cache allow lan refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320 dns_timeout 10 seconds dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241 visible_hostname routeur-debian hosts_file /etc/hosts
cache_mem : Il s'agit de la taille de la mémoire RAM et la valeur choisie doit être adaptée à son matérielle.
Plus squid est configuré avec un stockage disque important via la directive cache_dir plus il aura besoin de mémoire pour en ordonné l’utilisation. Mais en outre plus vous allouez d’espace de mémoire pour squid via la directive cache_mem plus squid aura besoin de mémoire vive, en dehors du quota alloué par cette directive, pour ordonner la aussi les objets stocker dans ce cache.
Pour connaître la taille et le détaille de l'utilisation de la RAM : free -m
cache_dir : permet d’indiquer où stocker les données mises en cache sur le disque.
Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.
Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.
Pour mettre en place cette politique de remplacement des données en cache lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’option cache_dir qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.
Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.
Par défaut :
cache_dir ufs /usr/local/squid/var/cache/ 100 16 256
“Remarque : Le type ufs de magasin:
“ufs” est l'ancien format de stockage Squid bien connu qui a toujours été là.”
http_access, icp_access : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).
Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.
Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local :
- On crée le cache :
squid3 -z
- retour de la commande
2014/11/04 12:56:33| Creating Swap Directories 2014/11/04 12:56:33| /data/cache exists 2014/11/04 12:56:33| Making directories in /data/cache/00 2014/11/04 12:56:33| Making directories in /data/cache/01 2014/11/04 12:56:33| Making directories in /data/cache/02 2014/11/04 12:56:33| Making directories in /data/cache/03 2014/11/04 12:56:33| Making directories in /data/cache/04 2014/11/04 12:56:33| Making directories in /data/cache/05 2014/11/04 12:56:33| Making directories in /data/cache/06 2014/11/04 12:56:33| Making directories in /data/cache/07 2014/11/04 12:56:33| Making directories in /data/cache/08 2014/11/04 12:56:33| Making directories in /data/cache/09 2014/11/04 12:56:33| Making directories in /data/cache/0A 2014/11/04 12:56:33| Making directories in /data/cache/0B 2014/11/04 12:56:33| Making directories in /data/cache/0C 2014/11/04 12:56:33| Making directories in /data/cache/0D
- Il faut arrêter squid :
/etc/init.d/squid3 stop
- On se déplace dans le répertoire du cache :
(S'il vous plaît servez-vous de l'auto-complétion, surtout ici)
cd /data/cache/
- On supprime tous les dossiers
rm -rv 0*
- On supprime les fichiers
rm -v swap.state*
- On relance squid3 :
/etc/init.d/squid3 restart
Vérifications
Dans le fichier de configuration /etc/squid3/squid.conf :
- les dossiers du cache : /var/spool/squid3
- le fichier de log d'accès : /var/log/squid3/access.log
- cache_store_log: /var/log/squid3/store.log
Enregistre les activités du gestionnaire de stockage. Cela montre quels les objets sont éjectés de la mémoire cache, et où les objets sont enregistrés et pour combien de temps. Pour désactiver, entrez “none” ou supprimer la ligne. Vous pouvez désactiver en toute sécurité. - mime_table (pour utiliser FTP) : /usr/share/squid3/mime.conf
- cache_log /var/log/squid3/cache.log
Vérifier le passage par le proxy
Pour vérifier que le sous-réseau qui est connecté au web via la passerelle, passe bien de même par le proxy.
Il faut :
- Générer du flux depuis le sous-réseau
Tout bêtement, de côté du lan, on navigue !
- Tout en observant côté passerelle (i.e. serveur squid)
le fichier /var/log/squid3/access.log des logs d'accès :
tail -f /var/log/squid3/access.log
Puis côté du Lan, on navigue, il y a alors du mouvement de le fichier de log :
1413554295.061 138 192.168.1.2 TCP_MISS/200 13345 GET http://debian-facile.org/ - DIRECT/212.129.32.102 text/html 1413554295.098 36 192.168.1.2 TCP_MISS/200 8320 GET http://debian-facile.org/style/Kao.css - DIRECT/212.129.32.102 text/css 1413554295.108 59 192.168.1.2 TCP_MISS/200 950 GET http://debian-facile.org/nono.css - DIRECT/212.129.32.102 text/css <...> 1413554299.083 32 192.168.1.2 TCP_MISS/200 554 GET http://debian-facile.org/style/Air/img/asterisk.png - DIRECT/212.129.32.102 image/png 1413554301.463 74 192.168.1.2 TCP_MISS/200 1391 POST http://debian-facile.org/login.php? - DIRECT/212.129.32.102 text/html <...>
Vérifier le cache
Ci-dessus, nous avons observé que les connexions passaient par le proxy.
Pour vérifier que squid sert au client une page de son cache, il faut visiter le même URL plusieurs fois.
La 1ère fois on a normalement dans /var/log/squid3/access.log, TCP_MISS, mais après on doit obtenir TCP_HIT.
- TCP_MISS : L'objet demandé n'est pas dans le cache.
- TCP_HIT : Une copie valide de l'objet demandé était dans le cache.
On peut trouver d'autres indications :
- TCP_REFRESH_HIT : L'objet demandé a été mis en cache mais obsolète (ICM → 304).
- TCP_REF_FAIL_HIT : L'objet demandé a été mis en cache mais il obsolète ; la requête IMS a échoué mais l'objet a été livré.
- TCP_REFRESH_MISS : L'objet demandé a été mis en cache mais était obsolète. La requête IMS retourné le nouveau contenu.
- TCP_CLIENT_REFRESH_MISS : Le client a émis une certaine demande de cache en même temps que la demande. Ainsi, le cache doit extraire à nouveau l'objet.
- TCP_IMS_HIT : Le client a émis une demande IMS pour un objet qui est nouvellement dans le cache.
- TCP_NEGATIVE_HIT :Demande d'un objet mis en cache négative, par exemple “404 Not Found”
- TCP_MEM_HIT : Une copie valide de l'objet demandé a été mis dans la mémoire du cache, évitant ainsi les accès disque.
- TCP_DENIED : Accès a été refusé pour cette demande.
- TCP_OFFLINE_HIT : L'objet demandé a été récupéré à partir du cache en mode déconnecté. Voir “offline_mode” dans le fichier squid.conf.
Se connecter plusieurs fois et tenter la commande :
- Il faut un certain temps pour obtenir des HIT
tail -f /var/log/squid3/access.log | grep HIT
- retour de la commande
1415119957.532 0 192.168.1.10 TCP_MEM_HIT/200 15385 GET http://blog.tfrichet.fr/wp-content/uploads/2013/09/owncloud_acces_mobile-600x150.jpg - NONE/- image/jpeg
On y retrouve tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :
time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type
time: le temps UTC (en ms) auquel la requête a été reçue.
elapsed: le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) :
- Pour TCP, il s’agit du temps écoulé entre le moment où le serveur a reçu la requête et le moment où il a répondu au client.
- Pour UDP, il s’agit du temps calculé entre le moment où le serveur prévoit de répondre au client et le moment où il lui répond effectivement.
remotehost: l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes.
code/status: le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas.
bytes: la taille de la donnée livrée au client.
method: la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.).
URL: l’URL de la ressource demandée.
rfc931: les informations utilisateurs (désactivé par défaut).
hierarchy code: un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée.
type: le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).
Voir le fichier /var/log/squid3/cache.log
On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.
- Par exemple ci-dessous les DNS enregistrés :
less /var/log/squid3/cache.log
- retour de la commande
2014/10/16 13:11:45| Process ID 3735 2014/10/16 13:11:45| With 65535 file descriptors available 2014/10/16 13:11:45| Initializing IP Cache... 2014/10/16 13:11:45| DNS Socket created at [::], FD 7 2014/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf 2014/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf 2014/10/16 13:11:45| Unlinkd pipe opened on FD 13<...>
Consulter /var/log/squid3/store.log
less /var/log/squid3/store.log