logo Debian Debian Debian-France Debian-Facile Debian-fr.org Forum-Debian.fr Debian ? Communautés logo inclusivité

Debian-facile

Bienvenue sur Debian-Facile, site d'aide pour les nouveaux utilisateurs de Debian.

Vous n'êtes pas identifié(e).

L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT → ODT PDF Export

Table des matières

squid: installer un proxy transparent

Tuto à corriger selon ce post :
https://debian-facile.org/viewtopic.php?pid=195663#p195663

Introduction

Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration.
On parle alors de « proxy transparent ».
Cette configuration est obtenue par translation d'adresse IP. 

|BOX_adsl|________(192.168.0.1:eth0)-|ROUTEUR-DEBIAN-(eth1:192.168.1.1)
  |                                  |PROXY         |  
  |                                                 |
sous-réseau A                                 sous-réseau B
  |                                                 |
  |_CLIENT-A1 (eth0:192.168.0.10)                   |_CLIENT-B1 (eth0:192.168.1.3)
  |_CLIENT-AX (eth0:192.168.0.xx)                   |_CLIENT-BX (eth0:192.168.1.x)

Les clients du réseau B de profitent du proxy de la passerelle sans avoir à configurer leurs navigateurs.

Références

Prérequis

Un serveur DNS est installé sur la passerelle.

La passerelle est mise en place avec masquerade :

(eth0 est la carte ethernet vers le web)

iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Configuration d'iptables (NAT)

Si vous avez suivi “iptables:un pare-feu pour une passerelle” et installé ce script, passez directement au pre-requis Table de routage
  • Pour faire les choses proprement on flush les tables concernées et on ajoute :
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
 
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
 
iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j DNAT --to 192.168.0.1:3129
 
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3129
 
iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP
 
iptables -t mangle -A PREROUTING -p tcp --dport 3129 -j DROP

Voir un autre exemple : http://sourcelinux.wikidot.com/setting-up-squid-in-gateway-as-a-transparent-proxy

Port 3129 pour transparent ; port 3128 pour le réseau local.

Pour mangle, une petite citation extrait du http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat#iptables_configuration : 

Due to the NAT security vulnerabilities it is also a very good idea
to block external access to the internal receiving port. 
This has to be done in the mangle part of iptables before DNAT happens
so that intercepted traffic does not get dropped.
  • On sauvegarde les règles iptables et on les restaure avec /etc/network/interfaces
iptables-save > /etc/iptables.squid
echo "post-up iptables-restore < /etc/iptables.squid" >> /etc/network/interfaces

Table de routage

La section “Table de routage” est au mieux inutile et au pire erronée. Voir : https://debian-facile.org/viewtopic.php?pid=195663#p195663
  • Éditer le fichier /etc/rc.local
vim /etc/rc.local
rc.local
/sbin/route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.0.1 dev eth0
 
/sbin/route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth1
 
exit 0
On peut aussi créer un script init.d (update-rc.d) pour sauvegarder les règles de routage.
Ou encore préciser dans /etc/network/interfaces la route pour chaque interface.
La méthode ci-dessus n'a d'intérêt que dans le cas où l'IP est attribuée par DHCP au niveau de /etc/network/interfaces.
  • Côté client l'adresse IP du proxy squid3 comme route par défaut :

Par exmple : 

route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth0

Configurer /etc/sysctl.conf

La première ligne est probablement déjà configurée tel que ci-dessous. Modifier aussi la seconde

sysctl.conf
# Controls IP packet forwarding
net.ipv4.ip_forward = 1
 
# Controls source route verification 
net.ipv4.conf.default.rp_filter = 0
</code>
  * Faire prendre en compte une éventuelle modification :
<code root>sysctl -p

Installer le serveur squid3

apt-get build-dep squid3
apt-get install squid3

Configuration de squid comme proxy transparent

Squid permet options et modules :

  • préfetch : de précharger les pages et ainsi accélérer la navigation;
  • filtres antivirus, antipopups, etc.
  • contrôle d'accès au proxy par login et mot de passe.
  • contrôle d'accès en fonction des heures.

Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui “ignorera” qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question de l'accès par login et mot de passe…

Faire une sauvegarde du fichier de configuration

Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description très complète de chacun d’eux.

  • On sauvegarde l'original :

C'est très important pour la suite ! 

cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back
  • Puis pour y voir plus clair :

On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut. 

echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf

Vérifier le proxy

Bloquer tout le trafic du LAN

Dans un premier temps on va simplement vérifier que le proxy bloque le trafic du LAN, pour ce faire on ajoute seulement une acl pour le réseau de la passerelle 192.168.0.0/24 et on prévient squid qu'il

sert de proxy transparent http_port 3129 transparent :

  • On édite /etc/squid3/squid.conf
vim /etc/squid3/squid.conf
  • Ce qui donne :
squid.conf
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl localnet src 192.168.0.0/24 # RFC1918 possible internal network
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow localnet
http_access deny all
http_port 3129 transparent
coredump_dir /var/spool/squid3
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
Il est inutile d'interdire le trafic du LAN (192.168.1.0/24) avec une acl acl localnet src 192.168.1.0/24 ; http_access deny localnet car on a tout interdit sauf localhost (127.0.0.0/8) et localnet.
  • On recharge squid3 :
/etc/init.d/squid3 restart
  • Si on tente de naviguer depuis le LAN :

Autoriser le trafic pour le LAN

  • On ajoute une acl pour le lan et on l'autorise !
vim /etc/squid3/squid.conf
squid.conf
<...>
acl lan src 192.168.1.0/24
<...>
http_access allow localnet
  • On recharge squid3 :
/etc/init.d/squid3 restart

Configuration détaillée du proxy

Mise en place du cache pour le LAN

Créer un dossier pour le cache

  • Repérer le périphérique choisi :
fdisk -l
retour de la commande
Périphérique Amorce  Début        Fin      Blocs     Id  Système
<...>
/dev/sdg1              63  1336206374   668103156   83  Linux
/dev/sdg2      1336206375  3907024064  1285408845   83  Linux
  • On démonte la partition :
Modifier sdg1 par le nom de votre partition 
umount /dev/sdg1
  • On vérifie que la partition ne soit pas montée parallèlement par le montage automatique des supports amovibles :
df
retour de la commande
Sys. fich.                                              1K-blocks   Util. Disponible Uti% Monté
<...>
/dev/sdg1                                               657618716  202064  624011496   1% /media/
<...>
  • Si c'est le cas comme ci-dessus (montée dans /media), on relance umount :
umount /dev/sdg1
On désactive le montage automatique des supports amovibles :

Par exemple avec lxde :

→ gestionnaire de fichiers → Éditer → Préférences → Gestion des volumes

Puis on décoche

  1. “Monter les volumes amovibles automatiquement lors du démarrage”
  2. “Monter les volumes amovibles automatiquement quand ils sont insérés”.
  • Formater le périphérique en ext3 ou reiserfs :

En ext3 tel que cela est conseillé dans la doc de squid ; la journalisation de ext4 semble ralentir la mise en cache.

mkfs.ext3 /dev/sdg1
  • Création d'un dossier pour le cache de squid3 : 
mkdir /data/
mount /dev/sdg1 /data
mkdir /data/cache/
  • Mise au point des droits sur le système de répertoire /data/cache/
chmod -R 777 /data/cache/
chown -R proxy:proxy /data/cache/
  • Connaître UUID de la partition pour le cache de squid3 :
blkid /dev/sdg1
retour de la commande
UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d
  • Configurer le montage de la partition au démarrage du système :
vim /etc/fstab

On ajoute à la fin du fichier : 

UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d /data  ext3  rw,noatime,async 0 2
Ne pas oublier de modifier l'ordre d'amorçage du BIOS, si “usb” est positionnée avant le disque dur, pour qu'elle soit positionnée après celui.

Paramétrage du cache dans /etc/squid3/squid.conf

Avec squid3 le cache n'est pas activer par défaut, pour mettre en place le cache, il faut récupérer les lignes commentées du fichiers d'origine /etc/squid3/squid.conf_back.

  • On désactive squid3
/etc/init.d/squid3 stop
  • On édite /etc/squid3/squid.conf :

Pour lui ajouter les directives du fichier “my-squid.conf en adaptant leurs valeurs à sa configuration 

vim /etc/squid3/squid.conf
squid.conf
acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl lan src 192.168.1.0/24
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow lan
http_access deny all
 
icp_access allow localhost
icp_access deny all
http_port 3128
http_port 3129 transparent
 
cache_mem 256 MB
minimum_object_size 3 KB
maximum_object_size 6 MB
 
ipcache_size 10240
fqdncache_size 10240
 
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
 
cache_dir aufs /data/cache 20000 14 256
 
cache_swap_low 95
cache_swap_high 99
 
cache_effective_user proxy
cache_effective_group proxy
 
access_log /var/log/squid3/access.log squid
#cache_log /var/log/squid3/cache.log
#cache_store_log /var/log/squid3/store.log
 
coredump_dir /var/spool/squid3
 
cache allow lan
 
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
 
dns_timeout 10 seconds
dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241
 
visible_hostname routeur-debian
hosts_file /etc/hosts
Voici la définition de quelques options de configuration basiques :

cache_mem : Il s'agit de la taille de la mémoire RAM et la valeur choisie doit être adaptée à son matérielle.
Plus squid est configuré avec un stockage disque important via la directive cache_dir plus il aura besoin de mémoire pour en ordonné l’utilisation. Mais en outre plus vous allouez d’espace de mémoire pour squid via la directive cache_mem plus squid aura besoin de mémoire vive, en dehors du quota alloué par cette directive, pour ordonner la aussi les objets stocker dans ce cache.
Pour connaître la taille et le détaille de l'utilisation de la RAM : free -m

cache_dir : permet d’indiquer où stocker les données mises en cache sur le disque.
Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.
Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.
Pour mettre en place cette politique de remplacement des données en cache lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’option cache_dir qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.
Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.
Par défaut : 

cache_dir ufs /usr/local/squid/var/cache/ 100 16 256

“Remarque : Le type ufs de magasin:
“ufs” est l'ancien format de stockage Squid bien connu qui a toujours été là.”

http_access, icp_access : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).
Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.
Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local :

  • On crée le cache :
squid3 -z
retour de la commande
2014/11/04 12:56:33| Creating Swap Directories
2014/11/04 12:56:33| /data/cache exists
2014/11/04 12:56:33| Making directories in /data/cache/00
2014/11/04 12:56:33| Making directories in /data/cache/01
2014/11/04 12:56:33| Making directories in /data/cache/02
2014/11/04 12:56:33| Making directories in /data/cache/03
2014/11/04 12:56:33| Making directories in /data/cache/04
2014/11/04 12:56:33| Making directories in /data/cache/05
2014/11/04 12:56:33| Making directories in /data/cache/06
2014/11/04 12:56:33| Making directories in /data/cache/07
2014/11/04 12:56:33| Making directories in /data/cache/08
2014/11/04 12:56:33| Making directories in /data/cache/09
2014/11/04 12:56:33| Making directories in /data/cache/0A
2014/11/04 12:56:33| Making directories in /data/cache/0B
2014/11/04 12:56:33| Making directories in /data/cache/0C
2014/11/04 12:56:33| Making directories in /data/cache/0D
Si pour une raison ou pour une autre, il y a besoin de ré-initialiser le cache, par exemple si la taille de mémoire cache ne convient pas, ne pas hésiter à supprimer ces fichiers manuellement, ou tout simplement si on veut le vider complètement :
  • Il faut arrêter squid :
/etc/init.d/squid3 stop
  • On se déplace dans le répertoire du cache :

(S'il vous plaît servez-vous de l'auto-complétion, surtout ici) 

cd /data/cache/
  • On supprime tous les dossiers 
rm -rv 0*
  • On supprime les fichiers
rm -v swap.state*
  • On relance squid3 :
/etc/init.d/squid3 restart

Vérifications

Dans le fichier de configuration /etc/squid3/squid.conf :

  • les dossiers du cache : /var/spool/squid3
  • le fichier de log d'accès : /var/log/squid3/access.log
  • cache_store_log: /var/log/squid3/store.log
    Enregistre les activités du gestionnaire de stockage. Cela montre quels les objets sont éjectés de la mémoire cache, et où les objets sont enregistrés et pour combien de temps. Pour désactiver, entrez “none” ou supprimer la ligne. Vous pouvez désactiver en toute sécurité.
  • mime_table (pour utiliser FTP) : /usr/share/squid3/mime.conf
  • cache_log /var/log/squid3/cache.log

Vérifier le passage par le proxy

Pour vérifier que le sous-réseau qui est connecté au web via la passerelle, passe bien de même par le proxy.
Il faut :

  • Générer du flux depuis le sous-réseau

Tout bêtement, de côté du lan, on navigue !

  • Tout en observant côté passerelle (i.e. serveur squid)

le fichier /var/log/squid3/access.log des logs d'accès : 

tail -f /var/log/squid3/access.log

Puis côté du Lan, on navigue, il y a alors du mouvement de le fichier de log : 

1413554295.061    138 192.168.1.2 TCP_MISS/200 13345 GET http://debian-facile.org/ - DIRECT/212.129.32.102 text/html
1413554295.098     36 192.168.1.2 TCP_MISS/200 8320 GET http://debian-facile.org/style/Kao.css - DIRECT/212.129.32.102 text/css
1413554295.108     59 192.168.1.2 TCP_MISS/200 950 GET http://debian-facile.org/nono.css - DIRECT/212.129.32.102 text/css
<...>
1413554299.083     32 192.168.1.2 TCP_MISS/200 554 GET http://debian-facile.org/style/Air/img/asterisk.png - DIRECT/212.129.32.102 image/png
1413554301.463     74 192.168.1.2 TCP_MISS/200 1391 POST http://debian-facile.org/login.php? - DIRECT/212.129.32.102 text/html
<...>

Vérifier le cache

Ci-dessus, nous avons observé que les connexions passaient par le proxy.

Pour vérifier que squid sert au client une page de son cache, il faut visiter le même URL plusieurs fois. La 1ère fois on a normalement dans /var/log/squid3/access.log, TCP_MISS, mais après on doit obtenir TCP_HIT.

  • TCP_MISS : L'objet demandé n'est pas dans le cache.
  • TCP_HIT : Une copie valide de l'objet demandé était dans le cache.

On peut trouver d'autres indications :

  • TCP_REFRESH_HIT : L'objet demandé a été mis en cache mais obsolète (ICM → 304).
  • TCP_REF_FAIL_HIT : L'objet demandé a été mis en cache mais il obsolète ; la requête IMS a échoué mais l'objet a été livré.
  • TCP_REFRESH_MISS : L'objet demandé a été mis en cache mais était obsolète. La requête IMS retourné le nouveau contenu.
  • TCP_CLIENT_REFRESH_MISS : Le client a émis une certaine demande de cache en même temps que la demande. Ainsi, le cache doit extraire à nouveau l'objet.
  • TCP_IMS_HIT : Le client a émis une demande IMS pour un objet qui est nouvellement dans le cache.
  • TCP_NEGATIVE_HIT :Demande d'un objet mis en cache négative, par exemple “404 Not Found”
  • TCP_MEM_HIT : Une copie valide de l'objet demandé a été mis dans la mémoire du cache, évitant ainsi les accès disque.
  • TCP_DENIED : Accès a été refusé pour cette demande.
  • TCP_OFFLINE_HIT : L'objet demandé a été récupéré à partir du cache en mode déconnecté. Voir “offline_mode” dans le fichier squid.conf.

Se connecter plusieurs fois et tenter la commande :

  • Il faut un certain temps pour obtenir des HIT
 tail -f /var/log/squid3/access.log | grep HIT
retour de la commande
1415119957.532      0 192.168.1.10 TCP_MEM_HIT/200 15385 GET http://blog.tfrichet.fr/wp-content/uploads/2013/09/owncloud_acces_mobile-600x150.jpg - NONE/- image/jpeg
Détail sur /var/log/squid3/access.log :

On y retrouve tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :

time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type

time : le temps UTC (en ms) auquel la requête a été reçue.
elapsed : le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) :
  • Pour TCP, il s’agit du temps écoulé entre le moment où le serveur a reçu la requête et le moment où il a répondu au client.
  • Pour UDP, il s’agit du temps calculé entre le moment où le serveur prévoit de répondre au client et le moment où il lui répond effectivement.
remotehost : l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes.
code/status : le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas.
bytes : la taille de la donnée livrée au client.
method : la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.).
URL : l’URL de la ressource demandée.
rfc931 : les informations utilisateurs (désactivé par défaut).
hierarchy code : un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée.
type : le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).

Voir le fichier /var/log/squid3/cache.log

On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.

  • Par exemple ci-dessous les DNS enregistrés :
less /var/log/squid3/cache.log
retour de la commande
2014/10/16 13:11:45| Process ID 3735
2014/10/16 13:11:45| With 65535 file descriptors available
2014/10/16 13:11:45| Initializing IP Cache...
2014/10/16 13:11:45| DNS Socket created at [::], FD 7
2014/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8
2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf
2014/10/16 13:11:45| Unlinkd pipe opened on FD 13<...>

Consulter /var/log/squid3/store.log

less /var/log/squid3/store.log
1)
N'hésitez pas à y faire part de vos remarques, succès, améliorations ou échecs !
doc/reseau/squid-installer-un-proxy-transparent.txt · Dernière modification: 14/10/2016 05:45 par smolski
Donate Powered by PHP Valid HTML5 Valid XHTML 1.0 Valid CSS Driven by DokuWiki

Pied de page des forums

Propulsé par FluxBB