L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →

Ceci est une ancienne révision du document !

Table des matières

Introduction
- - Prérequis
Configuration de squid comme proxy transparent
- - Faire une sauvegarde du fichier de configuration
  - Redémarrer squid
- Activation du cache
configuration d'iptables (NAT)
- - Configurer /etc/sysctl.conf
Vérifications
- - Générer du flux
  - Configuration du cache
Utilisation

squid: installer un proxy transparent

Objet : du tuto
Niveau requis :
débutant, avisé
Commentaires : Contexte d'utilisation du sujet du tuto.
Débutant, à savoir : Utiliser GNU/Linux en ligne de commande, tout commence là !.

Introduction

Voir : le site de squid
proxy transparent

Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration. On parle alors de « proxy transparent ». Cette configuration est obtenue par translation d'adresse IP.

Prérequis

Un serveur DNS est installé sur la passerelle.

La passerelle est mise en place avec masquerade :

(eth0 est la carte ethernet vers le web)
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Le serveur squid est installé :

apt-get install squid3

apt-get build-dep squid3

Configuration de squid comme proxy transparent

Squid permet options et modules :

préfetch : de précharger les pages et ainsi accélérer la navigation;
filtres antivirus, antipopups, etc.
contrôle d'accès au proxy par login et mot de passe.
contrôle d'accès en fonction des heures.

Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui “ignorera” qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question l'accès par login et mot de passe…

Faire une sauvegarde du fichier de configuration

Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description assez complète de chacun d’eux.

On sauvegarde l'original :

cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back

Puis pour y voir plus clair

On supprime toutes les lignes commentées et vide du fichier original, et on le re-crée afin qu'il ne contienne que ces lignes dé-commentées par défaut.

echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf

On ajoute ou modifie les lignes suivantes :

eth0 (vers internet) : 192.168.0.1
eth1 (vers lan) : 192.168.1.1

acl localnet src 192.168.1.0/24
acl lan src 192.168.0.1 192.168.1.0/24
http_access allow localhost
http_access allow localnet
http_access allow lan
#Default:
access_log /var/log/squid3/access.log squid

acl localnet src 192.168.1.0/24 : le réseau qui doit avoir accès au serveur proxy
acl lan src 192.168.0.1 192.168.1.0/24: Liste de contrôle : le lan seulement utilise squid
http_access allow localhost: accès à squid permis au localhost
http_access allow lan: idem
http_port 3128 : “http_port 3128” devient “http_port 3128 transparent”
access_log /var/log/squid3/access.log squid : le fichier de log est commenté, on récupère la ligne dans le fichier sauvegardé et on l'ajoute.

Ce qui donne :

less /etc/squid3/squid.conf

acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl localnet src 192.168.1.0/24 # RFC1918 possible internal network
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
acl lan src 192.168.1.0/24
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow localnet 
http_access allow lan
http_access deny all
http_port 3128 transparent
# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid3
#Default:
access_log /var/log/squid3/access.log squid
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

Redémarrer squid

/etc/init.d/squid3 restart

S'il n'y a pas d'erreur :

[ ok ] Restarting Squid HTTP proxy: squid.

Activation du cache

Avec squid3 le cache n'est pas activer.
Pour l'activer, il va falloir aller chercher dans le fichier original ce qui concerne la mise en cache ! En voilà un résumé

Voici la définition de quelques options de configuration basiques :

http_port : permet de définir le port sur lequel se lance Squid.
Par défaut, Squid se lance sur le port 3128. Il est également possible de définir plusieurs ports.

http_port 3128 8080

cache_dir : permet d’indiquer où stocker les données mises en cache sur le disque.
Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.
Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.
Pour mettre en place cette politique de remplacement des données en cache lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’option cache_dir qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.
Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.
Par exemple :

cache_dir ufs /usr/local/squid/var/cache/ 100 16 256

“Remarque : Le type ufs de magasin:
“ufs” est l'ancien format de stockage Squid bien connu qui a toujours été là.”

http_access, icp_access : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).
Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.
Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local :

Définition d'une liste d'accès

acl localhost src 127.0.0.1/32

Définition des droits de cette liste

http_access allow localhost

Interdiction à toutes les autres listes

http_access deny all

Concernant la mise en cache les résolutions DNS :

positive_dns_ttl : permet de définir la limite supérieure au-delà de laquelle le serveur invalidera une résolution DNS positive mise en cache. Par défaut cette option est positionnée à 6 heures (360 minutes). Cette valeur doit être plus grande que celle de l’option negative_dns_ttl.

negative_dns_ttl : permet de définir la durée pendant laquelle une résolution DNS négative sera gardée en cache. La valeur minimale est de 1 seconde et il n’est pas recommandé d’aller au-delà de 10 secondes.

Concernant l'affichage des traces de debug :

log_mime_hdrs : permet d’afficher les en-têtes HTTP des requêtes et des réponses dans les logs d’activité.

debug_options : cette option permet d’afficher les différentes informations de debug de Squid. Le système de log du serveur est décomposé en sections. Il est donc possible de paramétrer le niveau de log de chacune de ces sections en fonction de ce que l’on souhaite étudier.¹⁾ Voici une configuration qui permet d’avoir un peu plus d’informations sur les traitements réalisés par Squid en interne ²⁾ :

debug_options ALL,1 17,2 55,2 56,2 57,2 58,2

section 17 Request Forwarding 2
section 55 HTTP Header 2
section 56 HTTP Message Body 2
section 57 HTTP Status-line 2
section 58 HTTP Reply (Response) 2

Il faut donc extraire ce qui nous intéresse concernant le cache du fichier de configuration /etc/squid3/squid.conf :

#Default:
# cache_mem 256 MB
#Default:
# maximum_object_size_in_memory 512 KB
# Décommentez et régler les éléments suivants pour ajouter un répertoire de cache disque:
#cache_dir ufs /var/spool/squid3 100 16 256
#Default:
# store_dir_select_algorithm least-load
# A value of 0 indicates no limit.
#Default:
# max_open_disk_fds 0
# TAG: minimum_object_size (bytes)
# Objects smaller than this size will NOT be saved on disk. The
# value is specified in kilobytes, and the default is 0 KB, which
# means there is no minimum.
#Default:
# minimum_object_size 0 KB
#Default:
# maximum_object_size 4096 KB

Comparer :
→ # cache_mem 256 MB
→ #cache_dir ufs /var/spool/squid3 100 16 256

⇒ La définition de la mémoire cache (256 MB) serait plus large que l'espace disque défini (100MB) !

Donc attention en dé-commentant !

df -h /var
Sys. fich.              Taille Util. Dispo Uti% Monté sur
/dev/mapper/systeme-var   2,8G  1,0G  1,7G  39% /var

Ce qui donne :

acl manager proto cache_object
acl localhost src 127.0.0.1/32 ::1
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1
acl localnet src 192.168.1.0/24 # RFC1918 possible internal network
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
acl lan src 192.168.0.1 192.168.1.0/24
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow localnet 
http_access allow lan
http_access deny all
http_port 3128 transparent

#Default:
#cache_mem 256 MB
cache_mem 100 MB
#Default:
maximum_object_size_in_memory 512 KB
# Décommentez et régler les éléments suivants pour ajouter un répertoire de cach
e disque:
cache_dir ufs /var/spool/squid3 100 16 256
#Default:
store_dir_select_algorithm least-load
# A value of 0 indicates no limit.
#Default:
max_open_disk_fds 0
# TAG: minimum_object_size (bytes)
# Objects smaller than this size will NOT be saved on disk. The
# value is specified in kilobytes, and the default is 0 KB, which
# means there is no minimum.
#Default:
minimum_object_size 0 KB
#Default:
maximum_object_size 4096 KB


# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid3
#Default:
access_log /var/log/squid3/access.log squid
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

Et quand on relance squid3

/etc/init.d/squid3 start

2014/10/17 09:28:42| Creating Swap Directories
2014/10/17 09:28:42| /var/spool/squid3 exists
2014/10/17 09:28:42| Making directories in /var/spool/squid3/00
2014/10/17 09:28:42| Making directories in /var/spool/squid3/01
2014/10/17 09:28:42| Making directories in /var/spool/squid3/02
2014/10/17 09:28:42| Making directories in /var/spool/squid3/03
2014/10/17 09:28:42| Making directories in /var/spool/squid3/04
2014/10/17 09:28:42| Making directories in /var/spool/squid3/05
2014/10/17 09:28:42| Making directories in /var/spool/squid3/06
2014/10/17 09:28:42| Making directories in /var/spool/squid3/07
2014/10/17 09:28:42| Making directories in /var/spool/squid3/08
2014/10/17 09:28:42| Making directories in /var/spool/squid3/09
2014/10/17 09:28:42| Making directories in /var/spool/squid3/0A
2014/10/17 09:28:42| Making directories in /var/spool/squid3/0B
2014/10/17 09:28:42| Making directories in /var/spool/squid3/0C
2014/10/17 09:28:42| Making directories in /var/spool/squid3/0D
2014/10/17 09:28:42| Making directories in /var/spool/squid3/0E
2014/10/17 09:28:43| Making directories in /var/spool/squid3/0F
. ok

configuration d'iptables (NAT)

Nous n'avons pour l'instant que l'IP masquerade mis en place :

Il faut ajouter :

iptables -t nat -A PREROUTING -i eth1 -s 192.168.1.0/24 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -I PREROUTING 1 -i eth1 -s 192.168.1.0/24 -p tcp -m tcp --dport 80 -J ACCEPT

Ce qui donne :

iptables -L -t nat

Chain PREROUTING (policy ACCEPT)
target     prot opt source      destination         
DNAT       tcp  --  anywhere    anywhere      tcp dpt:http to:192.168.1.1:3128
REDIRECT   tcp  --  anywhere    anywhere      tcp dpt:http redir ports 3128

Chain INPUT (policy ACCEPT)
target     prot opt source      destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source      destination         

Chain POSTROUTING (policy ACCEPT)
target     prot opt source      destination         
MASQUERADE  all  --  anywhere   anywhere

Configurer /etc/sysctl.conf

Vérifier que les lignes suivantes comportes ces valeurs :

# Controls IP packet forwarding
net.ipv4.ip_forward = 1

# Controls source route verification
net.ipv4.conf.default.rp_filter = 0

Faire rendre en compte une éventuelle modification :

sysctl -p

Vérifications

Générer du flux

Tout bêtement, de côté du lan, on navigue.

Voir le fichier /var/log/squid3/cache.log

On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.
Par exemple ci-dessous les DNS enregistrés :

2014/10/16 13:11:45| Process ID 3735
2014/10/16 13:11:45| With 65535 file descriptors available
2014/10/16 13:11:45| Initializing IP Cache...
2014/10/16 13:11:45| DNS Socket created at [::], FD 7
2014/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8
2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf
2014/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf
2014/10/16 13:11:45| Unlinkd pipe opened on FD 13<...>

Le fichier /var/log/squid3/access.log

Ce dernier répertorie tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :
time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type

time : le temps UTC (en ms) auquel la requête a été reçue.

elapsed : le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) :

Pour TCP, il s’agit du temps écoulé entre le moment où le serveur a reçu la requête et le moment où il a répondu au client.
Pour UDP, il s’agit du temps calculé entre le moment où le serveur prévoit de répondre au client et le moment où il lui répond effectivement.

remotehost : l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes.

code/status : le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas.

bytes : la taille de la donnée livrée au client.

method : la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.).

URL : l’URL de la ressource demandée.

rfc931 : les informations utilisateurs (désactivé par défaut).

hierarchy code : un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée.

type : le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information).

Configuration du cache

vim /etc/squid/squid.conf

Ajouter :

#Default:
 cache_effective_user proxy
#Default:
 cache_log /var/log/squid/cache.log

Utilisation

¹⁾

Il existe 93 sections et 10 niveaux de debug, de 0 à 9, 9 étant le plus précis.

²⁾

attention toutefois car les fichiers de log peuvent très vite devenir volumineux

utilisateurs/hypathie/tutos/proxy-transparent.1413544106.txt.gz · Dernière modification: 17/10/2014 13:08 par Hypathie

Debian-facile