Debian
Debian-France
Debian-Facile
Debian-fr.org
Forum-Debian.fr
Debian ?
Communautés
Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format
PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
|
utilisateurs:hypathie:tutos:proxy-transparent [18/10/2014 07:21] Hypathie [Introduction] |
utilisateurs:hypathie:tutos:proxy-transparent [15/11/2014 12:57] Hypathie [Vérifications] |
||
|---|---|---|---|
| Ligne 7: | Ligne 7: | ||
| ===== Introduction ===== | ===== Introduction ===== | ||
| - | Voir : [[http://www.squid-cache.org/|le site de squid]]\\ | + | Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration.\\ On parle alors de « proxy transparent ».\\ Cette configuration est obtenue par translation d'adresse IP. |
| - | [[http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat|proxy transparent]]\\ | + | |
| - | Voir aussi : [[http://www.sput.nl/software/squid33.html]]\\ | + | |
| - | [[http://www.linux-france.org/prj/edu/archinet/systeme/ch40s02.html]] | + | |
| + | <code> | ||
| + | |BOX_adsl|________(192.168.0.1:eth0)-|ROUTEUR-DEBIAN-(eth1:192.168.1.1) | ||
| + | | |PROXY | | ||
| + | | | | ||
| + | sous-réseau A sous-réseau B | ||
| + | | | | ||
| + | |_CLIENT-A1 (eth0:192.168.0.10) |_CLIENT-B1 (eth0:192.168.1.3) | ||
| + | |_CLIENT-AX (eth0:192.168.0.xx) |_CLIENT-BX (eth0:192.168.1.x) | ||
| + | </code> | ||
| + | Les clients du réseau B de profitent du proxy de la passerelle sans avoir à configurer leurs navigateurs. | ||
| - | Lorsqu'un serveur mandataire est installé, on configure souvent le routage du réseau pour que l'utilisateur final soit orienté vers le serveur mandataire sans avoir à modifier sa configuration. On parle alors de « proxy transparent ». Cette configuration est obtenue par translation d'adresse IP. | + | ===Références=== |
| + | * [[http://www.squid-cache.org/|le site de squid]] | ||
| + | * [[http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat|proxy transparent]] | ||
| + | * [[http://www.sput.nl/software/squid33.html]] | ||
| + | * [[http://www.linux-france.org/prj/edu/archinet/systeme/ch40s02.html]] | ||
| ====Prérequis==== | ====Prérequis==== | ||
| Ligne 25: | Ligne 36: | ||
| === Configuration d'iptables (NAT) === | === Configuration d'iptables (NAT) === | ||
| - | + | <note important> | |
| - | * Pour faire choses proprement on flush les tables concernées et on ajoute : | + | Si vous avez suivi "iptables:un pare-feu pour une passerelle" et installé [[atelier:chantier:iptables-un-pare-feu-pour-une-passerelle?&#le-script-de-la-passerelle|ce script]], passez directement au pre-requis [[utilisateurs:hypathie:tutos:proxy-transparent?&#table-de-routage|Table de routage]] |
| + | </note> | ||
| + | * Pour faire les choses proprement on flush les tables concernées et on ajoute : | ||
| <code root> | <code root> | ||
| Ligne 34: | Ligne 47: | ||
| iptables -t mangle -X | iptables -t mangle -X | ||
| - | iptables -t nat -A PREROUTING -i eth0 -s 192.168.0.1 -p tcp --dport 80 -j ACCEPT | + | iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE |
| - | iptables -t nat -A PREROUTING -i eth1 -p tcp -m tcp --dport 80\ | + | iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j DNAT --to 192.168.0.1:3129 |
| - | -j DNAT --to-destination 192.168.0.1:3128 | + | |
| + | iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3129 | ||
| iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP | iptables -t mangle -A PREROUTING -p tcp --dport 3128 -j DROP | ||
| - | iptables -t nat -A PREROUTING -i eth1 -s 192.168.1.0/24\ | + | iptables -t mangle -A PREROUTING -p tcp --dport 3129 -j DROP |
| - | -p tcp --dport 80 -j REDIRECT --to-port 3128 | + | </code> |
| - | iptables -t nat -A PREROUTING -i eth0 -p tcp -m tcp --dport 80\ | + | Voir un autre exemple : [[http://sourcelinux.wikidot.com/setting-up-squid-in-gateway-as-a-transparent-proxy]] |
| - | -j REDIRECT --to-ports 3128 | + | |
| - | iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE | ||
| - | </code> | ||
| + | <note> | ||
| + | **Port 3129 pour transparent ; port 3128 pour le réseau local.** | ||
| - | * Ce qui donne : | + | **Pour mangle**, une petite citation extrait du [[http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat#iptables_configuration]] : |
| - | <code root>iptables -L -t nat</code> | + | |
| - | <code>Chain PREROUTING (policy ACCEPT) | + | Due to the NAT security vulnerabilities it is also a very good idea |
| - | target prot opt source destination | + | to block external access to the internal receiving port. |
| - | ACCEPT tcp -- debian-serveur.mondomaine.hyp anywhere tcp dpt:http | + | This has to be done in the mangle part of iptables before DNAT happens |
| - | DNAT tcp -- anywhere anywhere tcp dpt:http to:192.168.0.1:3128 | + | so that intercepted traffic does not get dropped. |
| - | REDIRECT tcp -- 192.168.1.0/24 anywhere tcp dpt:http redir ports 3128 | + | |
| - | Chain INPUT (policy ACCEPT) | + | </note> |
| - | target prot opt source destination | + | |
| - | Chain OUTPUT (policy ACCEPT) | + | * On sauvegarde les règles iptables et on les restaure avec /etc/network/interfaces |
| - | target prot opt source destination | + | <code root> |
| + | iptables-save > /etc/iptables.squid | ||
| + | echo "post-up iptables-restore < /etc/iptables.squid" >> /etc/network/interfaces</code> | ||
| - | Chain POSTROUTING (policy ACCEPT) | ||
| - | target prot opt source destination | ||
| - | MASQUERADE all -- anywhere anywhere</code> | ||
| - | <code root>iptables -L PREROUTING -t mangle</code> | + | ===Table de routage=== |
| - | <code>iptables -L -t mangle | + | |
| - | Chain PREROUTING (policy ACCEPT) | + | |
| - | target prot opt source destination | + | |
| - | DROP tcp -- anywhere anywhere tcp dpt:3128</code> | + | |
| - | <note> | + | * Éditer le fichier /etc/rc.local |
| - | **Pour mangle**, une petite citation extrait du [[http://wiki.squid-cache.org/ConfigExamples/Intercept/LinuxDnat|site officiel de squid]] : | + | <code root>vim /etc/rc.local</code> |
| + | <code> | ||
| + | /sbin/route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.0.1 dev eth0 | ||
| - | Due to the NAT security vulnerabilities it is also a very good idea | + | /sbin/route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth1 |
| - | to block external access to the internal receiving port. | + | |
| - | This has to be done in the mangle part of iptables before DNAT happens | + | |
| - | so that intercepted traffic does not get dropped. | + | |
| - | **Par contre, concernant les deux interfaces, il faut lancer les commandes iptables pour le DNAT sur l'interface côté lan, et sur l'IP du serveur proxy du réseau côté web.** | + | exit 0</code> |
| + | <note>On peut aussi créer un script init.d (update-rc.d) pour sauvegarder les règles de routage.\\ Ou encore préciser dans /etc/network/interfaces la route pour chaque interface.\\ La méthode ci-dessus n'a d'intérêt que dans le cas où l'IP est attribuée par DHCP au niveau de /etc/network/interfaces.</note> | ||
| + | |||
| + | * Côté client l'adresse IP du proxy squid3 comme route par défaut : | ||
| + | Par exmple : | ||
| + | <code root>route add -net 192.168.1.0 netmask 255.255.255.0 gw 192.168.1.1 dev eth0 | ||
| + | </code> | ||
| - | </note> | ||
| ===Configurer /etc/sysctl.conf === | ===Configurer /etc/sysctl.conf === | ||
| - | La première ligne est probablement déjà configurer tel que ce-dessous. Modifier aussi la seconde | + | La première ligne est probablement déjà configurée tel que ci-dessous. Modifier aussi la seconde |
| <code> | <code> | ||
| # Controls IP packet forwarding | # Controls IP packet forwarding | ||
| Ligne 96: | Ligne 105: | ||
| net.ipv4.conf.default.rp_filter = 0 | net.ipv4.conf.default.rp_filter = 0 | ||
| </code> | </code> | ||
| - | * Faire rendre en compte une éventuelle modification : | + | * Faire prendre en compte une éventuelle modification : |
| <code root>sysctl -p</code> | <code root>sysctl -p</code> | ||
| - | ===Installer le serveur squid3=== | + | ====Installer le serveur squid3==== |
| - | <code root>apt-get install squid3</code> | + | |
| <code root>apt-get build-dep squid3</code> | <code root>apt-get build-dep squid3</code> | ||
| + | |||
| + | <code root>apt-get install squid3</code> | ||
| =====Configuration de squid comme proxy transparent===== | =====Configuration de squid comme proxy transparent===== | ||
| Ligne 111: | Ligne 122: | ||
| * contrôle d'accès au proxy par login et mot de passe. | * contrôle d'accès au proxy par login et mot de passe. | ||
| * contrôle d'accès en fonction des heures. | * contrôle d'accès en fonction des heures. | ||
| - | Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui "ignorera" qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question l'accès par login et mot de passe... | + | Néanmoins un proxy transparent permettra de ne rien avoir à configurer dans le navigateur du client qui "ignorera" qu'il passe par un proxy quand il navigue. Cela place donc hors sujet la question de l'accès par login et mot de passe... |
| - | ===Faire une sauvegarde du fichier de configuration === | + | === Faire une sauvegarde du fichier de configuration === |
| Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description très complète de chacun d’eux. | Le fichier est commenté quasiment entièrement, et contient tous les paramètres de lancement de Squid ainsi qu’une description très complète de chacun d’eux. | ||
| * **On sauvegarde l'original** : | * **On sauvegarde l'original** : | ||
| Ligne 120: | Ligne 131: | ||
| <code root>cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back</code> | <code root>cp /etc/squid3/squid.conf /etc/squid3/squid.conf_back</code> | ||
| - | * Puis pour y voir plus clair : | + | * **Puis pour y voir plus clair :** |
| On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut. | On supprime toutes les lignes commentées et vides du fichier original, et on le recrée afin qu'il contienne uniquement les lignes du fichier original dé-commentées par défaut. | ||
| <code root>echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf</code> | <code root>echo "`grep -v "^#" /etc/squid3/squid.conf | sed -e '/^$/d'`" >/etc/squid3/squid.conf</code> | ||
| - | * On ajoute ou modifie les lignes suivantes : | + | ====Vérifier le proxy ==== |
| - | Rappel de la configuration:\\ | + | |
| - | eth0 (vers internet) : 192.168.0.1\\ | + | |
| - | eth1 (vers lan) : 192.168.1.1 | + | |
| - | > ''acl localnet src 192.168.1.0/24'' : le réseau qui doit avoir accès au serveur proxy | + | === Bloquer tout le trafic du LAN === |
| - | >''acl lan src 192.168.0.1 192.168.1.0/24'': Liste de contrôle : le lan seulement utilise squid | + | Dans un premier temps on va simplement vérifier que le proxy bloque le trafic du LAN, pour ce faire on ajoute seulement une acl pour le réseau de la passerelle 192.168.0.0/24 et on prévient squid qu'il sert de proxy transparent ''http_port 3129 transparent'' : |
| - | >''http_access allow localhost'': accès à squid permis au localhost | + | * **On édite /etc/squid3/squid.conf** |
| - | >''http_access allow lan'': idem | + | <code root>vim /etc/squid3/squid.conf</code> |
| - | >''http_port 3128'' : "http_port 3128" devient "http_port 3128 transparent" | + | |
| - | >''access_log /var/log/squid3/access.log squid'' : le fichier de log est commenté, on récupère la ligne dans le fichier sauvegardé et on l'ajoute. | + | |
| - | * Concernant le cache tout est commenté dans le fichier original | + | * **Ce qui donne :** |
| - | On récupère le concernant, et on l'ajoute aussi dans le fichier /etc/squid3/squid.conf | + | |
| - | * Ce qui donne : | ||
| - | <code user>less /etc/squid3/squid.conf</code> | ||
| <code> | <code> | ||
| acl manager proto cache_object | acl manager proto cache_object | ||
| Ligne 159: | Ligne 162: | ||
| acl Safe_ports port 777 # multiling http | acl Safe_ports port 777 # multiling http | ||
| acl CONNECT method CONNECT | acl CONNECT method CONNECT | ||
| - | acl lan src 192.168.0.1 192.168.1.0/24 | ||
| http_access allow manager localhost | http_access allow manager localhost | ||
| http_access deny manager | http_access deny manager | ||
| Ligne 165: | Ligne 167: | ||
| http_access deny CONNECT !SSL_ports | http_access deny CONNECT !SSL_ports | ||
| http_access allow localhost | http_access allow localhost | ||
| - | http_access allow localnet | + | http_access allow localnet |
| - | http_access allow lan | + | |
| http_access deny all | http_access deny all | ||
| - | http_port 3128 transparent | + | http_port 3129 transparent |
| - | + | coredump_dir /var/spool/squid3 | |
| - | #hierarchy_stoplist cgi-bin ? | + | |
| - | + | ||
| - | # MEMORY CACHE OPTIONS | + | |
| - | #Default: | + | |
| - | #cache_mem 256 MB | + | |
| - | cache_mem 8 MB | + | |
| - | #Default: | + | |
| - | maximum_object_size_in_memory 256 KB | + | |
| - | #memory_replacement_policy lru | + | |
| - | # DISK CACHE OPTIONS | + | |
| - | # Décommentez et régler les éléments suivants pour ajouter un répertoire de cache disque: | + | |
| - | cache_dir ufs /var/spool/squid3 100 16 256 | + | |
| - | + | ||
| - | #Default: | + | |
| - | #store_dir_select_algorithm least-load | + | |
| - | + | ||
| - | # A value of 0 indicates no limit. | + | |
| - | #Default: | + | |
| - | max_open_disk_fds 0 | + | |
| - | # TAG: minimum_object_size (bytes) | + | |
| - | # Objects smaller than this size will NOT be saved on disk. The | + | |
| - | # value is specified in kilobytes, and the default is 0 KB, which | + | |
| - | # means there is no minimum. | + | |
| - | #Default: | + | |
| - | minimum_object_size 0 KB | + | |
| - | #Default: | + | |
| - | maximum_object_size 10 KB | + | |
| - | + | ||
| - | # LOG_FILE OPTIONS | + | |
| - | #Default: | + | |
| - | access_log /var/log/squid3/access.log squid | + | |
| - | + | ||
| - | #Default: | + | |
| - | cache_log /var/log/squid3/cache.log | + | |
| - | + | ||
| - | # Leave coredumps in the first cache dir | + | |
| - | #coredump_dir /var/spool/squid3 | + | |
| - | + | ||
| - | # OPTIONS FOR TUNING THE CACHE | + | |
| - | cache allow all | + | |
| refresh_pattern ^ftp: 1440 20% 10080 | refresh_pattern ^ftp: 1440 20% 10080 | ||
| refresh_pattern ^gopher: 1440 0% 1440 | refresh_pattern ^gopher: 1440 0% 1440 | ||
| refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 | refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 | ||
| refresh_pattern . 0 20% 4320 | refresh_pattern . 0 20% 4320 | ||
| - | |||
| - | hosts_file /etc/hosts | ||
| </code> | </code> | ||
| + | > Il est inutile d'interdire le trafic du LAN (192.168.1.0/24) avec une acl ''acl localnet src 192.168.1.0/24'' ; ''http_access deny localnet'' car on a tout interdit sauf localhost (127.0.0.0/8) et localnet. | ||
| - | ===Activation du cache === | + | * On recharge squid3 : |
| + | <code root>/etc/init.d/squid3 restart</code> | ||
| - | Avec squid3 le cache n'est pas activer.\\ | + | * **Si on tente de naviguer depuis le LAN :** |
| - | Pour l'activer, il va falloir aller chercher dans le fichier original ce qui concerne la mise en cache ! | + | {{http://pix.toile-libre.org/upload/img/1414862596.png|}} |
| - | En voilà un résumé ;-) | + | |
| - | <note tip> | + | ===Autoriser le trafic pour le LAN=== |
| - | **__Voici la définition de quelques options de configuration basiques :__** | + | * **On ajoute une acl pour le lan et on l'autorise !** |
| + | <code root>vim /etc/squid3/squid.conf</code> | ||
| + | <code> | ||
| + | <...> | ||
| + | acl lan src 192.168.1.0/24 | ||
| + | <...> | ||
| + | http_access allow localnet | ||
| + | </code> | ||
| - | **''http_port''** : permet de définir le port sur lequel se lance Squid.\\ Par défaut, Squid se lance sur le port 3128. Il est également possible de définir plusieurs ports. | + | * **On recharge squid3 :** |
| + | <code root>/etc/init.d/squid3 restart</code> | ||
| - | http_port 3128 8080 | + | =====Configuration détaillée du proxy ===== |
| + | ====Mise en place du cache pour le LAN ==== | ||
| + | ===Créer un dossier pour le cache=== | ||
| - | **''cache_dir''** : permet d’indiquer où stocker les données mises en cache sur le disque.\\ Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.\\ Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.\\ Pour __mettre en place cette politique de remplacement des données en cache__ lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’**option cache_dir** qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.\\ Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.\\ Par exemple : | + | * Repérer le périphérique choisi : |
| + | <code root>fdisk -l</code> | ||
| + | <code>Périphérique Amorce Début Fin Blocs Id Système | ||
| + | <...> | ||
| + | /dev/sdg1 63 1336206374 668103156 83 Linux | ||
| + | /dev/sdg2 1336206375 3907024064 1285408845 83 Linux</code> | ||
| - | cache_dir ufs /usr/local/squid/var/cache/ 100 16 256 | + | * Formater le périphérique en ext3 ou reiserfs : |
| + | On démonte la partition : | ||
| + | <note important>Modifier sdg1 par le nom de votre partition</note> | ||
| + | <code>umount /dev/sdg1</code> | ||
| - | "Remarque : Le type ufs de magasin:\\ | + | * On vérifie que la partition ne soit pas montée parallèlement par le montage automatique des supports amovibles : |
| - | "ufs" est l'ancien format de stockage Squid bien connu qui a toujours été là." | + | <code root>df</code> |
| + | <code> | ||
| + | Sys. fich. 1K-blocks Util. Disponible Uti% Monté | ||
| + | <...> | ||
| + | /dev/sdg1 657618716 202064 624011496 1% /media/ | ||
| + | <...> | ||
| + | </code> | ||
| - | **''http_access''**, **''icp_access''** : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).\\ Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.\\ Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local : | + | * Si c'est le cas comme ci-dessus (montée dans /media), on relance umount : |
| + | <code root>umount /dev/sdg1</code> | ||
| - | * Définition d'une liste d'accès | + | * On désactive le montage automatique des supports amovibles : |
| + | __Par exemple avec lxde__ : | ||
| - | acl localhost src 127.0.0.1/32 | + | -> gestionnaire de fichiers -> Éditer -> Préférences -> Gestion des volumes |
| - | * Définition des droits de cette liste | ||
| - | http_access allow localhost | + | __Puis on décoche__\\ |
| + | -"Monter les volumes amovibles automatiquement lors du démarrage" | ||
| + | -"Monter les volumes amovibles automatiquement quand ils sont insérés". | ||
| - | * Interdiction à toutes les autres listes | + | * On formate la partition : |
| + | <code root>mkfs.ext3 /dev/sdg1</code> | ||
| - | http_access deny all | + | * Création d'un dossier pour le cache de squid3 : |
| + | <code root>mkdir /data/</code> | ||
| - | **__Concernant la mise en cache les résolutions DNS__** : | + | <code root>mount /dev/sdg1 /data</code> |
| - | **''positive_dns_ttl''** : permet de définir la limite supérieure au-delà de laquelle le serveur invalidera une résolution DNS positive mise en cache. | + | <code root>mkdir /data/cache/</code> |
| - | Par défaut cette option est positionnée à 6 heures (360 minutes). Cette valeur doit être plus grande que celle de l’option negative_dns_ttl. | + | |
| - | **''negative_dns_ttl''** : permet de définir la durée pendant laquelle une résolution DNS négative sera gardée en cache. La valeur minimale est de 1 seconde et il n’est pas recommandé d’aller au-delà de 10 secondes. | + | * Mise au point des droits sur le système de répertoire /data/cache/ |
| + | <code root>chmod -R 777 /data/cache/</code> | ||
| + | <code root>chown -R proxy:proxy /data/cache/</code> | ||
| - | **__Concernant l'affichage des traces de debug__ :** | + | * Connaître UUID de la partition pour le cache de squid3 : |
| + | <code root>blkid /dev/sdg1</code> | ||
| + | <code>UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d</code> | ||
| - | **''log_mime_hdrs''** : permet d’afficher les en-têtes HTTP des requêtes et des réponses dans les logs d’activité. | + | * Configurer le montage de la partition au démarrage du système : |
| - | + | <code root>vim /etc/fstab</code> | |
| - | **''debug_options''** : cette option permet d’afficher les différentes informations de debug de Squid. Le système de log du serveur est décomposé en sections. Il est donc possible de paramétrer le niveau de log de chacune de ces sections en fonction de ce que l’on souhaite étudier.(( Il existe **93** sections et 10 niveaux de debug, de __0 à 9__, 9 étant le plus précis.)) Voici une configuration qui permet d’avoir un peu plus d’informations sur les traitements réalisés par Squid en interne ((attention toutefois car les fichiers de log peuvent très vite devenir volumineux)) : | + | On ajoute à la fin du fichier : |
| - | + | <code>UUID=3e2a6d44-5373-4e69-8c35-54f05443e78d /data ext3 rw,noatime,async 0 2</code> | |
| - | debug_options ALL,1 17,2 55,2 56,2 57,2 58,2 | + | |
| - | + | ||
| - | >section **17** Request Forwarding __2__ | + | |
| - | >section **55** HTTP Header __2__ | + | |
| - | >section **56** HTTP Message Body __2__ | + | |
| - | >section **57** HTTP Status-line __2__ | + | |
| - | >section **58** HTTP Reply (Response) __2__ | + | |
| - | </note> | + | |
| - | * Il faut donc extraire ce qui nous intéresse concernant le cache du fichier de configuration /etc/squid3/squid.conf : | + | |
| - | + | ||
| - | >#Default: | + | |
| - | >''# cache_mem 256 MB'' | + | |
| - | >#Default: | + | |
| - | >''# maximum_object_size_in_memory 512 KB'' | + | |
| - | ># Décommentez et régler les éléments suivants pour ajouter un répertoire de cache disque: | + | |
| - | >''#cache_dir ufs /var/spool/squid3 100 16 256'' | + | |
| - | >#Default: | + | |
| - | >''# store_dir_select_algorithm least-load'' | + | |
| - | ># A value of 0 indicates no limit. | + | |
| - | >#Default: | + | |
| - | >''# max_open_disk_fds 0'' | + | |
| - | ># TAG: minimum_object_size (bytes) | + | |
| - | ># Objects smaller than this size will NOT be saved on disk. The | + | |
| - | ># value is specified in kilobytes, and the default is 0 KB, which | + | |
| - | ># means there is no minimum. | + | |
| - | >#Default: | + | |
| - | >''# minimum_object_size 0 KB'' | + | |
| - | >#Default: | + | |
| - | >''# maximum_object_size 4096 KB'' | + | |
| - | + | ||
| - | <note important> | + | |
| - | Comparer :\\ | + | |
| - | -> ''# cache_mem 256 MB''\\ | + | |
| - | -> ''#cache_dir ufs /var/spool/squid3 100 16 256''\\ | + | |
| - | + | ||
| - | => La définition de la mémoire cache (256 MB) serait plus large que l'espace disque défini (100MB) !\\ | + | |
| - | + | ||
| - | Donc attention en dé-commentant ! | + | |
| - | + | ||
| - | df -h /var | + | |
| - | Sys. fich. Taille Util. Dispo Uti% Monté sur | + | |
| - | /dev/mapper/systeme-var 2,8G 1,0G 1,7G 39% /var | + | |
| - | + | ||
| - | </note> | + | |
| - | * Grâce à la ligne suivant les fichiers du cache sont créés | + | <note>Ne pas oublier de modifier l'ordre d'amorçage du BIOS, si "usb" est positionnée avant le disque dur, pour qu'elle soit positionnée après celui.</note> |
| - | >''cache_dir ufs /var/spool/squid3 100 16 256'' | + | ===Paramétrage du cache dans /etc/squid3/squid.conf=== |
| + | Avec squid3 le cache n'est pas activer par défaut, pour mettre en place le cache, il faut récupérer les lignes commentées du fichiers d'origine /etc/squid3/squid.conf_back.\\ | ||
| - | Et quand on re-démarre squid3 : | + | * **On désactive squid3** |
| - | + | ||
| - | <code root>/etc/init.d/squid3 restart</code> | + | |
| - | <code>2014/10/17 16:29:49| Creating Swap Directories | + | |
| - | 2014/10/17 16:29:49| /var/spool/squid3 exists | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/00 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/01 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/02 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/03 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/04 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/05 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/06 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/07 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/08 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/09 | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0A | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0B | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0C | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0D | + | |
| - | 2014/10/17 16:29:49| Making directories in /var/spool/squid3/0E | + | |
| - | 2014/10/17 16:29:50| Making directories in /var/spool/squid3/0F | + | |
| - | . ok </code> | + | |
| - | + | ||
| - | <note> | + | |
| - | Si pour une raison ou pour une autre, il y a besoin de ré-initialiser le cache, par exemple si la taille de mémoire cache ne convient pas, ne pas hésiter à supprimer ces fichiers manuellement, ou tout simplement si on veut le vider complètement :\\ | + | |
| - | * Il faut arrêter squid : | + | |
| <code root>/etc/init.d/squid3 stop</code> | <code root>/etc/init.d/squid3 stop</code> | ||
| - | * On se déplace dans le répertoire du cache : | + | * **On édite /etc/squid3/squid.conf :** |
| - | (S'il vous plaît servez-vous de l'auto-complétion, surtout ici) | + | Pour lui ajouter les directives du fichier "my-squid.conf en adaptant leurs valeurs à sa configuration |
| - | <code root>cd /var/spool/squid3/</code> | + | <code root>vim /etc/squid3/squid.conf</code> |
| + | <code>acl manager proto cache_object | ||
| + | acl localhost src 127.0.0.1/32 ::1 | ||
| + | acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 ::1 | ||
| + | acl lan src 192.168.1.0/24 | ||
| + | acl SSL_ports port 443 | ||
| + | acl Safe_ports port 80 # http | ||
| + | acl Safe_ports port 21 # ftp | ||
| + | acl Safe_ports port 443 # https | ||
| + | acl Safe_ports port 70 # gopher | ||
| + | acl Safe_ports port 210 # wais | ||
| + | acl Safe_ports port 1025-65535 # unregistered ports | ||
| + | acl Safe_ports port 280 # http-mgmt | ||
| + | acl Safe_ports port 488 # gss-http | ||
| + | acl Safe_ports port 591 # filemaker | ||
| + | acl Safe_ports port 777 # multiling http | ||
| + | acl CONNECT method CONNECT | ||
| + | http_access allow manager localhost | ||
| + | http_access deny manager | ||
| + | http_access deny !Safe_ports | ||
| + | http_access deny CONNECT !SSL_ports | ||
| + | http_access allow localhost | ||
| + | http_access allow lan | ||
| + | http_access deny all | ||
| - | * On supprime tous les dossiers | + | icp_access allow localhost |
| + | icp_access deny all | ||
| + | http_port 3128 | ||
| + | http_port 3129 transparent | ||
| - | <code root>rm -rv 0*</code> | + | cache_mem 256 MB |
| + | minimum_object_size 3 KB | ||
| + | maximum_object_size 6 MB | ||
| - | * On supprime les fichiers | + | ipcache_size 10240 |
| - | <code root>rm -v swap.state*</code> | + | fqdncache_size 10240 |
| - | * On relance squid3 : | + | memory_replacement_policy heap GDSF |
| - | <code root>/etc/init.d/squid3 start</code> | + | cache_replacement_policy heap LFUDA |
| - | </note> | + | |
| + | cache_dir aufs /data/cache 20000 14 256 | ||
| + | cache_swap_low 95 | ||
| + | cache_swap_high 99 | ||
| + | cache_effective_user proxy | ||
| + | cache_effective_group proxy | ||
| + | access_log /var/log/squid3/access.log squid | ||
| + | #cache_log /var/log/squid3/cache.log | ||
| + | #cache_store_log /var/log/squid3/store.log | ||
| + | coredump_dir /var/spool/squid3 | ||
| - | =====Vérifications==== | + | cache allow lan |
| - | ====Vérifier le passage par le proxy ==== | + | |
| - | Pour vérifier que le sous-réseau qui est connecté au web via la passerelle, passe bien de même par le proxy.\\ | + | |
| - | Il faut : | + | |
| - | * Générer du flux depuis le sous-réseau | + | refresh_pattern ^ftp: 1440 20% 10080 |
| - | Tout bêtement, de côté du lan, on navigue ! | + | refresh_pattern ^gopher: 1440 0% 1440 |
| + | refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 | ||
| + | refresh_pattern . 0 20% 4320 | ||
| - | * Tout en observant côté passerelle (i.e. serveur squid) | + | dns_timeout 10 seconds |
| - | le fichier /var/log/squid3/access.logdes logs d'accès : | + | dns_nameservers 192.168.0.1 212.27.40.240 212.27.40.241 |
| - | <code root> | + | visible_hostname routeur-debian |
| - | tail -f /var/log/squid3/access.log | + | hosts_file /etc/hosts |
| - | </code> | + | |
| - | Puis côté du Lan, on navigue, il y a alors du mouvement de le fichier de log : | + | |
| - | <code> | + | |
| - | 1413554295.061 138 192.168.1.2 TCP_MISS/200 13345 GET http://debian-facile.org/ - DIRECT/212.129.32.102 text/html | + | |
| - | 1413554295.098 36 192.168.1.2 TCP_MISS/200 8320 GET http://debian-facile.org/style/Kao.css - DIRECT/212.129.32.102 text/css | + | |
| - | 1413554295.108 59 192.168.1.2 TCP_MISS/200 950 GET http://debian-facile.org/nono.css - DIRECT/212.129.32.102 text/css | + | |
| - | <...> | + | |
| - | 1413554299.083 32 192.168.1.2 TCP_MISS/200 554 GET http://debian-facile.org/style/Air/img/asterisk.png - DIRECT/212.129.32.102 image/png | + | |
| - | 1413554301.463 74 192.168.1.2 TCP_MISS/200 1391 POST http://debian-facile.org/login.php? - DIRECT/212.129.32.102 text/html | + | |
| - | <...> | + | |
| </code> | </code> | ||
| <note tip> | <note tip> | ||
| - | **__Détail sur /var/log/squid3/access.log__ :**\\ | + | **__Voici la définition de quelques options de configuration basiques :__** |
| - | On y retrouve tous les accès faits au serveur, c’est-à-dire toutes les requêtes HTTP reçues et la façon dont elles ont été traitées. Le format de ce fichier est paramétrable via l’option access_log du fichier squid.conf. Le format natif d’une entrée de log est le suivant :\\ **''time elapsed remotehost code/status bytes method URL rfc931 peerstatus/peerhost type''**\\ | + | **''cache_mem''** : Il s'agit de la taille de la mémoire RAM et la valeur choisie doit être adaptée à son matérielle.\\ Plus squid est configuré avec un stockage disque important via la directive cache_dir plus il aura besoin de mémoire pour en ordonné l’utilisation. Mais en outre plus vous allouez d’espace de mémoire pour squid via la directive cache_mem plus squid aura besoin de mémoire vive, en dehors du quota alloué par cette directive, pour ordonner la aussi les objets stocker dans ce cache.\\ Pour connaître la taille et le détaille de l'utilisation de la RAM : **''free -m''**\\ |
| - | > **''time''** : le temps UTC (en ms) auquel la requête a été reçue. | ||
| - | >**''elapsed''** : le temps de traitement par le serveur de la requête (en ms). Ce temps de traitement diffère selon le mode utilisé (connecté ou déconnecté) : | + | **''cache_dir''** : permet d’indiquer où stocker les données mises en cache sur le disque.\\ Squid est conçu pour travailler en mémoire afin de charger plus rapidement les données mises en cache.\\ Toutefois, lorsque la mémoire est insuffisante ou que le serveur doit être stoppé, Squid va basculer les données en cache mémoire sur le disque afin de pouvoir en charger d’autres ou les recharger par la suite.\\ Pour __mettre en place cette politique de remplacement des données en cache__ lorsque la mémoire est insuffisante, (algorithme de type LRU (Least Recently Used)), il faut utiliser l’**option cache_dir** qui permet de spécifier au serveur où stocker les données de cache sur le disque et de quelle façon.\\ Le premier argument correspond à l’emplacement disque, le second à l’espace alloué (100 Méga-octets dans l’exemple ci-dessous), le troisième au nombre de répertoires racine, et le dernier au nombre de sous-répertoires. Cette arborescence permet de constituer un index rapide d’accès.\\ Par défaut : |
| - | * Pour TCP, il s’agit du temps écoulé entre le moment où le serveur a reçu la requête et le moment où il a répondu au client. | + | cache_dir ufs /usr/local/squid/var/cache/ 100 16 256 |
| - | * Pour UDP, il s’agit du temps calculé entre le moment où le serveur prévoit de répondre au client et le moment où il lui répond effectivement. | + | |
| - | >**''remotehost''** : l’adresse IP du client. Cette donnée peut être cachée pour rendre les logs anonymes. | + | "Remarque : Le type ufs de magasin:\\ |
| + | "ufs" est l'ancien format de stockage Squid bien connu qui a toujours été là." | ||
| - | >**''code/status''** : le code résultat de la transaction. Ce champ est composé de deux entrées séparées par un slash : le code de statut de Squid et le code HTTP de la réponse du serveur d’origine. La plupart de ces codes sont détaillés plus bas. | + | **''http_access''**, **''icp_access''** : permettent de restreindre l’accès HTTP et ICP en spécifiant des règles de contrôle d’accès (ACls pour access control lists).\\ Chaque requête HTTP ou ICP provoque la vérification de ces règles d’accès. Cet aspect lié à la sécurité est un des points très importants dont il faut se soucier dès l’installation et la mise en route de Squid.\\ Ci-dessous les paramètres par défaut contenus dans le fichier de configuration qui restreignent l’utilisation du serveur au poste local : |
| - | >**''bytes''** : la taille de la donnée livrée au client. | + | </note> |
| - | >**''method''** : la méthode utilisée pour récupérer la ressource (GET, HEAD, etc.). | + | * On crée le cache : |
| + | <code root>squid3 -z</code> | ||
| + | <code>2014/11/04 12:56:33| Creating Swap Directories | ||
| + | 2014/11/04 12:56:33| /data/cache exists | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/00 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/01 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/02 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/03 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/04 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/05 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/06 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/07 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/08 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/09 | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/0A | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/0B | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/0C | ||
| + | 2014/11/04 12:56:33| Making directories in /data/cache/0D</code> | ||
| - | >**''URL''** : l’URL de la ressource demandée. | + | <note> |
| + | Si pour une raison ou pour une autre, il y a besoin de ré-initialiser le cache, par exemple si la taille de mémoire cache ne convient pas, ne pas hésiter à supprimer ces fichiers manuellement, ou tout simplement si on veut le vider complètement :\\ | ||
| + | * Il faut arrêter squid : | ||
| + | <code root>/etc/init.d/squid3 stop</code> | ||
| - | >**''rfc931''** : les informations utilisateurs (désactivé par défaut). | + | * On se déplace dans le répertoire du cache : |
| + | (S'il vous plaît servez-vous de l'auto-complétion, surtout ici) | ||
| + | <code root>cd /data/cache/</code> | ||
| - | >**''hierarchy code''** : un code permettant de savoir comment la requête a été traitée. Ce code peut être suivi par l’adresse IP vers laquelle la requête a été redirigée. | + | * On supprime tous les dossiers |
| - | >**''type''** : le type de contenu issu du header HTTP de la réponse (Les échanges ICP ne contiennent pas cette information). | + | <code root>rm -rv 0*</code> |
| - | </note> | + | |
| - | ====Vérifier le cache==== | + | * On supprime les fichiers |
| - | ===Voir le fichier /var/log/squid3/cache.log=== | + | <code root>rm -v swap.state*</code> |
| - | On trouve dans ce fichier beaucoup d’informations allant du nombre de descripteurs de fichiers ouverts jusqu’à la mémoire allouée. Il est possible de se référer à la documentation officielle pour obtenir plus de détails sur ce fichier.\\ | + | * On relance squid3 : |
| + | <code root>/etc/init.d/squid3 restart</code> | ||
| + | </note> | ||
| - | * Par exemple ci-dessous les DNS enregistrés : | ||
| - | <code>2014/10/16 13:11:45| Process ID 3735 | ||
| - | 2014/10/16 13:11:45| With 65535 file descriptors available | ||
| - | 2014/10/16 13:11:45| Initializing IP Cache... | ||
| - | 2014/10/16 13:11:45| DNS Socket created at [::], FD 7 | ||
| - | 2014/10/16 13:11:45| DNS Socket created at 0.0.0.0, FD 8 | ||
| - | 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Adding domain mondomaine.hyp from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Adding nameserver 127.0.0.1 from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Adding nameserver 192.168.0.1 from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Adding nameserver 212.27.40.240 from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Adding nameserver 212.27.40.241 from /etc/resolv.conf | ||
| - | 2014/10/16 13:11:45| Unlinkd pipe opened on FD 13<...></code> | ||
