Debian
Debian-France
Debian-Facile
Debian-fr.org
Forum-Debian.fr
Debian ?
Communautés
Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format
PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Dernière révision Les deux révisions suivantes | ||
|
utilisateurs:renart_frambivore:tutos:creer-un-cluster-condor [20/04/2020 13:55] Renart_frambivore [Utilisation] |
utilisateurs:renart_frambivore:tutos:creer-un-cluster-condor [20/04/2020 14:30] Renart_frambivore [Paramètrage] |
||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| - | ====== Titre de Votre Tuto ====== | + | ====== Créer un cluster Condor ====== |
| - | * Objet : du tuto FIXME | + | * Objet : Mettre en cluster avec Condor |
| * Niveau requis : FIXME {{tag>débutant avisé}} | * Niveau requis : FIXME {{tag>débutant avisé}} | ||
| - | * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME | ||
| - | * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-) | ||
| ===== Introduction ===== | ===== Introduction ===== | ||
| - | Condor est un programme disponible dans les dépot Debian permettant la mise en cluster d'ordinateur. | + | Condor est un programme disponible dans les dépots Debian permettant la mise en cluster d'ordinateur. |
| + | Il permet, moyennant la création d'un fichier de description, de distribuer des taches à travers divers ordinateurs de manière automatique. | ||
| ===== Installation ===== | ===== Installation ===== | ||
| + | Il faut installer Condor sur touteles machines concernées : | ||
| <code root>apt-get -y install htcondor</code> | <code root>apt-get -y install htcondor</code> | ||
| Ligne 22: | Ligne 21: | ||
| Extrême, mais cela a le mérite d'être clair! | Extrême, mais cela a le mérite d'être clair! | ||
| - | ===== Utilisation ===== | + | ===== Paramètrage ===== |
| - | avant de modifier les fichiers de configuration : | + | Ici, nous allons paramètrer les ordinateurs du cluster de telle manière qu'un d'entre eux soumette du travail et que les autres executent. |
| + | Celui qui soumet est appelé serveur de batch, les autres sont des noeud de travail (work node). | ||
| + | |||
| + | <note tip>Il est tout a fait possible d'avoir un cluster composé de noeuds qui peuvent, à la fois soumettre du boulot et en recevoir. | ||
| + | Il suffit d'adapter les daemons chargés en modifiant les fichiers de configurations. | ||
| + | Aussi, Condor peut fonctionner sur une seule machine. cela n'a pas beaucoup d'interet, mais permet de faire vos premiers essais. Dans ce cas de figure, tou les daemons sont chargés.</note> | ||
| + | |||
| + | Avant de modifier les fichiers de configuration : | ||
| <code root>service condor stop</code> | <code root>service condor stop</code> | ||
| - | une fois les modifications terminé : | + | Une fois les modifications terminées : |
| <code root>service condor start</code> | <code root>service condor start</code> | ||
| - | commencer par redémarrer le serveur de batch!! | + | commencer par redémarrer le serveur de batch! |
| - | Modifier les lignes suivantes dans le fichier condor_config de la work_node : | + | Il faut modifier le fichier condor_config des noeuds de travail pour qu'ils disposent tous de ces lignes : |
| <code root>nano /etc/condor/condor_config</code> | <code root>nano /etc/condor/condor_config</code> | ||
| <code># daemon d'une work_node | <code># daemon d'une work_node | ||
| Ligne 38: | Ligne 44: | ||
| RESERVED_MEMORY = | RESERVED_MEMORY = | ||
| # IP du serveur de batch | # IP du serveur de batch | ||
| - | CONDOR_HOST = 192.168.1.XX | + | CONDOR_HOST = 192.168.XX.XX |
| - | # 192.* indique que toute machine du réseau local peut etre mis en cluster | + | # Permettre à toute les machines du réseau local de soumettre des taches : 192.* |
| ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ||
| - | # Je pense qu'il s'agit de l'adresse du serveur de batchdans le doute:192.* | + | # Permettre à toute les machines du réseau locale d'être gestionnaire : 192.* |
| ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 192.*</code> | ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 192.*</code> | ||
| - | Modifier les lignes suivantes dans le fichier condor_config du serveur de batch : | + | De la même manière, il faut modifier les même lignes du condor_config du serveur de batch : |
| <code root>nano /etc/condor/condor_config</code> | <code root>nano /etc/condor/condor_config</code> | ||
| <code># daemon du serveur de batch | <code># daemon du serveur de batch | ||
| Ligne 52: | Ligne 58: | ||
| RESERVED_MEMORY = | RESERVED_MEMORY = | ||
| # IP du serveur de batch (cette machine) | # IP du serveur de batch (cette machine) | ||
| - | CONDOR_HOST = 192.168.1.XX | + | CONDOR_HOST = 192.168.XX.XX |
| - | # toute les machines du cluster : 192.* | + | # Permettre à toute les machines du réseau local de soumettre des taches : 192.* |
| ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ||
| - | # Je pense qu'il s'agit du serveur de batch | + | # Etant donnéque cette machine est un gestionnaire central : 127.* |
| ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 127.* | ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 127.* | ||
| </code> | </code> | ||
| - | ===== COMMANDES ===== | + | ===== Les commandes à connaitre ===== |
| - | Il y en a beaucoup d'autre, mais celle-la suffisent. | + | <note tip>Il y en a beaucoup d'autre, mais celle-la suffisent.</note> |
| - | + | exécuter une tache : | |
| - | executer une tache : | + | |
| <code user>condor_submit /mon/fichier/description.des</code> | <code user>condor_submit /mon/fichier/description.des</code> | ||
| Ligne 70: | Ligne 75: | ||
| <code user>condor_q</code> | <code user>condor_q</code> | ||
| - | Retire de la queue tote les tache lancé par un utilisateur : | + | Retirer de la queue toute les taches lancées par un utilisateur : |
| <code user>condor_rm utilisateur</code> | <code user>condor_rm utilisateur</code> | ||
| - | Permet de voir les work_node du cluster avec détail(arch, OpSys) : | + | Permet de voir les work_node du cluster avec détails(arch, OpSys) : |
| <code user>condor_status</code> | <code user>condor_status</code> | ||
| - | Permet de voir toute les machines du cluster : | + | Permet de voir tout les daemons actifs sur les machines du cluster : |
| <code user>condor_status -any</code> | <code user>condor_status -any</code> | ||
| Ligne 82: | Ligne 87: | ||
| <code user>condor_status -avail</code> | <code user>condor_status -avail</code> | ||
| - | ===== EXEMPLE DE FICHIERS DESCRIPTION ===== | + | ===== Exemple de fichier de description ===== |
| + | |||
| + | Les fichiers de description sont destiné à etre utilisé avec la commande condor_submit. | ||
| - | Cet exemple permet d'executer un script bash "tache_1.exe"(rien a voir avec windaube) 5 fois | + | Cet exemple permet d'executer un script bash "tache_1.exe"(rien a voir avec windaube, exe en réference à la ligne executable du fichier) 5 fois |
| - | en utilisant toute les machines disponible sous linux d'architecture X86_64, armv6l et armv7l en faisant usage d'une image "cd65.iso" | + | en utilisant toute les machines disponible sous linux d'architecture X86_64, armv6l et armv7l en faisant usage d'un fichier 'fichier.nécéssaire. |
| output, error, et log fournissent des informations utiles concernant l'execution de votre tache. | output, error, et log fournissent des informations utiles concernant l'execution de votre tache. | ||
| - | Si vous êtes débutant, utiliser tout le temps l'univers vanilla (le plus simple) | + | Si vous êtes débutant, commencer par l'univers vanilla (le plus simple). |
| Ligne 102: | Ligne 109: | ||
| - | tache ultra basique. | + | Voici une tache ultra basique. |
| - | Elle execute 1 fois dans l'univers vanilla le script tache_2.exe situé dans votre repertoire personnel en utilisant une machine disponible d'architecture et system d'exploitation identique à votre serveur de batch. | + | Elle execute **1 fois** dans l'univers **vanilla** le script **tache_2.exe** situé dans votre **repertoire personnel** en utilisant **une machine disponible** d'architecture et system d'exploitation **identique à votre serveur de batch**. |
| pas de log, ni de message d'erreur : juste la tache. | pas de log, ni de message d'erreur : juste la tache. | ||
| <code> | <code> | ||
| executable = tache_2.exe | executable = tache_2.exe | ||
| queue</code> | queue</code> | ||
