Vous n'êtes pas identifié(e).
L'icône rouge permet de télécharger chaque page du wiki visitée au format PDF et la grise au format ODT →
Ci-dessous, les différences entre deux révisions de la page.
Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
utilisateurs:renart_frambivore:tutos:creer-un-cluster-condor [20/04/2020 13:54] Renart_frambivore créée |
utilisateurs:renart_frambivore:tutos:creer-un-cluster-condor [20/04/2020 14:24] Renart_frambivore [Les commandes à connaitre] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | ====== Titre de Votre Tuto ====== | + | ====== Créer un cluster Condor ====== |
- | * Objet : du tuto FIXME | + | * Objet : Mettre en cluster avec Condor |
* Niveau requis : FIXME {{tag>débutant avisé}} | * Niveau requis : FIXME {{tag>débutant avisé}} | ||
- | * Commentaires : //Contexte d'utilisation du sujet du tuto. // FIXME | ||
- | * Débutant, à savoir : [[:doc:systeme:commandes:le_debianiste_qui_papillonne|Utiliser GNU/Linux en ligne de commande, tout commence là !.]] :-) | ||
===== Introduction ===== | ===== Introduction ===== | ||
- | Condor est un programme disponible dans les dépot Debian permettant la mise en cluster d'ordinateur. | + | Condor est un programme disponible dans les dépots Debian permettant la mise en cluster d'ordinateur. |
+ | Il permet, moyennant la création d'un fichier de description, de distribuer des taches à travers divers ordinateurs de manière automatique. | ||
===== Installation ===== | ===== Installation ===== | ||
+ | Il faut installer Condor sur touteles machines concernées : | ||
<code root>apt-get -y install htcondor</code> | <code root>apt-get -y install htcondor</code> | ||
Ligne 22: | Ligne 21: | ||
Extrême, mais cela a le mérite d'être clair! | Extrême, mais cela a le mérite d'être clair! | ||
- | ===== Utilisation ===== | + | ===== Paramètrage ===== |
- | avant de modifier les fichiers de configuration : | + | Ici, nous allons paramètrer les ordinateurs du cluster de telle manière qu'un d'entre eux soumette du travail et que les autres executent. |
+ | Celui qui soumet est appelé serveur de batch, les autres sont des noeud de travail (work node). | ||
+ | |||
+ | Avant de modifier les fichiers de configuration : | ||
<code root>service condor stop</code> | <code root>service condor stop</code> | ||
- | une fois les modification terminé : | + | Une fois les modifications terminées : |
<code root>service condor start</code> | <code root>service condor start</code> | ||
- | commencer par redémarrer le serveur de batch!! | + | commencer par redémarrer le serveur de batch! |
- | Modifier les lignes suivantes dans le fichier condor_config de la work_node : | + | Il faut modifier le fichier condor_config des noeuds de travail pour qu'ils disposent tous de ces lignes : |
<code root>nano /etc/condor/condor_config</code> | <code root>nano /etc/condor/condor_config</code> | ||
<code># daemon d'une work_node | <code># daemon d'une work_node | ||
Ligne 38: | Ligne 40: | ||
RESERVED_MEMORY = | RESERVED_MEMORY = | ||
# IP du serveur de batch | # IP du serveur de batch | ||
- | CONDOR_HOST = 192.168.1.XX | + | CONDOR_HOST = 192.168.XX.XX |
- | # 192.* indique que toute machine du réseau local peut etre mis en cluster | + | # Permettre à toute les machines du réseau local de soumettre des taches : 192.* |
ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ||
- | # Je pense qu'il s'agit de l'adresse du serveur de batchdans le doute:192.* | + | # Permettre à toute les machines du réseau locale d'être gestionnaire : 192.* |
ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 192.*</code> | ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 192.*</code> | ||
- | Modifier les lignes suivantes dans le fichier condor_config du serveur de batch : | + | De la même manière, il faut modifier les même lignes du condor_config du serveur de batch : |
<code root>nano /etc/condor/condor_config</code> | <code root>nano /etc/condor/condor_config</code> | ||
<code># daemon du serveur de batch | <code># daemon du serveur de batch | ||
Ligne 52: | Ligne 54: | ||
RESERVED_MEMORY = | RESERVED_MEMORY = | ||
# IP du serveur de batch (cette machine) | # IP du serveur de batch (cette machine) | ||
- | CONDOR_HOST = 192.168.1.XX | + | CONDOR_HOST = 192.168.XX.XX |
- | # toute les machines du cluster : 192.* | + | # Permettre à toute les machines du réseau local de soumettre des taches : 192.* |
ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ALLOW_WRITE = $(CONDOR_HOST) $(IP_ADDRESS) 192.* | ||
- | # Je pense qu'il s'agit du serveur de batch | + | # Etant donnéque cette machine est un gestionnaire central : 127.* |
ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 127.* | ALLOW_NEGOTIATOR = $(CONDOR_HOST) $(IP_ADDRESS) 127.* | ||
</code> | </code> | ||
- | ===== COMMANDES ===== | + | ===== Les commandes à connaitre ===== |
- | Il y en a beaucoup d'autre, mais celle-la suffisent. | + | <note tip>Il y en a beaucoup d'autre, mais celle-la suffisent.</note> |
- | + | exécuter une tache : | |
- | executer une tache : | + | |
<code user>condor_submit /mon/fichier/description.des</code> | <code user>condor_submit /mon/fichier/description.des</code> | ||
Ligne 70: | Ligne 71: | ||
<code user>condor_q</code> | <code user>condor_q</code> | ||
- | Retire de la queue tote les tache lancé par un utilisateur : | + | Retirer de la queue toute les taches lancées par un utilisateur : |
<code user>condor_rm utilisateur</code> | <code user>condor_rm utilisateur</code> | ||
- | Permet de voir les work_node du cluster avec détail(arch, OpSys) : | + | Permet de voir les work_node du cluster avec détails(arch, OpSys) : |
<code user>condor_status</code> | <code user>condor_status</code> | ||
- | Permet de voir toute les machines du cluster : | + | Permet de voir tout les daemons actifs sur les machines du cluster : |
<code user>condor_status -any</code> | <code user>condor_status -any</code> | ||
Ligne 82: | Ligne 83: | ||
<code user>condor_status -avail</code> | <code user>condor_status -avail</code> | ||
- | ===== EXEMPLE DE FICHIERS DESCRIPTION ===== | + | ===== Exemple de fichier de description ===== |
+ | |||
+ | Les fichiers de description sont destiné à etre utilisé avec la commande condor_submit. | ||
- | Cet exemple permet d'executer un script bash "tache_1.exe"(rien a voir avec windaube) 5 fois | + | Cet exemple permet d'executer un script bash "tache_1.exe"(rien a voir avec windaube, exe en réference à la ligne executable du fichier) 5 fois |
- | en utilisant toute les machines disponible sous linux d'architecture X86_64, armv6l et armv7l en faisant usage d'une image "cd65.iso" | + | en utilisant toute les machines disponible sous linux d'architecture X86_64, armv6l et armv7l en faisant usage d'un fichier 'fichier.nécéssaire. |
output, error, et log fournissent des informations utiles concernant l'execution de votre tache. | output, error, et log fournissent des informations utiles concernant l'execution de votre tache. | ||
- | Si vous êtes débutant, utiliser tout le temps l'univers vanilla (le plus simple) | + | Si vous êtes débutant, commencer par l'univers vanilla (le plus simple). |
Ligne 102: | Ligne 105: | ||
- | tache ultra basique. | + | Voici une tache ultra basique. |
- | Elle execute 1 fois dans l'univers vanilla le script tache_2.exe situé dans votre repertoire personnel en utilisant une machine disponible d'architecture et system d'exploitation identique à votre serveur de batch. | + | Elle execute **1 fois** dans l'univers **vanilla** le script **tache_2.exe** situé dans votre **repertoire personnel** en utilisant **une machine disponible** d'architecture et system d'exploitation **identique à votre serveur de batch**. |
pas de log, ni de message d'erreur : juste la tache. | pas de log, ni de message d'erreur : juste la tache. | ||
<code> | <code> | ||
executable = tache_2.exe | executable = tache_2.exe | ||
queue</code> | queue</code> |