[Résolu] Script d'installation logiciel ne marche pas

Seko · 27-01-2019 03:59:01

Bonsoir,

Je me présente : je suis Seko et un nouveau venu sur Debian.

Je suis aussi un novice en programmation python. J'ai suivi les tutoriels d'openclassroom et je continue de m'instruire.

Je suis confronté à un gros dilemme!

Je préviens en avance, je vais écrire probablement un pavé!

En effet, je me suis procuré Debian très récemment (vendredi dernier pour être plus précis) parce que j'en ai besoin pour installer un logiciel scientifique.

Mais c'est là que ça coince! Malgré toutes mes tentatives, et j'en ai fait beaucoup, cela ne marche pas!

L'auteur du logiciel en question a prévu des scripts d'installation tout prêt à être utilisé. J'ai donc lancé celui de Debian 8 dans une console (j'ai Debian 8.11 Jessie sur mon ordi).

Comme c'est un fichier .sh, j'ai fait :

bash aws-debian8.sh

Cela m'installe une tonne de paquets des librairies python mais à la fin. Je n'ai rien. J'ai repéré quelques erreurs d'importation de modules. J'en ai résolu la plupart.

Comme je n'avais rien, j'ai donc décidé d'utiliser un autre script d'installation plus simple, qui demande d'avoir des paquets déjà installés. Comme j'ai pas mal galéré sur le premier script, j'ai normalement tous les paquets adéquats.

Seulement, quand je lance le script, j'ai, dès la première ligne de code, une erreur. J'ai cherché à savoir comment résoudre le problème mais je n'ai rien trouvé. Je n'y comprends rien du tout.

J'ai bien programmé plein de programmes python avant ça mais c'était resté à l'exploitation de données scientifiques. Là, je sèche complètement.

Je vous mets les lignes de code du début avec les commentaires :

#!/bin/bash

# This is a complete installation script for a python virtual environment with PyNX.

# This has been tested on debian 8 and macOS computers.

# It assumes you already have installed :

# - python>=3.4 (>=3.5 recommended)

# - git, cmake, compilers (Xcode with developer tools on macOS)

# - opencl headers and drivers (native on macOS, libraries needed on linux)

# - cuda development tools and drivers (optional)

echo $1

if [ -z $2 ];

then

  echo "No directory or python executable given for installation !";

  echo "Usage: mkenv.sh DIRNAME PYTHON_EXE PYNX_VERSION"

  echo "   with: DIRNAME the name of the new directory to create the python virtual environement, e.g. pynx-env"

  echo "         PYTHON_EXE the name of the python executable, e.g. python3.4"

  echo "         PYNX_VERSION (optional) the git tag for the pynx version to be installed"

  echo "example: mkenv.sh pynx-env python3.5"

  echo "example: mkenv.sh pynx-3.6.2-py36 python3.6 v3.6.2"

  exit

fi

echo

echo "#############################################################################################"

echo " Creating & the destination directory"

echo "#############################################################################################"

echo

if [ -d "$PWD/$1" ]; then

    echo "ERROR: directory $PWD/$1 already exists !"

    echo " Please remove the target directory first."

    exit

fi

if mkdir -p $1;

then

  echo "Installing in: " $1

else

  echo "Cannot install in: " $1

  echo "Exiting"

  exit

fi

cd $1

export BASEDIR=$PWD

echo $BASEDIR

echo

echo "#############################################################################################"

echo " Creating the python virtual environment"

echo "#############################################################################################"

echo

# Create the python virtual environment, without system packages

cd $BASEDIR

if [[ "$OSTYPE" == "darwin"* ]]; then

  # See [url]https://matplotlib.org/faq/osx_framework.html[/url]

  $2 -m venv ./

else

  virtualenv -p $2 ./

fi

Je récupère l'erreur suivante :

No directory or python executable given for installation !

Usage: mkenv.sh DIRNAME PYTHON_EXE PYNX_VERSION

   with: DIRNAME the name of the new directory to create the python virtual environement, e.g. pynx-env

         PYTHON_EXE the name of the python executable, e.g. python3.4

         PYNX_VERSION (optional) the git tag for the pynx version to be installed

example: mkenv.sh pynx-env python3.5

example: mkenv.sh pynx-3.6.2-py36 python3.6 v3.6.2

C'est déjà là que je bloque. L'installation de ce logiciel me rend fou. Ca fait plusieurs jours que je suis dessus sans succès.

Voili Voilu!

Si des personnes pouvaient de donner un peu d'aide, s'il-vous-plaît, ce serait super parce que je suis vraiment désabusé de bloquer à chaque étape.

En vous remerciant par avance pour votre aide.

Bonne soirée.
Edit modération : ajout des balises codes autour des commandes et des retours en suivant ce tuto : https://debian-facile.org/:atelier:colo … syntaxique

Dernière modification par Seko (05-02-2019 11:49:38)

David5647 · 27-01-2019 08:56:01

Faut pas que tu passes des paramètres au script par hasard?

Usage: mkenv.sh DIRNAME PYTHON_EXE PYNX_VERSION

De plus quelle version de python as-tu?

python3 --version

Tu peux nous donner le lien du logiciel, du script pour qu'on y voit plus clair!

Dernière modification par David5647 (27-01-2019 09:14:32)

MicP · 27-01-2019 09:42:17

Bonjour Seko

Seko a écrit :

…parce que j'en ai besoin pour installer un logiciel scientifique.…

Donnes nous le nom de ce logiciel

Seko a écrit :

… quand je lance le script, …

et un lien web vers la page dans laquelle tu as trouvé le script dont tu nous as donné un extrait.

=======
Afin d'essayer d'en savoir un peu plus sur le contexte,
donnes nous aussi les références de la machine sur laquelle tu essayes d'installer ce logiciel
et le retour des commandes suivantes :

lsb_release -a

lspci -nn | grep VGA

cat /proc/cpuinfo | grep "model name"

python -V

et aussi, le retour de commande demandé par David5647

=======
Merci.
⁫

Dernière modification par MicP (27-01-2019 11:39:26)

anonyme · 27-01-2019 13:04:53

Bonjour

un rapport avec ceci je suppose => https://debian-facile.org/viewtopic.php … 54#p290854

nota: pour ta remarque sur cuda ne fonctionne que avec du matériel nvidia
pour intel en libre il y a un paquet "beignet" pour OpenCL

OpenCL (Open Computing Language) is a multivendor open standard for

general-purpose parallel programming of heterogeneous systems that include

CPUs, GPUs and other processors.

This package contains the shared library for an Intel implementation,

which supports the integrated GPUs of Ivy Bridge to Coffee Lake

(ix-3xxx to some ix-8xxx) Intel Core and Atom processors.

pour le script je te serait pas utile =>

Seko · 27-01-2019 20:37:52

Bonsoir,

Merci pour votre aide!

Pour situer le contexte, le logiciel que je tente d'installer s'appelle pynx. C'est un logiciel open source pour calculer la diffraction des rayons X sur les nuages électroniques des atomes. C'est normalement un logiciel open source donc c'est bon si j'en parle ici sur le forum.

Il est trouvable facilement sur Google, ainsi que tous les fichiers pour l'installer.

Voici les autres réponses à vos questions :

lsb_release -a

No LSB modules are available.

Distributor ID: Debian

Description:  Debian GNU/Linux 8.11 (jessie)

Release:  8.11

Codename: jessie

########################

lspci -nn | grep VGA

 

00:02.0 VGA compatible controller [0300]: Intel Corporation Device [8086:1921] (rev 0a)

########################

cat /proc/cpuinfo | grep "model name"

model name  : Intel(R) Core(TM) i3-6006U CPU @ 2.00GHz

model name  : Intel(R) Core(TM) i3-6006U CPU @ 2.00GHz

model name  : Intel(R) Core(TM) i3-6006U CPU @ 2.00GHz

model name  : Intel(R) Core(TM) i3-6006U CPU @ 2.00GHz

########################

python -V

Python 2.7.9

python3 --version

Python 3.4.2

########################

En parallèle du script dont je vous ai parlé, j'en ai essayé un autre dédié au Debian 8 spécifiquement et qui m'installe automatiquement tous les paquets nécessaires.

J'ai eu plus de chance parce que ce nouveau script, il a fonctionné jusqu'au bout!
J'ai donc pas mal avancé sur l'installation!

Mais ce n'est pas pour ça que ça a marché.

En effet, à la fin, je dois avoir un fichier.exe que je peux lancer or j'ai recherché partout sur l'ordi, pas de fichier.exe correspondant au logiciel.

Et pour cause, j'ai repéré des erreurs dans les retours de la console.

Il y a trois erreurs qui ont attiré mon attention, les voici. (J'ai mis toutes les lignes de code du terminal, c'est trop long)

Command "/root/pynx-env/bin/python3.4 /root/pynx-env/lib/python3.4/site-packages/pip install --ignore-installed --no-user --prefix /tmp/pip-build-env-k2t5vxpu/overlay --no-warn-script-location --no-binary :none: --only-binary :none: -i https://pypi.org/simple -- setuptools wheel numpy cython" failed with error code 1 in None

 

###########################################

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-install-exrk211o/pyopencl/

 

###########################################

  File "/root/pynx-env/lib/python3.4/site-packages/setuptools/archive_util.py", line 15, in <module>

    from pkg_resources import ensure_directory, ContextualZipFile

ImportError: cannot import name 'ContextualZipFile'

###########################################

Pour la première erreur, pas moyen de savoir ce qui se passe, les recherches sur Internet n'ont rien donné de probant.

La deuxième erreur, j'ai trouvé des exemples sur Internet mais rien de ce que j'ai essayé ne marche dessus.

La troisième erreur, j'ai également trouvé des exemples sur Internet mais la encore, rien à faire, rien ne marche.

J'ai aussi eu des problèmes avec des fichiers et des répertoires qui n'étaient pas trouvés, j'ai mis leur chemin d'accès absolu dans le script et du coup c'est bon.

Voili voilu.

Pour info, à la fin du script spécial Debian 8, ça lance un programme python setup.py qui finalise l'installation mais bon, il a buggé. C'est d'ailleurs le message de la troisième erreur.

Voili voilu!

David5647 · 27-01-2019 22:37:12

Seko a écrit :

Il est trouvable facilement sur Google, ainsi que tous les fichiers pour l'installer.

Un lien ça nous arrangerait encore plus!

Je ne sais pas trop pour les erreurs, ce qui me gène, c'est les incohérences :
- python3 est effectivement en 3.4 sur jessie, mais c'est la version 3.5 qui est recommandée
- pourquoi un exe pour un programme sous debian?

As tu réessayé le premier script en lui fournissant les paramètres demandés?
Avec le script employé, on pourrait tester...

Dernière modification par David5647 (27-01-2019 22:38:30)

chalu · 28-01-2019 07:50:12

Bonjour Seko

Je te redonne le lien pour la mise en forme des commandes dans les messages https://debian-facile.org/:atelier:colo … syntaxique
Je corrige de nouveau ton deuxième post mais ce serait bien que tu le suives pour le prochain

Ça aide la lecture

Anonyme · 28-01-2019 10:07:08

Bonjour,

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-install-exrk211o/pyopencl/

semble indiquer un problème avec l'installation d'opencl.Je pense qu'il faut revenir à la base.
Les prérequis sont :
1- python (>=3.4, >=3.5 recommended). Tu as 3.4 ça devrait passer.
2- pip for python package installation
3- already-installed OpenCL libraries
4- nvidia drivers
5- git, cmake and standard development tools (for C/C++/python, depending on the operating system)

Vérifie si les 2, 3 et 4 sont bien installés. Pour le dernier point, c'est bien vague.

anonyme · 28-01-2019 13:22:27

Bonjour
avec un gpu intel installer en 4 le driver nvidia ça va pas le faire
le driver nvidia risque de ne fournir que OpenGL , pour OpenCL il faudra Cuda

a mon avis il faut voir le prérequis pour le matériel pour ce script

mesa fourni OpenCL mais avec des restrictions , le paquet "beignet" aussi pour intel
mais ce script est il fait pour tourner sur une plateforme GNU Linux en libre
voila quelques réflexions

=>

voila pour moi en nvidia (juste le début) du paquet "clinfo"

clinfo

 

retour

Number of platforms                               1

  Platform Name                                   NVIDIA CUDA

  Platform Vendor                                 NVIDIA Corporation

  Platform Version                                OpenCL 1.2 CUDA 9.1.84

  Platform Profile                                FULL_PROFILE

  Platform Extensions                             cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_fp64 cl_khr_byte_addressable_store cl_khr_icd cl_khr_gl_sharing cl_nv_compiler_options cl_nv_device_attribute_query cl_nv_pragma_unroll cl_nv_copy_opts cl_nv_create_buffer

  Platform Extensions function suffix             NV

  Platform Name                                   NVIDIA CUDA

Number of devices                                 1

  Device Name                                     GeForce GTX 1060 3GB

  Device Vendor                                   NVIDIA Corporation

en libre dans synatic en recherche avec le mot clé "opencl" il y a des paquets disponibles en libre
j'ai testé AMD et Intel en libre , juste que la prise en charge n'est pas aussi bonne que avec le propriétaire.
j'ai pas de machine en libre sinon j'aurai posté ce que ça donne

du paquet python-pyopencl

PyOpenCL lets you access the OpenCL parallel computation API from

Python. Here's what sets PyOpenCL apart:

 * Object cleanup tied to lifetime of objects. This idiom, often called

   RAII in C++, makes it much easier to write correct, leak- and

   crash-free code.

 * Completeness. PyOpenCL puts the full power of OpenCL’s API at your

   disposal, if you wish.

 * Convenience. While PyOpenCL's primary focus is to make all of OpenCL

   accessible, it tries hard to make your life less complicated as it

   does so--without taking any shortcuts.

 * Automatic Error Checking. All OpenCL errors are automatically

   translated into Python exceptions.

 * Speed. PyOpenCL’s base layer is written in C++, so all the niceties

   above are virtually free.

 * Helpful, complete documentation and a wiki.

 * Liberal licensing (MIT).

Dernière modification par anonyme (28-01-2019 13:36:14)

anonyme · 28-01-2019 13:56:49

je sais pas si correct => https://github.com/nx-python/PyNX
=> http://www.esrf.eu/computing/scientific … EADME.html
remarque: ton gpu intel est mal configuré (mal reconnu) suite a tes retours

=> http://ftp.esrf.eu/pub/scisoft/PyNX/doc/

=> http://ftp.esrf.fr/pub/scisoft/PyNX/

Dernière modification par anonyme (28-01-2019 14:03:49)

anonyme · 28-01-2019 14:11:23

j'ai téléchargé l'archive
le txt

# PyNX - Python tools for Nano-structures Crystallography

#   (c) 2018-present : ESRF-European Synchrotron Radiation Facility

#       authors:

#         Vincent Favre-Nicolin, favre@esrf.fr

#

# Requirements for using PyNX using OpenCL and/or CUDA (full installation

# Base dependencies

numpy>=1.5

cython

scipy>=0.17

matplotlib

mako

# This section is not necessary for scattering calculations (pynx.scattering)

scikit-image

h5py

hdf5plugin

silx>=0.6

pillow

lxml

fabio

# This is just necessary for ipython notebooks

ipywidgets

ipympl

ipython

notebook

# OpenCL specific part

pyopencl>=2017

# gpyfft requires the clfft library to be installed first

gpyfft>=0.7

# CUDA specific part

pycuda>=2017

# gpyfft requires the clfft library to be installed first

gpyfft>=0.7

il faut nvidia-driver + cuda
a mon avis uniquement en driver propriétaire

anonyme · 28-01-2019 14:16:42

voila le script d'installation pour debian9 ou 10

# !/bin/bash

############################# NOTES

# An 8Gb image is not large enought to install all the requirements (CUDA toolkit) and libraries.

# 20Gb suggested for test, plus what is needed for data

# This is an installation of debian 10 (Buster, testing as of 03/2018) from the AWS Debian 9 image

############################# Upgrade to debian 10 ##########################################

sudo apt-get update

sudo apt-get upgrade -y

sudo apt-get dist-upgrade -y

sudo apt-get clean

sed -i 's/stretch/buster/g' /etc/apt/sources.list

echo "deb http://httpredir.debian.org/debian/ buster contrib non-free" >> buster-contrib-nonfree-backports.list

sudo mv buster-contrib-nonfree-backports.list /etc/apt/sources.list.d/

sudo apt-get update

sudo apt-get upgrade -y         # INTERACTIVE

sudo apt-get dist-upgrade -y    # INTERACTIVE

############################# Install base packages ##########################################

sudo apt-get install -y git cmake vim xauth x11-apps fftw3 fftw3-dev aptitude g++ eog rsync

# We install matplotlib to get all graphical packages dependencies, it will be later installed in the virtualenv

sudo apt-get install -y python3-matplotlib python3-virtualenv virtualenv python3-dev

########################## nVidia packages (not availble yet for stretch) #######################################

sudo apt-get install -y nvidia-driver nvidia-smi libcuda1 nvidia-cuda-dev nvidia-cuda-toolkit clinfo    # INTERACTIVE

sudo apt-get autoremove -y

sudo apt-get clean

# Needed to activate drivers and deactivate nouveau

sudo  reboot                                      # REBOOT

# Need manual install of nvidia kernel module ? WHY ??

sudo dkms autoinstall -m nvidia

sudo modprobe nvidia

########################### NEW USER

sudo adduser pynx                       # INTERACTIVE: enter password

sudo apt-get install fail2ban -y        # More secure

sudo vim /etc/fail2ban/jail.conf        # need to whitelist esrf and epn-campus

    => ignoreip = 127.0.0.1/8 ::1 160.103.0.0/16 193.49.0.0/16

sudo service fail2ban restart

sudo vim /etc/ssh/sshd_config           # INTERACTIVE: Enable PasswordAuthentication

sudo service sshd restart

############### The following should be done as the user who will do the calculations, or a shared directory

# Use the 'install-pynx-venv.sh' script for installation

su - pynx

cd

wget http://ftp.esrf.fr/pub/scisoft/PyNX/install-scripts/install-pynx-venv.sh

chmod +x install-pynx-venv.sh

./install-pynx-venv.sh pynx-env python3.6

anonyme · 28-01-2019 14:40:06

il y a des fichiers de tous les cotés

ceci va me donner tord le fichier install.rst
le début

Generic Instructions

====================

*PyNX* is focused on using Graphical Processing Units (GPU) for faster calculations, so you will need:

* a GPU (which can be an integrated GPU)

* an OpenCL installation (drivers and libraries)

Optionally, you can also use CUDA (which can give better performance, notably when using 3D FFT), which

requires CUDA drivers and development tools (nvcc)

juste les performances avec un gpu intégré dans le cpu les performances seront moins bonnes
par contre sûrement possible en libre mais ton script ne convient pas

je suppose qu il faut commencer par le setup.py

Conclusion:
il faut commencer par mettre ta machine en état (prise en charge du matériel ).
pourquoi Jessie et pas Stretch ?
ta machine a quel âge ?

Dernière modification par anonyme (28-01-2019 14:48:09)

Seko · 28-01-2019 15:56:27

Bonjour,

Merci pour toutes vos réponses, j'y vois plus clair.

Alors déjà je vais faire l'effort de mettre moi-même de la coloration dans les lignes de code que je poste.

J'avais pas compris comment faire en fait.

Donc pour les questions que vous avez posées :

- Ce logiciel peut-être trouvé dans le lien http://ftp.esrf.fr/pub/scisoft/PyNX/
J'y ai téléchargé le dossier : pynx-latest.tar.bz2 >>>>>>> y'a tout dedans!

-J'ai lu les scripts aws-debian8.sh et install-pynx-venv.sh et j'ai essayé les deux en faisant :

bash nom-du-script

- install-pynx-venv.sh bugg dès le début comme vous avez vu et je comprends pas ce que je dois modifier pour que ça marche

- aws-debian8.sh a mieux marché. Seulement j'ai les erreurs que j'ai postés lors de mon dernier post sur le site.

- Le fait que j'ai choisi debian 8 pour installer et non le debian 9 ,c'est cette ligne de commentaire dans le script install-pynx-venv.sh :

# This has been tested on debian 8 and macOS computers.

En gros, vu que ça a été testé sur le Debian 8, je me suis dit que ce serait plus facile en prenant le même système d'exploitation. Mais en vrai, c'est pas simple!
Du coup, je songe à désinstaller Debian 8 pour avoir Debian 9 dans le pire des cas.

et même :

# THIS IS NOT YET FUNCTIONAL AS DEBIAN9 DOES NOT HAVE GCC5, NEEDED FOR (PY)CUDA WITH CUDA8...

# TODO: TRY INSTALLING NVIDIA DRIVERS / CUDA9 FROM SOURCE ?

- Pour répondre à David5647 sur le premier script install-pynx-venv.sh, je ne sais absolument pas quoi écrire dessus en entrée, c'est de la programmation système et c'est pour moi le côté obscur En gros, je sais pas comment m'en sortir sur ce script.

- aws-debian8.sh marche mieux mais ce n'est pas la panacée. Il demande notamment à la fin faire s'exécuter le fichier setup.py pour finaliser l'installation. Seulement, il plante. J'ai regardé setup.py et je n'y comprends rien du tout. C'est encore de la programmation système?

- Dans tous les cas de figure, je supprime les lignes de code qui importent des paquets Nvidia et Cuda (parce que Cuda ça marche sur des cartes graphiques Nvidia or moi j'ai une Intel HD).

- Je supprime aussi les lignes de code qui font qu'on crée un profil utilisateur sur un serveur Gitlab parce que je ne peux pas le faire. Il faut une adresse mail spéciale venant d'un laboratoire.

Voili voilu

Je vous remercie encore pour votre aide! Je n'abandonne pas la bataille avec ce logiciel! Je gagnerai coûte que coûte! Même si je dois y laisser des plumes!

Voili Voilu!

Est-ce vous avez des idées avec les informations que j'ai apportées dans ce post, s'il-vous-plaît?

Dernière modification par Seko (28-01-2019 15:57:14)

anonyme · 28-01-2019 16:26:17

Il faut une installation propre
prise en charge complète du gpu intel , 2D et 3D , OpenGL , OpenCL , Mesa , Beignet
tu a des utilitaires comme mesa-utils (glxinfo -B) , clinfo pour vérifier
nota: Vulkan prend en charge le gpu intel aussi même si il n'est pas utile pour ce projet
si ta machine est moderne préférer KMS (modeset) du noyau plutôt que le paquet de X (xserver-xorg-video-intel )
quand ta machine est bien configuré tu peu commencer a faire l'installation
voila les caractéristiques de ton cpu => https://ark.intel.com/fr/products/91157 … e-2-00-GHz-
si ton gpu (IGP) est bien identifié (comme ceci)

lspci -nn | grep VGA

 

00.0 VGA compatible controller [0300]: NVIDIA Corporation GM206 [GeForce GTX 960] [10de:1401] (rev a1)

 

comme ton #5 c'est mauvais

02.0 VGA compatible controller [0300]: Intel Corporation Device [8086:1921] (rev 0a)

 

avec stretch et le paquet "firmware-misc-nonfree" a installer tu verra ça ira beaucoup mieux.
après a toi de jouer pour l'installation
nota: pour python a partir de stretch il y a eu des modifications sur les versions et certains paquets mais ils te proposent un script pour stretch donc je pense pas un souci

David5647 · 28-01-2019 21:59:04

Salut,

bon je voulais répondre avant, mais j'ai du me trouver un instant pour lancer les scripts dans une machine virtuelle toute neuve (debian 9 par contre)
Je pense que anonyme pourra t'aider pour les dépendances et gestion de carte graphique, celles-ci étant optionnelles d'après ce que j'ai vu, tu peux tenter l'installation quand même, ça devrait pas bloquer.

Pour ma part, sur une debian 9 toute fraiche :
1 - Téléchargement de pynx-latest.tar.bz2
2 - Décompression de l'archive
3 - Contruction de la doc :

cd pynx/doc/

sudo apt install sphinx-common

J'ai choisi de la construire avec latex :

sudo apt install latex-make

make latexpdf

Voilà ça pourra aider plus tard!

4 - installation du l'environnement :

cd pynx/install-scripts/

Tu choisi le dossier d'installation, tu précise ta version de python, pour ma part :

./install-pynx-venv.sh PyNX_dossier python3.5

Et voilà! l'environnement est installé!

5 - installation du soft :

cd pynx/

./install-scripts/aws-debian9.sh

=> Installations de paquets en tout genre, la machine reboot...
Bon, je crois qu'il y a encore des choses à faire après, mais essaie déjà ça...

Dernière modification par David5647 (28-01-2019 22:06:42)

MicP · 28-01-2019 22:52:25

Bonjour

Vu les PCI-IDs (8086:1921), la carte graphique est une Intel HD Graphics 520

Je pense qu'il vaudrait mieux faire une installation fonctionnelle de debian 9.7 (stretch)
avec tous les fichiers firmware nécessaires pour cette machine
et pour OpenCL, installer les paquetages beignet-opencl-icd et python-pyopencl

Avec debian 9.7 (stretch), python3 sera en version 3.5.3

Il faudra lancer la commande proposée dans les commentaires du script :

mkenv.sh pynx-env python3.5

avant de lancer le script

install-pynx-venv.sh

anonyme · 29-01-2019 06:37:26

Bonjour

je suis a la dernière ligne du script d'installation pour debian 9/10 sur Buster (en cuda avec une GTX750TI).
tout a été correct jusqu'a

./install-pynx-venv.sh pynx-env python3.6

 

avec le message traduit

OpenCL est nécessaire pour la plupart des applications - Vérifiez vos en-têtes opencl et votre accès Internet en cas d'échec du pip

   Vous pouvez continuer si vous n’avez pas de GPU et souhaitez seulement faire des tests avec le CPU (beaucoup plus lent

Press Ctrl-C to abort, or RETURN to continue

j'ai choisi "abort" pour cuda mais possible de continuer
je vais suivre vos conseil , pour python je comprends pas grand chose.

une question sur fail2ban on met ou la liste blanche "need to whitelist esrf and epn-campus" (le seul truc que j'ai pas fait )
ps: j'ai utilisé "apt-get -s --reinstall install" pour chaque ligne pour vérifié , tout a été correct. (tout noté sur un fichier texte des retours )
je me retrouve avec un user "pynx" dans son dossier personnel et cette commande au dessus a faire "./install-pynx-venv.sh pynx-env python3.6 " et le message d'erreur au dessus

voila

anonyme · 29-01-2019 08:19:03

ma première erreur travailler en ssh sur la machine , cuda mal installé , je n'arrive pas a créer la documentation etc ............
pour cuda c'est ok

Number of platforms                               2

  Platform Name                                   NVIDIA CUDA

  Platform Vendor                                 NVIDIA Corporation

  Platform Version                                OpenCL 1.2 CUDA 9.1.84

  Platform Profile                                FULL_PROFILE

  Platform Extensions                             cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_fp64 cl_khr_byte_addressable_store cl_khr_icd cl_khr_gl_sharing cl_nv_compiler_options cl_nv_device_attribute_query cl_nv_pragma_unroll cl_nv_copy_opts cl_nv_create_buffer

  Platform Extensions function suffix             NV

  Platform Name                                   Clover

  Platform Vendor                                 Mesa

  Platform Version                                OpenCL 1.1 Mesa 18.3.2

  Platform Profile                                FULL_PROFILE

  Platform Extensions                             cl_khr_icd

  Platform Extensions function suffix             MESA

juste ceci => dans le "other" => "4U" avec des caractères "?" pas cool .

NULL platform behavior

  clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...)  NVIDIA CUDA

  clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...)   Success [NV]

  clCreateContext(NULL, ...) [default]            Success [NV]

  clCreateContext(NULL, ...) [other]              4U

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT)  No platform

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU)  No devices found in platform

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU)  No platform

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR)  No devices found in platform

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM)  Invalid device type for platform

  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL)  No platform

ICD loader properties

  ICD loader Name                                 OpenCL ICD Loader

  ICD loader Vendor                               OCL Icd free software

  ICD loader Version                              2.2.12

  ICD loader Profile                              OpenCL 2.2

pour la partie cuda cela devrait être correct , a priori ne fonctionne pas avec mesa (j'ai installé tous les paquets relatif a python-pyopencl et headers opencl)
je continue

sur Buster je n'arrive pas erreur sur python (avec pip ).
ou je sais pas faire
toujours l'erreur comme quoi cuda n'est pas trouvé

python --version

 

Python 2.7.15+

 

python3 --version

 

Python 3.7.2

 

ma commande

./install-pynx-venv.sh pynx-env python3.7.2

 

Dernière modification par anonyme (29-01-2019 09:15:53)

anonyme · 29-01-2019 09:36:03

avec le scipt pour stretch je bloque ici

pip install mako pyopencl h5py hdf5plugin silx pillow lxml fabio pycuda scikit-cuda pyopengl pyqt5 --upgrade

 

Failed building wheel for pyopencl

Failed building wheel for pycuda

un souci de version de python3 ?

Dernière modification par anonyme (29-01-2019 09:47:57)

Seko · 29-01-2019 09:59:04

Bonjour,

Merci pour tous vos retours!

Alors je n'ai pas tout saisi mais je sais à peu près comment je vais m'organiser.

Je vais faire une installation propre du logiciel sur Debian 8 une dernière fois en prenant en compte les paquets Mesa et beignet. Si j'ai bien compris.

Si ça marche toujours pas, je vais changer de système d'exploitation et passer à un Linux Debian 9 et faire les manips que vous m'avez conseillées pour l'installation.
Je sais pas si c'est très indiqué dans mon cas de figure mais je pense même aller à la vitesse supérieure et passer directement sur un debian 10 puisque c'est la dernière version stable. Si vous pensez que je devrais me limiter à un debian 9, n'hésitez pas à me le dire.

Sinon, je n'ai pas compris la réponse de David5647 qui utilise Latex et sphinx-common. J'ai fait quelques recherches dessus mais je n'ai pas compris à quoi ça sert dans le processus d'installation. Désolé si je suis un peu long à la détente ^^. Je ne suis pas encore un programmeur expérimenté, je me classe en tant que grand débutant.

Mais je m'instruis petit à petit, j'ai des bouquins en python 3 depuis quelques mois et j'apprends de mes erreurs sur l'installation de ce logiciel.

Je vous tiens au courant de l'évolution de mes tentatives d'installation.

Encore merci pour tous vos retours et votre aide.

Voili voilu!

anonyme · 29-01-2019 10:53:19

je te conseille stretch 9 et le script pour stretch

pour ta machine tu a juste a installer le firmware , beignet , mesa-utils clinfo
ce qui donne

apt-get install firmware-misc-nonfree beignet mesa-utils clinfo

 

pour éviter d'installer plusieurs fois le même paquet et de le passer en installé manuellement utilise l'option "--reinstall install"
pour simuler avant ; l'option-s => "-s --reinstall install"
dans le cas ou tu fais ligne par ligne les commandes (et pas par le script d'installation)

la réponse de David5647 , pour créer une doc pdf avec latex mais j'ai pas réussi .

je suis encore plus mauvais que toi juste la curiosité (j'ai bidouillé un peu python avec le framboise "PI3" et quelques livres aussi ).

ps: évite Buster10

Dernière modification par anonyme (29-01-2019 10:56:58)

David5647 · 29-01-2019 11:14:22

Jusqu'ici, il n'est pas encore vraiment question de python, c'est du bash!
le script fait plusieurs choses :
- il installe des paquets debian, pour le support des gpu notamment
- il installe des bibliothèques python
- il créé un environnement python, c-à-d qu'il créé une installation virtuelle, un dossier dans lequel les bibliothèques python ont une version spécifique pour éviter qu'une màj du système casse tout et que plusieurs versions de ces dernières puissent cohabiter. Là, c'est effectivement un peu plus spécifique à python.

Pour la doc, il faut la construire, la compiler, un peu comme un paquet source.
Il doit y avoir plusieurs outils pour la construire, sphinx en est un. (sphinx-build - Sphinx documentation generator tool)
Comment ai-je fais pour savoir qu'il fallait construire la doc? J'ai utilisé ma méthode de prédilection : la méthode empirique

ls pynx/doc/

changelog.rst  conf.py  index.rst  install.rst  Makefile  modules  scripts

Ok, il y a une Makefile => ça doit se compiler (je ne sais pas si le terme est exact...)

cat Makefile | head

# Makefile for Sphinx documentation

#

# You can set these variables from the command line.

SPHINXOPTS    =

SPHINXBUILD   = sphinx-build

PAPER         =

BUILDDIR      = ybuild

# User-friendly check for sphinx-build

Ok, faut utiliser sphinx

Si je tente un :

make

Please use `make <target>' where <target> is one of

  html       to make standalone HTML files

  dirhtml    to make HTML files named index.html in directories

  singlehtml to make a single large HTML file

  pickle     to make pickle files

  json       to make JSON files

  htmlhelp   to make HTML files and a HTML help project

  qthelp     to make HTML files and a qthelp project

  applehelp  to make an Apple Help Book

  devhelp    to make HTML files and a Devhelp project

  epub       to make an epub

  epub3      to make an epub3

  latex      to make LaTeX files, you can set PAPER=a4 or PAPER=letter

  latexpdf   to make LaTeX files and run them through pdflatex

  latexpdfja to make LaTeX files and run them through platex/dvipdfmx

  text       to make text files

  man        to make manual pages

  texinfo    to make Texinfo files

  info       to make Texinfo files and run them through makeinfo

  gettext    to make PO message catalogs

  changes    to make an overview of all changed/added/deprecated items

  xml        to make Docutils-native XML files

  pseudoxml  to make pseudoxml-XML files for display purposes

  linkcheck  to check all external links for integrity

  doctest    to run all doctests embedded in the documentation (if enabled)

  coverage   to run coverage check of the documentation (if enabled)

Je vois la liste des possibilité, je veux du pdf, j'aime bien latex => latexpdf
Bon j'ai un peu tatonné, ptetre qu'il y a une étape que j'ai pas noté, un paquet, une commande...
Ce n'est en aucun cas nécessaire à l'installation, mais ça peut aider à l'usage de ce dernier^^

Je pense comme anonyme, utilise préférentiellement stretch (debian 9), le script (debian9to10 à l'air très différent des autres)

Dernière modification par David5647 (29-01-2019 11:19:58)

anonyme · 29-01-2019 11:28:45

sur Buster cela donne ceci (toujours la même erreur )

pynx@opteron:~$ export BASEDIR=$PWD

pynx@opteron:~$ cd $BASEDIR

pynx@opteron:~$ mkdir -p pynx-env

pynx@opteron:~$ python3 --version

Python 3.7.2

pynx@opteron:~$ virtualenv -p python3.7 pynx-env/

Running virtualenv with interpreter /usr/bin/python3.7

Using base prefix '/usr'

/usr/lib/python3/dist-packages/virtualenv.py:1090: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses

  import imp

New python executable in /home/pynx/pynx-env/bin/python3.7

Also creating executable in /home/pynx/pynx-env/bin/python

Installing setuptools, pkg_resources, pip, wheel...done.

pynx@opteron:~$ source pynx-env/bin/activate

source pynx-env/bin/activate

(pynx-env) pynx@opteron:~$ pip install --upgrade pip setuptools wheel

Requirement already up-to-date: pip in ./pynx-env/lib/python3.7/site-packages (19.0.1)

Requirement already up-to-date: setuptools in ./pynx-env/lib/python3.7/site-packages (40.7.1)

Requirement already up-to-date: wheel in ./pynx-env/lib/python3.7/site-packages (0.32.3)

Successfully installed MarkupSafe-1.1.0 PyWavelets-1.0.1 Send2Trash-1.5.0 backcall-0.1.0 bleach-3.1.0 cloudpickle-0.7.0 cycler-0.10.0 cython-0.29.3 dask-1.1.0 decorator-4.3.2 defusedxml-0.5.0 entrypoints-0.3 ipykernel-5.1.0 ipython-7.2.0 ipython-genutils-0.2.0 jedi-0.13.2 jinja2-2.10 jsonschema-2.6.0 jupyter-client-5.2.4 jupyter-core-4.4.0 kiwisolver-1.0.1 matplotlib-3.0.2 mistune-0.8.4 nbconvert-5.4.0 nbformat-4.4.0 networkx-2.2 notebook-5.7.4 numpy-1.16.0 pandocfilters-1.4.2 parso-0.3.2 pexpect-4.6.0 pickleshare-0.7.5 pillow-5.4.1 prometheus-client-0.5.0 prompt-toolkit-2.0.8 ptyprocess-0.6.0 pygments-2.3.1 pyparsing-2.3.1 python-dateutil-2.7.5 pyzmq-17.1.2 scikit-image-0.14.2 scipy-1.2.0 six-1.12.0 terminado-0.8.1 testpath-0.4.2 toolz-0.9.0 tornado-5.1.1 traitlets-4.3.2 wcwidth-0.1.7 webencodings-0.5.1

compilation terminated.

    error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

    ----------------------------------------

Command "/home/pynx/pynx-env/bin/python3.7 -u -c "import setuptools, tokenize;__file__='/tmp/user/1001/pip-install-zx1v9a1t/pyopencl/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/user/1001/pip-record-hbikhxc0/install-record.txt --single-version-externally-managed --compile --install-headers /home/pynx/pynx-env/include/site/python3.7/pyopencl" failed with error code 1 in /tmp/user/1001/pip-install-zx1v9a1t/pyopencl/

je suis en user "pynx" dans /home/pynx
l'activation de l'environnement ce passe bien
juste un avertissement pour "import imp"

et les erreurs pour opencl et cuda

ps : donc éviter buster

Dernière modification par anonyme (29-01-2019 11:32:32)

anonyme · 29-01-2019 14:58:32

je n'arrive pas a prendre en compte opencl et cuda
je sais pas l'utiliser , mais il me semble qu il y a un test
j'ai commenté le début et la fin du script (avec #) pour ne pas toucher a nvidia/cuda et réinstaller les paquets (logiciel) sur debian et recréer l'utilisateur "pynx", et la fin il faut créer un compte pour le projet et récupérer une simulation je suppose .

le script de buster (9 to 10) est mauvais .

ps; j'ai testé python 3.5 , 3.6 et 3.7 même résultat.
le script ce fait en "utilisateur" , le cas ou il demande le mot de passe root "su - pynx" ou par "sudo"
par contre pas compris le fait de créer un compte "pynx" sur la machine et l'utilisation de ssh.

Debian-facile

#1 27-01-2019 03:59:01

[Résolu] Script d'installation logiciel ne marche pas

#2 27-01-2019 08:56:01

Re : [Résolu] Script d'installation logiciel ne marche pas

#3 27-01-2019 09:42:17

Re : [Résolu] Script d'installation logiciel ne marche pas

#4 27-01-2019 13:04:53

Re : [Résolu] Script d'installation logiciel ne marche pas

#5 27-01-2019 20:37:52

Re : [Résolu] Script d'installation logiciel ne marche pas

#6 27-01-2019 22:37:12

Re : [Résolu] Script d'installation logiciel ne marche pas

#7 28-01-2019 07:50:12

Re : [Résolu] Script d'installation logiciel ne marche pas

#8 28-01-2019 10:07:08

Re : [Résolu] Script d'installation logiciel ne marche pas

#9 28-01-2019 13:22:27

Re : [Résolu] Script d'installation logiciel ne marche pas

#10 28-01-2019 13:56:49

Re : [Résolu] Script d'installation logiciel ne marche pas

#11 28-01-2019 14:11:23

Re : [Résolu] Script d'installation logiciel ne marche pas

#12 28-01-2019 14:16:42

Re : [Résolu] Script d'installation logiciel ne marche pas

#13 28-01-2019 14:40:06

Re : [Résolu] Script d'installation logiciel ne marche pas

#14 28-01-2019 15:56:27

Re : [Résolu] Script d'installation logiciel ne marche pas

#15 28-01-2019 16:26:17

Re : [Résolu] Script d'installation logiciel ne marche pas

#16 28-01-2019 21:59:04

Re : [Résolu] Script d'installation logiciel ne marche pas

#17 28-01-2019 22:52:25

Re : [Résolu] Script d'installation logiciel ne marche pas

#18 29-01-2019 06:37:26

Re : [Résolu] Script d'installation logiciel ne marche pas

#19 29-01-2019 08:19:03

Re : [Résolu] Script d'installation logiciel ne marche pas

#20 29-01-2019 09:36:03

Re : [Résolu] Script d'installation logiciel ne marche pas

#21 29-01-2019 09:59:04

Re : [Résolu] Script d'installation logiciel ne marche pas

#22 29-01-2019 10:53:19

Re : [Résolu] Script d'installation logiciel ne marche pas

#23 29-01-2019 11:14:22

Re : [Résolu] Script d'installation logiciel ne marche pas

#24 29-01-2019 11:28:45

Re : [Résolu] Script d'installation logiciel ne marche pas

#25 29-01-2019 14:58:32

Re : [Résolu] Script d'installation logiciel ne marche pas

Pied de page des forums