yacy

jibe · 26-04-2019 17:25:53

Salut,

Depuis le temps que je voulais l'essayer, je regarde ce qu'il en est de Yacy. Est-ce que le projet est encore vivant ? Sur le forum, les derniers posts datent de Février 2018, la dernière version date de fin 2016... Du coup, je m'interroge !

Le concept est(était ?) très intéressant, mais on lui reproche deux choses :
- Manque de pertinence des résultats
- Écrit en Java

AMHA, le manque de pertinence n'est dû qu'à la jeunesse, une utilisation plus intensive devrait d'une part bien améliorer l'indexation, d'autre part inciter à apporter quelques améliorations, particulièrement sur le tri/classement des résultats de recherche.

Et si l'utilisation n'est ce qu'elle aurait pu (dû !) être, c'est certainement à cause de l'utilisation de Java ! Entre autres, à cause des énormes ressources utilisées. Certes, on peut configurer pour qu'elles soient réduites, mais du coup les résultats sont beaucoup moins bons...

Reprendre le projet et traduire le code en C/C++ serait à mon avis une bonne solution... Qu'en pensez-vous ?

otyugh · 26-04-2019 21:36:25

Je pense qu'il "suffirait" de mettre des sous dedans. Quelques millions et ça serait très utilisable. C'est le genre de projet qui me semble être potentiellement les bases d'un commun, mais qui manquent totalement de visibilité et de soutien. Et oui, je pense que le fait que ce soit écrit JAVA est aussi un problème.

jibe · 26-04-2019 21:50:52

otyugh a écrit :

Quelques millions et ça serait très utilisable.

Evidemment, ça ne devrait poser aucun problème avec une telle somme ! ...qui, au passage, doit être assez négligeable comparée à celle dépensée par Google pour son propre moteur !

Mais je pense qu'on peut s'en tirer à bien moins que ça. Un peu de temps pour ré-écrire en C/C++, et ça devrait déjà permettre à un plus grand nombre de l'installer, et simplement par l'augmentation du nombre de peers, les résultats devraient être beaucoup plus intéressants. Pour peu qu'on améliore un peu certains détails en ré-écrivant, ça devrait le faire, non ?

otyugh · 26-04-2019 22:19:19

"Yakafokon", hein ? :x

jibe · 26-04-2019 23:16:57

otyugh a écrit :

"Yakafokon", hein ? :x

Ben oui ! Yakafokon trouve des millions, ou yakafokon retrousse ses manches

J'ai un peu toujours trouvé que le monde fonctionne ainsi, et comme je ne dispose pas de millions j'envisage plutôt la seconde solution, celle qui a souvent permis de produire du logiciel (vraiment) libre. Mais comme je n'ai pas vraiment envie de m'embarquer dans un truc dont on dira "oui, c'est génial, mais tant que j'aurai de meilleurs résultats avec Google, je n'en changerai pas", je préfère prendre la température avant. Et puis, si je suis plutôt du genre à retrousser mes manches, je n'ai pas trop envie non plus de me retrouver tout seul !

Confucius a écrit :

Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire.

Comme c'est de plus en plus vrai, on trouve de moins en moins de bonnes volontés et il ne faut pas s'étonner que le monde aille de plus en plus mal... sauf pour Google et autres multimilliardaires du web. Yakafokon continue avec eux, puisque ce sont eux les meilleurs et qu'on préfère leur sacrifier notre intimité plutôt que de se bouger le c** !

jibe · 27-04-2019 01:28:30

otyugh a écrit :

réecrire un logiciel entier de ce genre-là [...] La tâche seulement, elle me paraît démeusurée

Réécrire, non, je ne suis certainement pas capable. Je parle en fait de traduction : retranscrire en C le code Java. A priori, ça ne devrait pas être très compliqué au moins pour une bonne part, par contre ça peut effectivement être un peu long.

D'après ce que j'ai cru comprendre, toute la base de yacy est très bien pensée et réalisée. Donc, le gros du boulot est déjà fait, il ne reste plus qu'à "pisser de la ligne" en prenant le code java comme base.

Anonyme · 27-04-2019 07:36:23

Je parle en fait de traduction : retranscrire en C le code Java. A priori, ça ne devrait pas être très compliqué

Tu as déjà tenté ce genre de "traduction" sur un petit soft ?
Ce n'est pas si simple, et de pire en pire dès que le code s'allonge.

jibe · 27-04-2019 11:22:06

Salut,

Oui, j'ai déjà "traduit" des parties d'applications de Borland Delphi (donc une espèce de Pascal) vers du C++ (Borland aussi, c'est vrai que ça facilite puisque certaines bibliothèques étaient communes). Et je me suis aussi souvent inspiré de code de divers langages pour écrire des fonctions C ou des objets C++.

C'est vrai que ce n'est pas toujours très simple : il faut assez bien maîtriser le C et le C++. Mais c'est quand même bien plus simple que de partir de zéro !

Je ne sais plus si je l'ai fait depuis du code Java, mais à priori ça devrait être un des langages les plus simples à retranscrire en C++. Il existe d'ailleurs des "convertisseurs" ! Je n'ai aucune confiance dans ces machins là (jamais pu obtenir quelque chose de correct avec delphi2cpp !), mais le fait qu'ils existent montre bien que la tâche n'est pas insurmontable !

Après, je me doute bien que je vais avoir de la difficulté avec certains graphiques générés par yacy (entre autres). Mais bon, d'une part ils ne sont probablement pas indispensables, et d'autre part chaque chose en son temps : Si on ne regarde que les difficultés et problèmes qu'on risque de rencontrer, on ne fait jamais rien ! Généralement, au fur et à mesure qu'on avance, on trouve des solutions ou au moins des contournements pour ce qui paraissait au départ insurmontable. Mon souci actuel est surtout de savoir si, une fois que j'aurai obtenu quelque chose de fonctionnel, ça a des chances de servir à quelque chose ou si ça va faire comme la version java et être délaissé parce que les gens ne voudront jamais autre chose que les résultats hyper ciblés de google, quoi que ça leur coûte et quelles que soient les censures et les objectifs exclusivement commerciaux.

J'ai parfois un peu tendance à douter de ceux qui se prétendent libristes convaincus et qui publient leur code sur Github, leurs tutos sur youtube, envoient leurs gros fichiers par wetransfer, communiquent via skype et facebook et abandonnent rapidement duckduckgo, startpage, qwant, searx... et yacy parce qu'ils trouvent que google est bien plus pertinent...

Comme (à supposer que je finisse par faire quelque chose !) je publierai le code sur Framagit ou quelque chose d'équivalent et que je présenterai le truc sur Peertube et diaspora*, je voudrais déjà m'assurer que le peu de gens qui sauront ce que j'ai fait prendront à cœur de faire tourner un noeud assez longtemps pour que les résultats s'améliorent avec le temps et le nombre de peers.

Anonyme · 27-04-2019 13:37:45

Wouah, Delphi !
Bien longtemps que je n'en ai plus entendu parler.
Un super langage successeur de Turbo Pascal. C'est avec eux que j'ai le plus codé. Et j'ai arrêté quand on m'a demandé de tout convertir en C. Le repreneur d'un des softs essentiels (qui ne connaissait que le C) a préféré repartir du cahier des charges sans essayer de traduire (tout en ayant mes sources TP). Son résultat a très vite dépassé le mien mais le plus important c'est qu'il maîtrisait complètement le nouveau source et l'a fait évoluer pendant plus de 15 ans facilement.
Traduire vers un autre langage, c'est facile sur un truc simple. Quand ça se complique, je pense qu'il faut déjà passer un temps fou à comprendre ce que le code d'origine voulait faire. Si ce code est optimisé et bien commenté ça aide bien. Malheureusement un code fonctionnel est souvent plus bourré d'astuces, particularités du langage et patchs en urgence et bien pourris que de commentaires

. J'avais moi même du mal à reprendre le mien après 1 an sans y toucher.

jibe · 27-04-2019 16:42:14

Anonyme a écrit :

J'avais moi même du mal à reprendre le mien après 1 an sans y toucher.

Assez récemment, j'ai fait des modifs dans une appli relativement complexe que j'avais écrite il y a 35 ans (bon, c'est vrai qu'elle avait évolué entre temps et que ça ne faisait pas 35 ans que je n'y avais pas touché. Mais ça faisait largement plus de deux ans, et pour des bricoles). Je ne dis pas que je l'ai fait les doigts dans le nez, parce que j'ai la sale habitude de mettre très peu de commentaires qui ne me semblent clairs que lorsque je les écris. Mais bon, il ne m'a pas fallu plus de dix minutes pour savoir où et comment intervenir...

C'est sûr que quand le code est pourri, on a plus vite fait de tout reprendre à zéro. Il arrive que ce ne soit pas le cas... C'est même censé être la règle en matière de logiciel libre, certains vont même jusqu'à affirmer qu'un code qui a besoin de commentaires pour être lisible est un code pourri (Alan Cox si je ne me trompe).

Confucius a écrit :

Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire.

Je ne sais pas bien si je dois te mettre dans l'immense majorité ou dans une des deux premières catégories et ne chercherai pas à le savoir : fin du troll en ce qui me concerne.

Bon, il y en a qui sont plus positifs ou on décide définitivement que Laurent Chemla ne rachètera jamais Google pour 1€ ?

Ben oui, il faut parfois un peu d'utopie si on veut faire avancer les choses

--gilles-- · 27-04-2019 17:27:50

jibe a écrit :

Salut, depuis le temps que je voulais l'essayer, je regarde ce qu'il en est de Yacy. Est-ce que le projet est encore vivant ? Sur le forum, les derniers posts datent de Février 2018, la dernière version date de fin 2016... Du coup, je m'interroge !

Je trouve une version debian de yacy datée du 10 mars 2018 :

http://debian.yacy.net/binary/ trouvée en partant de ce lien : https://yacy.net/fr/ qui indique aussi qu'il faut installer openjdk-8 et je pense que c'est surtout cela qui pose problème parce si stretch peut encore utiliser openjdk8 : https://packages.debian.org/stretch/openjdk-8-jdk

Avec buster la prochaine stable utilise openjdk-11 :

aptitude search '~i openjdk'

i A openjdk-11-jre                                                                                    - Environnement d'exécution Java OpenJDK qui utilise Hotspot JIT                                             

i A openjdk-11-jre-headless                                                                           - environnement d'exécution Java OpenJDK utilisant Hotspot JIT (sans affichage)

De plus Oracle recommande pour des raisons de sécurité de n'utiliser que le dernier openjdk le 13, alors le 8 ! : https://jdk.java.net/archive

Dernière modification par --gilles-- (27-04-2019 17:33:50)

jibe · 27-04-2019 19:28:27

Merci pour l'info

En fait, il semble que la version mentionnée sur les pages en français ne soit pas la bonne, pas plus que celle de la doc Ubuntu. J'ai supposé que celle des pages en anglais était meilleure, mais il y a un problème de clé GPG en SHA1 qui est refusée par Stretch... sans parler d'openjdk, effectivement

Bon, par contre je suis tombé sur ce bug report : il semblerait que le mec ait fini par arriver à installer quelque chose de stable. En tous cas, ça montre que la communauté n'est pas encore tout à fait morte, et donc qu'il y a au moins moyen de trouver quelqu'un à qui parler pour tenter d'installer quelque chose de fonctionnel, sachant que le but d'installer le code java n'est que de voir un peu mieux comment ça fonctionne.

J'attends donc de voir comment les gens réagissent et, si le projet semble répondre à une attente, je contacterai l'équipe yacy pour voir si ça les intéresse et si on peut travailler ensemble.

nam1962 · 26-07-2019 10:42:47

Je suis le fil

jibe · 26-07-2019 15:54:38

Salut,

Un peu (même beaucoup !) d'eau a coulé sous les ponts depuis !

Peu après ce post, j'en ai ouvert un sur framacolibri (agecanonix, c'est moi, mon pseudo habituel était indisponible !).

Comme ça semblait viable et qu'un développeur s'est proposé pour me donner la main, on a commencé à regarder de plus près le code de Yacy... qui s'avère être une vraie usine à gaz ! 762 fichiers source et une estimation de 150 à 2000000 lignes de code, sachant que tout ça fait appel à Solr, lui-même basé sur Lucene, tout en java ! Il faudrait donc convertir en C/C++ non seulement tout le code de Yacy, mais aussi les fonctions appelées de Solr et Lucene. Un boulot de dingue !

Et non seulement c'est un boulot de dingue, mais je n'ai aucune envie d'avoir au final un truc qui tond la pelouse et prépare le café ! Ce qu'il faudrait, c'est en revenir à la philosophie unix : "on fait une chose, et on la fait bien". Pas besoin d'un wiki et d'un blog intégrés dans un moteur de recherche ! Donc, si quelque chose se fait, il faudrait se contenter des fonctions habituelles d'un moteur de recherche, ce qui n'en fait pas un truc monstrueux : un ou des crawler(s) qui alimente(nt) une BDD distribuée, et un petit "moteur de requêtes" extrayant les résultats éventuellement filtrés et classés de cette BDD. C'est loin d'être ma spécialité, je me trompe peut-être, mais à priori ça me semble être quelque chose de relativement simple théoriquement, et les difficultés pratiques vont être surtout de bien gérer la BDD distribuée, ce qui ne devrait tout de même pas être extrêmement difficile.

J'en suis là actuellement : je pense que quelque chose pourrait se faire, je dirais même plus que j'aimerais bien le faire, mais il y a deux choses qui coincent : d'une part, j'habite une région où les journées ne font que 24h, et j'ai déjà d'autres projets en route que j'ai du mal à mener à bout faute de temps. D'autre part, si j'ai une idée assez précise de ce qu'il faudrait faire, je suis quasiment incompétent en matière de BDD distribuée. Si j'avais du temps, je pense que j'arriverais assez vite à me former (je connais déjà bien les BDD "classiques"), mais c'est quand même un handicap supplémentaire...

Donc, je peux éventuellement donner un coup de main si un projet se lance, voire le superviser si mon incompétence en matière de BDD distribuée ne semble pas trop un problème (donc, si des devs sont assez autonomes pour pouvoir combler mes lacunes dans ce domaine). Le seul truc, c'est que je vais avoir du mal à y consacrer plus de quelques heures par semaine (disons une dizaine, voire un peu plus selon si l'équipe me motive par son efficacité !). Y a-t-il des amateurs soit pour participer à un tel projet ? Sachant qu'il faudra soit qu'ils se trouvent un leader, soit qu'ils acceptent que je mène l'affaire avec le seul peu de temps que je peux raisonnablement y consacrer ?

Debian-facile

#1 26-04-2019 17:25:53

yacy

#2 26-04-2019 21:36:25

Re : yacy

#3 26-04-2019 21:50:52

Re : yacy

#4 26-04-2019 22:19:19

Re : yacy

#5 26-04-2019 23:16:57

Re : yacy

#6 27-04-2019 01:28:30

Re : yacy

#7 27-04-2019 07:36:23

Re : yacy

#8 27-04-2019 11:22:06

Re : yacy

#9 27-04-2019 13:37:45

Re : yacy

#10 27-04-2019 16:42:14

Re : yacy

#11 27-04-2019 17:27:50

Re : yacy

#12 27-04-2019 19:28:27

Re : yacy

#13 26-07-2019 10:42:47

Re : yacy

#14 26-07-2019 15:54:38

Re : yacy

Pied de page des forums