Frutch [blog]

Installation de Nutch 0.8.1 sous Ubuntu 6.10

2006-12-21T09:00:00.000+01:00

Merci à Arnaud Goupil alias Arnonymous pour son très bon tutoriel en français sur l'Installation de Nutch sous Ubuntu.

Pour les anglophones, je vous conseille également de lire ce très intéressant billet de Sami Siren (contributeur très actif à Nutch) où il est question, grâce à la compression de données, de gagner en espace de stockage, MAIS également en temps de traitement CPU...

Rencontre entre Nutchies

2006-05-04T21:38:00.000+02:00

Avis aux Francopho Nutchies, le Jeudi 18 Mai prochain aura lieu vers 19:00 une rencontre entre les utilisateurs de Nutch. Vous êtes donc tous conviés à venir participer à cette rencontre qui se déroulera Cafe Du Soleil, 200 Fillmore Street, San Francisco, CA (voir la carte). Oui, je sais, San Francisco ce n'est pas la porte à côté, mais au moins, les problèmes de visa pour les Etats-Unis semblent être de l'histoire ancienne, c'est déjà ça!

C'est une bonne occasion pour rencontrer Doug Cutting ou Stefan Groschupf. Alors, si vous êtes intéressé, l'invitation officielle est ici.

Nutch-0.7.2

2006-04-01T21:53:00.000+02:00

La version 0.7.2 de Nutch est disponible. Cette version contient uniquement des corrections de bugs.
Voici la liste des modifications:

NUTCH-107 - Correction d'erreurs de syntaxe dans les fichiers plugin.xml des plugins urlfilter-* (Stephen Cross).
NUTCH-141 - Tag title non valide dans les pages jsp (Marko Bauhardt).
Correction de problèmes de compilation dus à des répertoires vides dans des plugins.
NUTCH-142 - NutchConf utilise maintenant le classloader de son thread. (Mike Cannon-Brookes).
NUTCH-45 - SegmentMergeTool loggue maintenant les segments corrompus. (Otis Gospodnetic).
Correction des test unitaires de TestFetcher qui échouaient à cause de changements sur le site web www.nutch.org/li>
NUTCH-91 - Exceptions dues à un encodage vide. (Michael Nebel).
Mise à jour de la librairie Lucene à la version 1.9.1.
Librairie Commons HTTPClient mise à jour à la version 3.0.
Ignore les liens "post" et "nofollow".
httpclient utilise maintenant javax.net.ssl au lieu de com.sun.net.ssl. (Jake Vanderdray).
NUTCH-117 - Echecs des crawls : java.io.IOException: already exists: ...

Nutch-0.7.2 [tar.gz, 45Mo] est disponible ici.

Misterbot passe à Nutch

2006-03-09T14:12:00.000+01:00

A la fin du mois de Janvier, Sylvain Milon, créateur de Misterbot m'avait contacté pour m'expliquer les problèmes de montée en charge qu'il rencontrait avec ASPseek et voulait savoir si Nutch pouvait répondre à ses besoins. Ma réponse fut bien entendu positive! ;-)
Hier, Mercredi 8 Mars, soit à peine plus de deux mois plus tard, le communiqué de presse tombait, "Misterbot adopte Nutch".

Cela démontre encore une fois clairement que le courbe d'apprentissage de Nutch est très courte.

J'espère qu'il sera possible, sans trahir de secrets commerciaux ou stratégiques, que Sylvain nous fasse un petit retour d'expérience de sa migration vers Nutch et de son utilisation au quotidien.

Nutch sur java.net

2006-02-28T13:33:00.000+01:00

A signaler, un article d'introduction à Nutch sur java.net. Cet article de Tom White se décompose en deux parties. La première s'intéresse au processus de crawling/indexation et la seconde à celui de la recherche:

Ces articles se basent bien entendu sur la denière version stable, la 0.7.1. et n'intègrent pas toutes les récentes modifications.
Bonne lecture!

IllicoPresto : moteur belge sous Nutch

2005-10-28T11:20:00.000+02:00

Illico Presto (www.illicopresto.be) est un moteur de recherche réalisé avec Nutch (version 0.6) par Christophe Noel, CETIC.

Le moteur permet de retrouver les documents web (HTML et PDF) d'une dizaine de sites :

http://www.bil-ibs.be/fr/,

http://www.cenaero.be/,

http://www.centexbel.be/,

http://www.cepesi.be/,

http://www.certech.be/,

http://www.cetic.be/,

http://www.cewac.be/,

http://www.cori-coatings.be/,

http://www.crif.be/,

http://www.crm-eur.com/,

http://www.materia-nova.com/,

http://www.multitel.be/.

Il présente les caractéristiques suivantes :

un index d'environ 6000 urls (de 10 serveurs web)
un outil de correction automatique (voir plus loin)
un outil de statistiques
un outil de tips (astuces) déclanchés sur mot clé (exemple : tapez "brasage")
l'indexation des pdf, msword, ps

Outil de correction automatique
L'outil de correction automatique permet d'élargir les recherches en adaptant les mots de recherche à la plupart des erreurs de frappe. Cet outil de correction gère entre autre le pluriel des mots entrés au singulier et inversément, ainsi que les caractères accentués (é, è , ê).

Cet outil de correction se base sur une modification du plugin query-basic , incluant les LuceneFuzzyQuery. Ce plugin n'est pas recommandé aux index de grande taille car il ralentit considérablement les performances (au lieu de rechercher un seul mot dans l'index, les fuzzyquery évaluent à quelle distance se situent tous les mots de meme préfixe que le mot d'origine). Enfin, cet outil est uniquement utilisé au niveau du module de recherche (et non pas à l'indexation).

Pour de plus grands index, on utilisera plutot un outil de lemmatisation. Et à plus grand échelle encore, on se contentera d'un outil de correction orthographique, basé sur des dictionnaires.

Ce moteur réalisé avec Nutch a été testé quant à ses performances d'indexation. Est-il plus complet que Google ? Ne l'est-il pas ?
Le crawl total des pages s'effectue en 3 heures avec les paramètres les plus optimaux (on est sur de crawler chaque page).

Tests de comparaison
Illico Presto a été testé par rapport à l'API du moteur de recherche Google. La comparaison a lieu uniquement sur les sites webs référencés par illicopresto !

IllicoPresto présente plus de résultats pour les mots de recherche suivants (pris au hazard) :
Brasage (illico:6 - google:2)
laser électroérosion (illico:4 - google:0)
catalyse divisés (illico:2 - google:0)
nanotechnologie produit (illico:24 - google: 9)
activité enzymatique (illigo:3 - google :0)

Si l'on emploie Google directement (plutot que l'API), Google présente alors de nombreux résultats. Après vérification, il s'agit d'un leur : les résultats supplémentaires sont tous des erreurs 404 (j'en conclut hâtivement donc que l'API est rafraichit plus régulièrement)

Google présente parfois plus de page de résultats car celles-ci ne sont pas accessibles à partir des pages d'accueil (joignables par quelques clics, de liens en liens). Le site du CETIC, par exemple, ne permet pas d'accéder à la page http://www.cetic.be/article331.html tandis qu'elle est indexée par Google. Il s'agit certainement d'une page pointée sur www.coregrid.net , et ce dernier n'est pas lui même parcouru par Illico Presto.

Des serveurs web aussi lent (lors des tests) que www.crif.be (la lenteur est visible avec votre navigateur) sont presque ignorés par Google, pas par IllicoPresto (exemple : "laser électroérosion" ne donne aucun résultats sur google). En effet, Illico Presto représente peu de pages internets, les paramètres utilisés avec Nutch ont donc été plus "prudents" (voir plus loin la section paramètres)

Certaines pages qui n'ont rien à voir avec Multitel, ne sont pas référencées sur IlloPresto mais bien par Google.
Pour exemple, cette page humoristique d'une équipe de multitel, et qui n'est pas accessible à partir de la page d'accueil de multitel.
http://www.multitel.be/~ruelle/comega/equipe35.htm (/Le site non-officiel du jeu des Messagers Galactiques).
Cette remarque est juste anecdotique, mais représente un avantage au manque précédemment cité vis-à-vis des pages non référencées.

Conclusion générale des tests : pour l'objectif du moteur IllicoPresto, Nutch amène notre moteur à de relativement meilleurs résultats que Google ou son API.

OSWIR 2005

2005-10-20T22:58:00.000+02:00

OSWIR 2005 (2005 workshop on Open Source Web Information Retrieval) organisé par Ecole Nationale Superieure des Mines de Saint-Etienne et l'Illinois Institute of Technology s'est tenu le 19 Septembre dernier à Compiègne. Les papiers, dont un de Doug Cutting (Nutch: an Open-Source Platform for Web Search [en/pdf]) sont diponibles en ligne.

Nutch-0.7.1

2005-10-01T22:07:00.000+02:00

La version 0.7.1 de Nutch est disponible. Cette version contient uniquement des corrections de bugs.
Voici la liste des modifications:

Le champ de recherche dispose maintenant du focus.
Correction d'un nom de cible erronné dans plugin/build.xml.
NUTCH-10, les points d'extension ne sont définis qu'une fois.
Ajout d'un utilitaire d'extraction d'URLs dans du contenu textuel.
Quelques mises à jours mineurs dans le module d'indentification de la langue.
NUTCH-37, correction des multiples warnings lors de la construction de la javadoc.
La propriété indexer.maxMergeDocs vaut maintenant par défaut 2147483647. Cette valeur par défaut avait été positionnée à 50 par erreur, ce qui a pour conséquence de ralentir énormément l'indexation.
Modifications du plugin de clustering.
Les composants Carrot2 ont été mis à jour (dernières versions stables): Amélioration des tokenizers (performances) et de la gestion de stop-words. Ajout du support du Danois, du Finlandais, du Norvégien et du Suédois.
PDFBox mis à jour à la version 0.7.2. (corrige NUTCH-85).
NUTCH-89, null pointer exception dans parse-rss.

Nutch-0.7.1 [tar.gz, 45Mo] est disponible ici.

Frutch? C'est quoi ce truc?

2005-09-09T22:52:00.000+02:00

Dans des temps déjà anciens (Mai 2005), je parlais sur motrech d'une interview que j'avais donné à Olivier Andrieu concernant Frutch. Olivier Andrieu m'a aujourd'hui autorisé, et je l'en remercie encore, à maintenant publier ici l'intégralité de l'interview. Cela permettra, je pense, de clarifier certains points sur ce qu'est Frutch et ce qu'il n'est pas.

Jérôme Charron, à l'origine de nombreuses initiatives dans le domaine de la recherche d'information sur le Web francophone depuis de nombreuses années, a lancé un projet baptisé "Frutch", basé sur la mise en place d'un moteur de recherche "Open Source" pour le monde de la francophonie. Il nous en dit plus, dans cet interview, sur ce projet...

Déjà initiateur de la liste de discussion Motrech en 1998, puis d'un blog et d'un Wiki sur le sujet, auteur d'une thèse ayant pour sujet "Méthodes et outils d'exploration multilingue sur internet en vue d'une veille technologique sur un domaine restreint", Jérôme Charron, a lancé le projet Frutch qui a pour ambition de constituer une alternative transparente aux moteurs de recherche commerciaux actuels (Google, Yahoo, MSN...). Jérôme a bien voulu répondre à nos questions à propos de ce projet ambitieux. Merci à lui...

- Jérôme Charron, bonjour. Pouvez-vous vous présenter en quelques mots à nos lecteurs ?

En fait, je suis tombé très tôt dans l'informatique, puis durant mes études, j'ai rapidement croisé le chemin de la recherche documentaire. Et par la suite, Internet est venu se mêler de tout ça. C'est donc tout naturellement que je me suis passionné pour les moteurs de recherche. Pendant ma thèse, concernant la recherche multilingue sur Internet, j'ai créé la liste motrech.
Après une période de presque 5 ans où je souhaitais m'éloigner de ce domaine, j'ai replongé de plus belle dans les méandres des moteurs à travers la liste motrech, le blog motrech, et Frutch.

- En quoi consiste le projet Frutch ?

Il y a souvent un malentendu à ce sujet, et je souhaite donc le dissiper tout de suite : Frutch n'est pas pour le moment une initiative visant à mettre en place un moteur de recherche en ligne (même si cela est notre but ultime, nous n'en avons pour le moment pas la capacité).
Ainsi, à la base, le projet Frutch consiste à tisser un lien entre les francophones s'intéressant au moteur open source Nutch. C'est une approche très pragmatique : il est souvent beaucoup plus facile de débuter sur un sujet ou d'échanger des propos complexes dans sa langue maternelle.
Frutch pourrait à terme devenir une sorte de représentant francophone de Nutch.
Mais comme je le disais précédemment, en fonction des opportunités de partenariat ou de financement qui se présenteraient, Frutch pourrait très bien se décliner en deux instances, comme c'est de plus en plus le cas dans le monde de l'open source : une instance communautaire (.org),
ainsi qu'une instance commerciale (.com).

- Quel est le but de Frutch ? Proposer un moteur de recherche alternatif aux Google, Yahoo! et MSN ou proposer une technologie "disponible" pour des moteurs qui voudraient se monter ?

Le but premier de Frutch est donc de regrouper les compétences francophones en matière de recherche d'information afin de tenter de bousculer un peu l'ordre établi aujourd'hui sur le marché des moteurs de recherche.
En fait, les deux approches que vous mentionnez cohabitent. Frutch est une initiative très jeune, et il est donc à la fois intéressant et inévitable me semble-t-il de contribuer activement au développement de Nutch sous forme de code et de documentation.
Cela nous permet de rentrer au coeur de Nutch, de le tester, et de bien comprendre son fonctionnement, son déployement et son administration, ainsi que d'orienter son évolution.

Dans un second temps, si des opportunités de financement ou de partenariat se présentent nous mettrons certainement en place un moteur de recherche alternatif (vous remarquerez certainement que le nom de domaine frutch.com a déjà été réservé).

- Qui participe à ce projet actuellement ?

Nous ne sommes aujourd'hui qu'une petite dizaine d'inscrits sur la liste Frutch et les contributeurs au wiki Frutch se comptent sur les doigts d'une main. Mais notre groupe de travail est encore très jeune (créé en Février) et encore peu connu.
Nous sommes composé de développeurs ayant une expérience significative dans le domaine des moteurs de recherche, de curieux ayant fait quelques tests de Nutch, mais aussi de professionnels ayant travaillé ou travaillant encore dans des moteurs commerciaux.

- Pouvez-vous nous en dire plus sur Nutch ?

Nutch est une initiative de Doug Cutting (créateur de la librairie d'indexation/recherche Lucene).
Il partage l'approche, que j'essaye (trop) souvent de soutenir, consistant à dire que le moment est venu de proposer une solution alternative, transparente, libre et gratuite aux outils commerciaux. Frutch (et donc Nutch) est à Google ce que Linux est à Windows : une alternative gratuite et
ouverte aux solutions commerciales.

- Où en êtes-vous actuellement sur le projet Frutch ?

Nous n'intervenons aujourd'hui que dans la phase développement open source, c'est à dire en contribuant à Nutch: participation sur les listes de discussion de Nutch, don de code à Nutch (j'ai par exemple récemment donné un module de détection de type de document, et je travaille
actuellement sur le plugin de détection de langue), devéloppement de notre base de connaissance francophone sur le wiki de Frutch.

- De quoi avez-vous besoin aujourd'hui pour faire avancer au mieux le projet ?

De passionnés prêts à consacrer du temps au développement, à la documentation, aux tests de
Nutch. Si nous voulons pouvoir lancer la deuxième grande phase de Frutch, et pouvoir proposer un
moteur en ligne, nous avons essentiellement besoin de financements et/ou de matériels.

- Un moteur "open source" a-t-il sa chance aujourd'hui face aux "mastodontes" américains ?

Il me semble que oui ! Le moteur en lui même (au sens du service) est nécessairement plus ou moins commercial puisqu'il faut financer les machines, la bande passante, l'électricité, la maintenance. Ce n'est cependant pas le côté commercial ou financier qu'il faut retenir, mais la finalité : contrairement à Google, Yahoo! ou MSN dont la finalité est le bénéfice, la finalité de ce moteur serait d'apporter un service (le seul objectif commercial est donc de s'autofinancer, et non pas de dégager des bénéfices).
Ce moteur a donc tout intérêt à utiliser des technologies open source, afin de réduire ses coûts, d'augmenter la visibilité et la transparence de ses technologies, et de bénéficier de la forte dynamique des comunautés open source pour faire évoluer ses technologies.

- Quelles sont les prochaine étape prévues ? Quelles sont les grandes échéances attendues dans un futur proche ?

Premièrement l'angle open source qui consiste à travers une communauté francophone à participer à l'effort collaboratif de Nutch. Sous cet angle, les étapes sont simples : parvenir à franciser au plus vite l'intégralité de la documentation de Nutch, et continuer à contribuer au code de Nutch.
Deuxièmement, l'angle commercial qui sera très dépendant de l'intérêt que peuvent porter de potentiels investisseurs au projet. Cependant, l'échéance principale de ce point de vue consiste à mettre au point un Frutch-mini, concurrent direct du Google-Mini. D'après nos premières estimations, nous pouvons fournir un tel système de type "plug and search" à un prix 4 à 5 fois moins élevé que celui de Google-Mini pour des fonctionnalités équivalentes.

Merci Jérôme et bonne chance pour ce projet !

© Abondance.com - Lettre "Recherche & Référencement", Mai 2005

Nutch-0.7

2005-08-30T11:30:00.000+02:00

La version 0.7 de Nutch est sortie le 17 Août dernier. Elle est téléchargeable ici [tar.gz], et la liste des changements est disponible ici [txt]. Il est à noter que c'est la première version de Nutch en tant que sous-projet de Lucene. Quelques bugs légers ont été remontés, et sont déjà corrigés. Une version 0.7.1 contenant ces quelques corrections, ainsi que quelques nouvelles fonctionnalités est prévue pour le 15 Septembre.

Un Apache nommé Jeronimo

2005-08-19T17:18:00.000+02:00

Il ne serait pas honnête de ma part de vous cacher que je suis très fier de vous annoncer que je suis depuis quelques jours devenu committer Nutch. Les novices se demanderont certainement ce que cela signifie. Tout simplement que mes travaux sur Nutch ont été reconnus et que la communauté Nutch me fait confiance pour me donner le droit de mettre à jour le code de Nutch dans la base de code (c'est ça être committer).

Plusieurs points positifs à celà:

Mon égo se sent très bien ;-)
Je vais pouvoir travailler plus efficacement sur Nutch
La communauté francophone de Nutchies (Frutch) va pouvoir imposer plus facilement ses idées et son travail (je pense en particulier à l'aspect multilingue / francophone sur lequel nous travaillons en parallèle avec Christophe Noel).

Vous pouvez donc maintenant m'écrire à l'adresse jerome[at]apache.org (la classe!!!) et aller faire un petit crochet culturel vers le véritable Apache nommé Geronimo...

[Com]me un [Org]ue

2005-07-01T11:23:00.000+02:00

Ce premier billet sur le blog de Frutch signe l'activation des noms http://www.frutch.org/ et http://www.frutch.com/, tous deux pointant pour le moment sur l'ancien http://frutch.free.fr/. Les choses avances, c'est bien. Où celà nous mènera-t'il, loin je l'espère.
Ces deux noms de domaine devraient prendre au fil du temps deux direction différentes: L'une vers de la documentation, des réflexions, etc... et l'autre vers une démonstration de Nutch.
Merci à Graeme pour la fourniture de ces deux noms de domaine.
J'en profite pour signaler à tous les membres de Frutch (ceux d'entre vous qui sont inscrit à la liste de discussion, ou bien ceux d'entre vous qui participent au Wiki) que je vous invite à participer à ce blog en vous créant un compte Blogger et en me demandant les droits d'écriture.