La recherche Full Text avec Solr

Je ne suis linguiste qu'à mes heures perdues et je ne maîtrise pas à la perfection le vocabulaire que je vais utiliser dans ce chapitre. Je prie le lecteur de bien vouloir faire preuve d'indulgence à mon égard. Je corrigerai cet article si des imperfections sont relevées.

Le wiki de SolrAnalyzers, Tokenizers, and Token Filters décrit trois méthodes principales de recherche par lexèmes. La racinisation (Porter ou KStem) permet de retrouver la forme élémentaire du mot (son lexème). À l'inverse, la flexion détermine toutes les variantes du mot (déclinaisons, conjugaisons, ajout d'affixes ou modifications du radical). Enfin, le projet Hunspell permet d'effectuer divers traitements sur les mots : correction orthographique, racinisation, flexion, etc. en tenant compte des règles grammaticales de la langue spécifiée.

En contexte linguistique, il me semble que cette comparaison est inexacte dans la mesure où la flexion ne donne pas des lexèmes mais des mots. Cependant, cette simplification sera suffisante pour la mise en application qui nous intéresse ici.

Ce mode de recherche est très efficace pour trouver les correspondances des mots faisant partie du vocabulaire d'une langue, mais sa pertinence est bien plus faible pour les noms propres, les néologismes et les autres mots n'en faisant pas partie.

Un lexème est la forme élémentaire de chaque mot, c'est en quelque sorte sa racine linguistique. C'est sa forme, réduite au point de ne pas avoir d'existence dans la langue écrite ou orale, mais qui sert de point de départ pour toutes les formes dérivées de ce mot. Le procédé permettant d'obtenir le lexème d'un mot s'appelle la racinisation, ou stemming en anglais.

Le lexème est le point de départ pour constituer les lemmes, qui sont eux-mêmes le point de départ pour constituer les mots. La racinisation est un procédé complexe et il est différent dans chaque langue, c'est pourquoi il n'existe pas d'algorithme informatique pour toutes les langues. De même, les algorithmes existants ne sont pas implémentés dans tous les langages informatiques. Ainsi, le langage informatique convenant le mieux à vos choix techniques (Java, .NET, PHP, etc.) n'a peut-être pas d'implémentation d'un algorithme de racinisation pour les langues qui vous intéressent. Un projet, cependant, facilite leur implémentation : SnowballSnowball is a language in which stemming algorithms can be easily represented. Il présente une liste d'exemples pour chaque algorithme, notamment en françaisHere is a sample of French vocabulary, with the stemmed forms that will be generated with this algorithm.

Voici une liste de mots que nous utiliserons dans cette introduction (les traitements ont été effectués à l'aide de Solr 1.4) :

Nous pouvons aisément voir que la plupart des mots ont un lexème français commun : "développ". Ainsi, une recherche sur l'un de ces mots pourrait permettre de sortir des résultats contenant la plupart des autres mots. D'un point de vue utilisateur, c'est effectivement souhaitable.

Il convient de rappeler que les lexèmes présentés ici sont déterminés par un programme informatique. Un être humain connaissant la langue française réduirait probablement toutes les conjugaisons de "développer" en "développ" ; de même, le mot "développeur" serait sans doute réduit au même lexème que pour "développeuse", c'est-à-dire "développ".

Afin de mieux comprendre en quoi la racinisation n'est pas adaptée aux noms propres, voici la racinisation des exemples de Frédéric Brouard (cf. la partie phonétique ci-dessous) :

Nous pouvons voir ici le point faible de la racinisation pour les noms propres. La plupart des mots de ce dernier tableau ne sont pas réduits. Ceux qui ont été réduits ont généralement été confondus avec un verbe dont l'algorithme a cru reconnaître une forme conjuguée ou à l'infinitif et qu'il a réduit à son lexème supposé (mais incorrect).

La flexion consiste à dériver un mot afin d'obtenir toutes ses représentations possibles : déclinaisons grammaticales (genre et nombre), conjugaisons, préfixes, suffixes et modifications du radical. C'est l'approche inverse de la racinisation, mais l'effet en est souvent proche.

En informatique, plusieurs programmes et bibliothèques permettent de fléchir un mot : ispell (d'adoption historiquement plus large), aspell/pspell (remplacement d'ispell), MySpell/Hunspell (créés par OpenOffice.org et utilisés par Mozilla), etc. Leur nombre croissant, un projet connexe a vu le jour : EnchantAbiWord: Word Processing for Everyone, qui propose une API commune et qui permet donc d'utiliser n'importe lequel de ces programmes avec les mêmes appels de fonctions.

L'inconvénient majeur de la méthode par flexion est qu'elle ne donne de bons résultats que si l'on part d'un mot équivalent au lexème (mot non fléchi). Par exemple, si dans le texte se trouve le mot "développaient" et qu'un utilisateur cherche le mot "développement", une méthode par flexion est incapable de les faire correspondre. En revanche, une méthode par racinisation permet de retrouver le lexème commun à ces deux mots : "développ".

Voici la flexion des exemples cités pour la racinisation :

À l'évidence, OpenOffice Writer ne se limite pas à de la flexion : il fait aussi une mesure de racinisation. Cela donne un exemple biaisé. Il est même possible qu'OOo effectue également des traitements supplémentaires car il me proposait également "envelopper". Néanmoins, cette liste d'exemples vous donne une idée de ce que permet d''obtenir le procédé de flexion.

La phonétique consiste à représenter la manière dont un mot se prononce. Certains dictionnaires proposent une représentation phonétique des mots, et l'enseignement des langues vivantes requiert habituellement l'accoutumance à ces mêmes signes.

En informatique, la recherche informatique ne consiste pas à représenter les mots avec des signes spéciaux comme en phonétique, mais à trouver une représentation simplifiée à base de caractères ASCII, généralement en majuscules. Des exemples de telles représentations sont présentés dans l'article L'art des SoundexMécanismes de recherche portant sur la consonance des mots par Frédéric Brouard.

Avec un ensemble de résultats naturellement large, ce mode de recherche est très pratique pour complémenter la recherche par lexèmes. Utilisé seul, en revanche, il risque de donner un trop grand nombre de "faux positifs".

Soundex est un algorithme décrit en 1918 par Robert C. Russell and Margaret K. Odell. Il permet de décrire la prononciation des mots anglais au moyen de lettres et de chiffres.

Soundex est prévu exclusivement pour la langue anglaise et, même dans cette langue, il a des limites.

Dans les exemples présentés ici, nous supprimons tous les accents avant de calculer les codes Soundex.

Les algorithmes Metaphone (1990) et Double Metaphone (2000), tous deux par Lawrence Philips, permettent une meilleure représentation des mots pour la langue anglaise. Le Double Metaphone permet en principe de mieux identifier le contexte d'utilisation de chaque mot, et ce dans diverses langues (notamment le français).

Pour ma part, je ne suis pas persuadé qu'il soit possible de déterminer la prononciation d'un mot, et donc sa représentation informatique, sans savoir dans quelle langue (voire même dans quel dialecte local) il est utilisé. Toutefois, Double Metaphone semble être l'algorithme bénéficiant de la plus vaste adoption de nos jours.

J'ai mentionné plus haut l'article de Frédéric Brouard sur L'art des Soundex : l'auteur y propose une alternative adaptée à la langue française, qu'il a baptisée Phonex et dont il propose l'implémentation dans plusieurs langages informatiques. Je laisse au lecteur le soin de déterminer s'il est judicieux de l'utiliser.

Voici les équivalents phonétiques de nos exemples de racinisation et de flexion (les traitements ont été effectués à l'aide de Solr 1.4) :

Pour comparaison, voici les exemples de Frédéric Brouard :