La recherche Full Text avec Solr

Afin de pouvoir envoyer des mises à jour de l’index au noyau, il nous faut configurer le noyau avec le requestHandler que nous utiliserons :

<requestHandler name="/update" class="solr.XmlUpdateRequestHandler" />
<requestHandler name="/update/javabin" class="solr.BinaryUpdateRequestHandler" />
<requestHandler name="/update/csv" class="solr.CSVRequestHandler" startup="lazy" />
<requestHandler name="/update/json" class="solr.JsonUpdateRequestHandler" startup="lazy" />

Dans la mesure où il est peu raisonnable de développer et de maintenir plusieurs manières de mettre un index à jour, vous n’aurez probablement besoin que d’un seul requestHandler « update ». Ainsi, vous pouvez déclarer uniquement le handler de base « /update » et choisir sa classe Java en fonction de vos besoins :

<requestHandler name="/update" class="solr.XmlUpdateRequestHandler" />

<requestHandler name="/update" class="solr.BinaryUpdateRequestHandler" />

<requestHandler name="/update" class="solr.CSVRequestHandler" startup="lazy" />

<requestHandler name="/update" class="solr.JsonUpdateRequestHandler" startup="lazy" />

Le document XML est construit de la manière suivante :

<add>
    <doc>
        <field name=""></field>
        <field name=""></field>
        <field name=""></field>
    </doc>
    <doc>
        <field name=""></field>
        <field name=""></field>
        <field name=""></field>
    </doc>
</add>

Des exemples plus complets sont distribués avec Solr (6).

Chaque nœud <doc> correspond à un document de l’index. Il contient l’ensemble des champs définis dans le fichier schema.xml pour ce noyau.

Les champs définis avec l’attribut required="true" dans le schéma doivent obligatoirement figurer pour chaque nœud <doc>. Un même champ peut apparaître plusieurs fois dans le même nœud <doc> s’il s’agit d’un champ multivalué, c’est-à-dire défini avec l’attribut multivalued="true" dans le schéma. Les autres champs ne peuvent apparaître qu’une seule fois pour chaque nœud <doc>.

Comme nous l’avons vu dans le chapitre précédent, la contrainte d’unicité d’un index est le champ défini comme <uniqueKey> dans le schéma. Pour Solr, il n’y a pas de distinction entre les opérations « create » et « update » des documents : lorsque le requestHandler de mise à jour est appelé pour une certaine uniqueKey, Solr s’occupe de créer le document correspondant s’il n’existait pas encore, ou de le modifier s’il existait déjà.

Voici les attributs optionnels pour chaque nœud XML du document de mise à jour :

Lors de la configuration des champs de l’index par l’intermédiaire du fichier schema.xml, les champs déclarés comme « dest » de <copyField/> ne doivent pas figurer dans les mises à jour. Par exemple, pour le schéma donné dans cet article, nous pouvons résumer la liste des champs par le tableau suivant :

Cela pourrait donner le document XML suivant :

<add>
    <doc>
        <field name="uuid"></field>
        <field name="productNameEnDisplay"></field>
        <field name="productNameFrDisplay"></field>
        <field name="manufacturerNameDisplay"></field>
    </doc>
</add>

Les champs suivants de l’index sont remplis par l’intermédiaire de copyField :

• productNameEnAutoComplete
• productNameFrAutoComplete
• productNameEnSearch
• productNameFrSearch
• manufacturerNameAutoComplete
• manufacturerNameEnSearch
• manufacturerNameFrSearch
• allEnSearch
• allFrSearch

La suppression de documents d’un index se fait au moyen d’un document delete contenant une combinaison de nœuds id et query :

<delete>
    <query>*:*</query>
</delete>

<delete>
    <id>05991</id>
</delete>

<delete>
    <id>05991</id>
    <id>06000</id>
    <query>office:Bridgewater</query>
    <query>office:Osaka</query>
</delete>

<delete>
    <id>aaaa</id>
</delete>

<delete>
    <query>uuid:aaaa</query>
</delete>

La validation des mises à jour se fait par les commandes suivantes :

<commit/>

<optimize/>

Voici les attributs optionnels du document de mise à jour :

La commande rollback permet d’annuler toutes les commandes add et delete depuis la dernière commande commit ou optimize :

<rollback/>

L’envoi d’un document de maintenance à Solr se fait via la méthode HTTP POST au requestHandler « update » de notre noyau, par exemple :
http://localhost:8080/solr/CORENAME/update

Préparons un XML à envoyer :

<add>
    <doc>
        <field name="uuid">f2446de21f011a769ec62b4c4ecb96d2</field>
        <field name="productNameEnDisplay">Solr, the enterprise search server</field>
        <field name="productNameFrDisplay">Solr, le serveur de recherche pour entreprises</field>
        <field name="manufacturerNameDisplay">Apache Software Foundation</field>
    </doc>
</add>

Envoyons ce XML à l’aide de cURL :

curl http://localhost:8080/solr/CORENAME/update -H "Content-Type: text/xml" --data-binary "<delete><query>*:*</query></delete>"
curl http://localhost:8080/solr/CORENAME/update -H "Content-Type: text/xml" --data-binary "INSERER_ICI_TOUT_LE_XML"
curl http://localhost:8080/solr/CORENAME/update -H "Content-Type: text/xml" --data-binary "<optimize waitSearcher='false'/>"

Le code suivant est un exemple de script PHP pouvant fonctionner avec une installation PHP par défaut (ni le programme cURL ni l’extension php_curl ne sont nécessaires) :

#!/usr/bin/php5
<?php

if(PHP_SAPI != 'cli')
{
    die('error: not sent via CLI'.PHP_EOL);
}

if($argc != 4 or !in_array($argv[2], array('file', 'string')))
{
    die('usage is: '.basename(__FILE__).' CORENAME "file"|"string" FILENAME|CONTENTS'.PHP_EOL);
}

list(, $core_name, $content_type, $content) = $argv;
$url = sprintf('http://localhost:8080/solr/%s/update', $core_name);
$data = $content_type == 'string' ? $content : file_get_contents($content);

$params = array
(
    'http' => array (
        'method' => 'POST'
        , 'header' => 'Content-Type: text/xml'
        , 'content' => $data
        , 'timeout' => 5
    )
);

$context = stream_context_create($params);
$result = file_get_contents($url, FALSE, $context);

var_dump($result);
echo 'done'.PHP_EOL;

./send.php produits string "<delete><query>*:*</query></delete>"
./send.php produits file add1.xml
./send.php produits string "<optimize waitSearcher='true'/>"

php.exe send.php produits string "<delete><query>*:*</query></delete>"
php.exe send.php produits file add1.xml
php.exe send.php produits string "<optimize waitSearcher='true'/>"

Afin de vérifier plus précisément ce qui a été fait par Solr, notamment que les directives copyField ont réussi, voici une requête simple sur l’index :
http://localhost:8080/solr/produits/select?q=uuid:f2446de21f011a769ec62b4c4ecb96d2

Rappelons les champs envoyés à Solr :

• uuid
• productNameEnDisplay
• productNameFrDisplay
• manufacturerNameDisplay

La capture d’écran ci-dessus montre que Solr a bel et bien rempli tous les champs de l’index d’après les règles copyField. Comme prévu, certains champs de l’index contiennent plusieurs valeurs.