skip to main | skip to sidebar
Code 18
Manuel du savoir-faire à l'usage des geeks et des curieux
RSS
  • Accueil
  • Le web au Québec
  • Liens
  • Twitter
  • Facebook
  • À propos

samedi 6 juin 2009

Full Text Search PostgreSQL

Publié par Infinite Loop, à 09 h 06 0 commentaire

Voici le problème : dans une base de données PostgreSQL, j'ai importé dans une table au-delà de deux millions d'enregistrements qui correspondent à de l'information sur des entreprises. Si je fais une recherche uniquement sur cette table, sans jointure, avec la clause LIKE, la performance est plutôt rapide mais ce ne sont pas tous les noms qui sont trouvés car la comparaison de texte est sensible à la casse.

-- 1016 ms (~ 1 seconde d'exécution)
SELECT *
FROM companies
WHERE company_name LIKE '%steel%';
En utilisant à la place ILIKE, je réussis à en extraire davantage car le I dans ILIKE indique de procéder à la comparaison "Case Insensitive". Cependant, c'est au détriement de la performance:
-- 4781 ms (près de 5 secondes)
SELECT *
FROM companies
WHERE company_name ILIKE '%steel%';
Si je crée un index sur le champ de la table, ça risque d'aller plus vite ? Eh bien non, la même requête prend à peu près le même temps (même légèrement supérieur), en plus d'alourdir la taille de la base de données.
CREATE UNIQUE INDEX name_idx ON companies(company_name);
Supprimons cet index, et remplaçons-le par le Full Text Search (FTS). D'abord, j'ajoute une nouvelle colonne à ma table. À l'avenir, c'est sur celle-ci que je ferai la comparaison texte.
ALTER TABLE companies ADD COLUMN search_idx_company_name tsvector;
J'initialise le nouveau champ à partir de mes données (sur 2 millions d'enregistrements, j'ai patienté environ 2 minutes). Au besoin, vous pouvez spécifier un dictionnaire ("english", "french", etc.) dans to_tsvector(). Pour ma solution, je ne l'indique pas.
UPDATE companies
SET search_idx_company_name = to_tsvector(coalesce(company_name,''));
Pour maintenir l'intégrité des données entre la donnée réelle (champ "company_name") et le champ qui sera indexé (champ vecteur "search_idx_company_name"), il sera nécessaire de placer un trigger qui mettra à jour les données lorsque nécessaire.

Avant même de créer l'index, je vais évaluer la performance en lançant une requête FTS. Pour cela, j'utiliserai l'opérateur @@ et je traduirai le mot clé de recherche avec la fonction to_tsquery().
-- ouch, 17 secondes!
SELECT *
FROM companies
WHERE search_idx_company_name @@ to_tsquery('steel');
Ajoutons l'index (attendre un peu plus de 2 minutes) :
CREATE INDEX textsearch_idx ON companies
USING gin(search_idx_company_name);
Lançons la même requête à nouveau : les résultats sont instantanés (156 millisecondes)! Par contre, il faut noter que le full text search retourne moins de résultats que le ILIKE car il n'effectue pas la comparaison de texte de la même façon. À vrai dire, il se fie sur la similarité des mots plutôt que sur l'exactitude du terme, et tout cela est flexible et configurable (dictionnaire, synonymes, thesaurus, etc). À utiliser dans les cas où la vitesse est prioritaire à la justesse des données.


Tags: PostgreSQL

0 réponse à "Full Text Search PostgreSQL"


Publier un commentaire

Message plus récent Messages plus anciens Accueil
S'abonner à : Publier des commentaires (Atom)
    Suivre @code18 sur Twitter

    Catégories

    • Apache (21)
    • Citations (167)
    • Club Vidéo (24)
    • Coffre à outils (56)
    • CSS (8)
    • Curiosités (117)
    • Design Pattern (2)
    • Drupal (8)
    • Easter Eggs (22)
    • Extensions Firefox (20)
    • GIMP (7)
    • Histoire (21)
    • HTML (32)
    • Humour (57)
    • Intégration (34)
    • iPod (12)
    • JavaScript (110)
    • Jeu de combat (6)
    • Le coin du geek (128)
    • Liens (12)
    • Linux (56)
    • Livres (78)
    • Lois et principes (46)
    • Marché des saveurs (26)
    • Mathématique (18)
    • Mobile (5)
    • Montréal (32)
    • Musique (112)
    • Pancartes et écriteaux (16)
    • Perl (8)
    • Pérou (1)
    • PHP (130)
    • PostgreSQL (44)
    • Programmation (105)
    • Saviez-vous que (55)
    • Sécurité (22)
    • SEO (5)
    • SQL Server (22)
    • Vieilles publicités (6)
    • Virtualisation (8)
    • Voyages (1)
    • Zend Framework (26)

    Divers

    Archives

    • ►  2015 (6)
      • ►  août 2015 (1)
      • ►  juillet 2015 (1)
      • ►  février 2015 (3)
      • ►  janvier 2015 (1)
    • ►  2014 (8)
      • ►  décembre 2014 (1)
      • ►  novembre 2014 (1)
      • ►  octobre 2014 (1)
      • ►  août 2014 (2)
      • ►  juillet 2014 (2)
      • ►  janvier 2014 (1)
    • ►  2013 (53)
      • ►  décembre 2013 (2)
      • ►  novembre 2013 (1)
      • ►  octobre 2013 (3)
      • ►  septembre 2013 (2)
      • ►  août 2013 (5)
      • ►  juillet 2013 (3)
      • ►  juin 2013 (5)
      • ►  mai 2013 (3)
      • ►  avril 2013 (7)
      • ►  mars 2013 (7)
      • ►  février 2013 (11)
      • ►  janvier 2013 (4)
    • ►  2012 (105)
      • ►  décembre 2012 (8)
      • ►  novembre 2012 (5)
      • ►  octobre 2012 (4)
      • ►  septembre 2012 (1)
      • ►  août 2012 (8)
      • ►  juillet 2012 (7)
      • ►  juin 2012 (7)
      • ►  mai 2012 (10)
      • ►  avril 2012 (13)
      • ►  mars 2012 (15)
      • ►  février 2012 (15)
      • ►  janvier 2012 (12)
    • ►  2011 (146)
      • ►  décembre 2011 (14)
      • ►  novembre 2011 (11)
      • ►  octobre 2011 (12)
      • ►  septembre 2011 (13)
      • ►  août 2011 (15)
      • ►  juillet 2011 (17)
      • ►  juin 2011 (18)
      • ►  mai 2011 (15)
      • ►  avril 2011 (9)
      • ►  mars 2011 (7)
      • ►  février 2011 (3)
      • ►  janvier 2011 (12)
    • ►  2010 (398)
      • ►  décembre 2010 (29)
      • ►  novembre 2010 (28)
      • ►  octobre 2010 (32)
      • ►  septembre 2010 (34)
      • ►  août 2010 (22)
      • ►  juillet 2010 (35)
      • ►  juin 2010 (42)
      • ►  mai 2010 (36)
      • ►  avril 2010 (37)
      • ►  mars 2010 (34)
      • ►  février 2010 (32)
      • ►  janvier 2010 (37)
    • ▼  2009 (430)
      • ►  décembre 2009 (32)
      • ►  novembre 2009 (34)
      • ►  octobre 2009 (33)
      • ►  septembre 2009 (37)
      • ►  août 2009 (37)
      • ►  juillet 2009 (39)
      • ▼  juin 2009 (38)
        • Clone de lightbox pour jQuery
        • Nouveautés cette semaine
        • Thèmes pour Notepad++
        • Trouver de l'emploi en web au Québec ?
        • Citation no. 36 sur le silence
        • SSH2 : capturer le résultat d'une commande
        • Michael Jackson renaît grâce à son sosie !
        • Personnaliser les extensions de fichiers web
        • Remplacer APC par Zend_Cache
        • APC cache pour optimiser la performance
        • Norton Antivirus expire en direct chez Fox
        • Code source du Kindle d'Amazon
        • Netbeans et l'encodage UTF-8
        • Disque dur de 15 mega-octets de Radio Shack
        • Filtres de fichiers pour FileZilla FTP
        • Citation no. 35 sur l'histoire
        • Exclure les fichiers de projets avec TortoiseSVN
        • Mario Lemieux, un fin connaisseur de l'informatique ?
        • Commentaire sur la création de WSDL en PHP
        • Queue de fonctions en JavaScript
        • Équivalences Ajax avec jQuery et Prototype
        • Magazine Maximum PC en PDF
        • Film Home de Yann Arthus-Bertrand
        • Citation no. 34 sur la responsabilité
        • 6 destinations vacances aux noms insolites
        • À propos des chargés de projets
        • Astuce SQL pour remplacer les sous-requêtes
        • Message créatif et original de CD Baby
        • Composant HTML Purifier
        • Facebook mal programmé ?
        • Enregistrer des disques vinyls sur son ordinateur
        • Citation no. 33 sur les risques du travail
        • Full Text Search PostgreSQL
        • Lois du travail de Dilbert
        • Convertir Windows XP Home à Professional
        • Un site web all dressed avec bacon
        • 3 façons de construire une query string en PHP
        • Retirer un site malicieux de l'index Google
      • ►  mai 2009 (37)
      • ►  avril 2009 (35)
      • ►  mars 2009 (37)
      • ►  février 2009 (32)
      • ►  janvier 2009 (39)
    • ►  2008 (84)
      • ►  décembre 2008 (34)
      • ►  novembre 2008 (39)
      • ►  octobre 2008 (11)

    Abonnés

Copyright © All Rights Reserved. Code 18 | Converted into Blogger Templates by Theme Craft