Comprendre la recherche vectorielle

Recherche sémantique et embeddings pour retrouver une idée dans un manuscrit

Retrouver une scène, un indice oublié ou une information sans connaître les mots exacts. Découvrez comment la recherche sémantique et l’intelligence artificielle locale peuvent vous aider à explorer votre roman.

Vous vous souvenez d’une scène dans laquelle votre personnage commence à se méfier de son meilleur ami. Vous revoyez parfaitement l’ambiance du dialogue, vous savez que ce passage existe, mais impossible de le retrouver.

Vous essayez plusieurs mots dans la recherche de votre logiciel d’écriture. « Méfiance », « doute », « trahison »… Aucun résultat. Pourtant, la scène se trouve bien quelque part dans votre manuscrit.

Et si vous pouviez simplement décrire ce dont vous vous souvenez pour retrouver le bon passage ?

C’est tout l’intérêt de la recherche sémantique. Plutôt que de chercher uniquement les mots que vous saisissez, elle tente de retrouver les passages qui correspondent au sens de votre demande.

Cette approche ouvre de nouvelles possibilités aux écrivains, particulièrement lorsque leur roman compte des dizaines de chapitres, de nombreux personnages et des intrigues qui s’entrecroisent.

Retrouver une idée plutôt qu’un mot

La recherche classique reste un outil indispensable pour écrire. Elle permet de retrouver rapidement un nom, une expression ou une phrase précise. Mais elle atteint ses limites lorsque vous ne vous souvenez plus des termes employés.

Imaginons que vous cherchiez le moment où Anna comprend que Paul lui a menti. Dans votre manuscrit, cette révélation apparaît peut-être au détour d’une conversation, sans que les mots « mensonge » ou « tromperie » soient jamais utilisés.

Une recherche par mots-clés peut passer à côté de cette scène. Une recherche sémantique, en revanche, peut rapprocher votre question de passages qui évoquent une perte de confiance, une contradiction ou une révélation.

Le même principe s’applique lorsque vous souhaitez retrouver une description oubliée, une promesse faite plusieurs chapitres auparavant ou un événement dont vous ne connaissez plus l’emplacement exact.

La différence est importante. Vous n’avez plus nécessairement besoin de vous souvenir de ce que vous avez écrit, mais de ce que vous vouliez raconter.

Comment fonctionnent les embeddings

Pour retrouver des passages selon leur sens, de nombreux systèmes de recherche sémantique utilisent une technologie appelée embeddings.

Derrière ce terme un peu technique se cache un principe assez simple.

Un modèle d’intelligence artificielle transforme un passage de texte en une représentation numérique, constituée d’une série de nombres. Cette représentation est appelée un vecteur.

On peut imaginer ces vecteurs comme des coordonnées sur une immense carte des significations. Deux passages qui abordent des idées proches peuvent se retrouver dans des zones voisines, même lorsque leur vocabulaire est différent.

Prenons deux phrases.

« Elle ne lui faisait plus confiance depuis cette nuit-là. »

« Leur amitié s’était brisée après la découverte du secret. »

Les mots employés sont différents, mais les deux phrases évoquent une rupture de confiance. Un modèle d’embeddings adapté pourrait rapprocher leurs représentations numériques.

Le principe fonctionne également dans l’autre sens. Lorsqu’un auteur pose une question, celle-ci peut être transformée en vecteur et comparée aux représentations des passages du manuscrit.

Le système recherche alors les extraits les plus proches du sens de la demande.

Cette proximité reste une estimation mathématique. Elle ne signifie pas que l’intelligence artificielle comprend une histoire comme le ferait un lecteur humain. Elle constitue plutôt un moyen de retrouver des passages potentiellement intéressants.

Du manuscrit à la recherche sémantique

Pour effectuer ces recherches, le texte est généralement découpé en passages suffisamment courts pour être analysés et retrouvés individuellement.

Dans un roman, ce découpage peut s’appuyer sur les scènes, les paragraphes ou des blocs de texte. Une scène particulièrement longue peut, par exemple, être divisée en plusieurs extraits afin de ne pas mélanger trop d’informations.

Chaque passage est ensuite associé à sa représentation numérique, ainsi qu’à des informations permettant de le retrouver dans le manuscrit.

Lorsqu’une question est posée, le système compare son sens à celui des passages indexés. Les extraits jugés les plus pertinents peuvent alors être proposés à l’auteur.

Cette organisation permet de rechercher dans un manuscrit volumineux sans avoir à analyser chaque fois la totalité de son contenu avec un modèle de génération de texte.

Elle doit toutefois évoluer avec le livre. Lorsqu’une scène est modifiée, déplacée ou supprimée, l’index de recherche doit pouvoir tenir compte de ces changements afin de ne pas s’appuyer sur des passages devenus obsolètes.

Quand la recherche sémantique rencontre l’intelligence artificielle

Retrouver un passage constitue déjà une aide précieuse. Mais il est possible d’aller plus loin en associant la recherche sémantique à une intelligence artificielle capable de formuler une réponse.

Cette approche porte le nom de RAG, pour Retrieval-Augmented Generation, ou génération augmentée par recherche.

Le principe consiste à rechercher d’abord les passages pertinents dans un ensemble de documents, puis à les fournir au modèle d’intelligence artificielle pour qu’il puisse répondre à partir de ces informations.

Pour un écrivain, cela revient à disposer d’un assistant qui consulte les passages susceptibles de contenir la réponse avant de vous répondre.

Supposons que vous demandiez à quel moment Anna découvre que son frère est vivant. Plutôt que de tenter de répondre à partir d’un souvenir approximatif de votre histoire, le système peut retrouver les scènes concernées et utiliser leur contenu.

Cette méthode permet d'ancrer les réponses dans le manuscrit. Elle réduit certains risques d'invention, sans les faire disparaître complètement.

Il reste essentiel de pouvoir consulter les passages utilisés. Une réponse peut sembler convaincante tout en négligeant un détail, en confondant deux événements ou en interprétant incorrectement une situation.

Interrogez votre manuscrit avec LumenScribe

Avec LumenScribe, cette approche prend une forme directement accessible aux auteurs grâce à la fonctionnalité « Interrogez votre manuscrit », disponible avec Premium.

Vous pouvez poser des questions sur votre histoire en utilisant un langage naturel, sans avoir à connaître les mots exacts ni le chapitre dans lequel se trouve l’information.

Quelques exemples permettent d’imaginer son intérêt.

  • « À qui Anna a-t-elle confié la clé avant de partir ? »
  • « L’incendie a-t-il lieu avant ou après la disparition de Paul ? »
  • « Comment avais-je décrit la cicatrice de Paul ? »
  • « Dans quelles scènes évoque-t-on la peur de l’eau ? »
  • « Quand Anna commence-t-elle à se méfier de Malik ? »

LumenScribe recherche les passages pertinents de votre manuscrit, puis s’appuie sur les extraits retrouvés pour construire sa réponse.

Vous pouvez consulter directement ces passages, afin de vérifier les informations et de les replacer dans leur contexte.

Cette possibilité est particulièrement importante. L’assistance ne se contente pas de proposer une réponse isolée. Elle vous permet de revenir au texte original, celui que vous avez réellement écrit.

Votre manuscrit et vos questions sont traités localement sur votre ordinateur, sans transmission à une API d’intelligence artificielle distante pour ces opérations. Cette indépendance a toutefois une contrepartie. Les performances de l’IA dépendent directement des capacités de votre ordinateur. La mémoire disponible détermine notamment la taille des modèles que vous pouvez utiliser, tandis qu’une carte graphique compatible permet d’accélérer leur fonctionnement. Les modèles les plus performants demandent généralement davantage de ressources. LumenScribe propose donc plusieurs modèles adaptés à différentes configurations. Les plus légers permettent déjà d’obtenir des réponses utiles, notamment pour retrouver une information ou vérifier un détail précis. Ils montrent cependant leurs limites lorsqu’il s’agit de suivre une conversation et de faire référence aux questions précédentes. Avec ces modèles, il est préférable, pour le moment, de formuler chaque question de manière indépendante, en rappelant les éléments nécessaires à sa compréhension. C’est un compromis à prendre en compte. Une IA locale ne dispose pas nécessairement de la puissance des grands modèles hébergés sur des serveurs distants, mais elle offre en contrepartie une plus grande maîtrise de ses données et la liberté d’interroger son manuscrit sans le transmettre à un service extérieur. Pour les auteurs particulièrement attachés à la confidentialité de leurs écrits, cet avantage peut largement justifier certaines limites techniques.

Une aide précieuse pour préserver la cohérence d’un roman

Au début de l’écriture, on se souvient généralement assez facilement des événements et des détails de son histoire. Mais à mesure que les chapitres s’accumulent, certaines informations deviennent plus difficiles à retrouver.

Un personnage a changé de lieu de résidence. Un objet important a été confié à quelqu’un. Une cicatrice a été décrite plusieurs mois auparavant. Une révélation modifie la manière dont deux personnages se comportent l’un envers l’autre.

Ces éléments peuvent sembler secondaires au moment où ils sont écrits, mais ils participent à la cohérence de l’ensemble.

La recherche sémantique peut alors devenir une aide à la relecture.

Pour les romans policiers, elle peut aider à revenir sur des indices ou des révélations. Pour la fantasy, elle peut faciliter la recherche de détails liés à un lieu, un objet ou une histoire ancienne. Dans un roman contemporain, elle peut servir à retrouver l’évolution d’une relation ou les passages associés à une émotion particulière.

Son intérêt ne se limite donc pas à retrouver rapidement une phrase oubliée. Elle peut aussi faciliter l’exploration d’une histoire qui s’est enrichie au fil de l’écriture.

La recherche classique reste indispensable

La recherche sémantique ne remplace pas la recherche par mots-clés. Les deux méthodes répondent à des besoins différents.

Si vous souhaitez retrouver toutes les occurrences du prénom « Anna », vérifier l’orthographe d’un lieu ou retrouver une citation exacte, la recherche traditionnelle reste généralement la méthode la plus fiable.

La recherche sémantique devient surtout intéressante lorsque vous cherchez une idée, une situation ou une information dont vous avez oublié la formulation.

Elle comporte également certaines limites. Un modèle peut mal interpréter une métaphore, passer à côté d’une ironie ou confondre des personnages dont les situations se ressemblent.

Les noms propres, les surnoms et les relations complexes entre personnages peuvent eux aussi compliquer la recherche.

Il faut également distinguer retrouver une information et en vérifier toutes les conséquences. Pour répondre à une question de chronologie, par exemple, plusieurs passages peuvent devoir être comparés.

Enfin, l’absence de résultat ne prouve pas qu’une information n’existe pas dans le manuscrit. Le passage recherché peut simplement ne pas avoir été correctement identifié.

La recherche sémantique doit donc être considérée comme une aide à l’exploration, et non comme un outil capable de garantir à lui seul la cohérence parfaite d’un roman.

Une recherche qui respecte la confidentialité du manuscrit

Lorsqu’un auteur confie ses questions à une intelligence artificielle, il lui communique parfois des informations importantes sur une œuvre encore inédite.

Ces questions peuvent révéler des intrigues, des secrets de personnages, des événements clés ou des éléments que l’auteur souhaite garder privés.

La recherche sémantique et les modèles d’embeddings peuvent fonctionner directement sur un ordinateur. Il n’est donc pas nécessaire, sur le plan technique, de transmettre un manuscrit à un serveur externe pour effectuer ce type de recherche.

C’est l’approche retenue par LumenScribe pour son assistance IA locale. Les questions et les passages utilisés pour interroger votre manuscrit sont traités sur votre machine.

Il faut également rappeler qu’un index de recherche, même composé de représentations numériques, reste une donnée issue du manuscrit. Il mérite donc une protection adaptée, tout comme les fichiers originaux.

Enfin, le traitement local ne remplace jamais les sauvegardes. Conserver régulièrement des copies de son travail demeure indispensable pour se protéger des pertes de données. LumenScribe propose des sauvegardes automatisées pour sécuriser vos projets d'écriture.

Une nouvelle façon d’explorer son histoire

Écrire un roman, ce n’est pas seulement avancer de chapitre en chapitre. C’est aussi revenir sur ce que l’on a déjà raconté, retrouver une intention ancienne, vérifier un détail ou redécouvrir un passage oublié.

La recherche sémantique apporte une nouvelle manière d’effectuer ce travail. En rapprochant les passages selon leur sens, elle permet d’explorer un manuscrit autrement que par la seule recherche de mots.

Associée à une intelligence artificielle locale, elle peut devenir un véritable outil de questionnement du récit.

Avec « Interrogez votre manuscrit », LumenScribe met cette possibilité à la disposition des auteurs. Vous pouvez retrouver des détails oubliés, consulter les passages concernés et poursuivre votre écriture en conservant la maîtrise de votre texte.

L’intelligence artificielle n’a pas vocation à remplacer votre mémoire d’auteur, votre sens critique ou votre imagination. Elle peut simplement vous aider à retrouver plus facilement ce que vous avez déjà créé.

Découvrir LumenScribe et son IA locale

Questions fréquentes

Quelle est la différence entre une recherche classique et une recherche sémantique ?

Une recherche classique retrouve les mots ou expressions que vous saisissez. Une recherche sémantique cherche des passages dont le sens se rapproche de votre demande, même lorsque les mots employés sont différents.

Qu’est-ce qu’un embedding ?

Un embedding est une représentation numérique d’un texte, produite par un modèle d'IA. Elle permet notamment de comparer des passages selon leur proximité sémantique. Elle ne doit pas être considérée comme une version anonyme ou totalement inoffensive du texte original.

Quelle est la différence entre les embeddings et le RAG ?

Les embeddings peuvent servir à retrouver des passages proches d’une question. Le RAG associe une recherche documentaire à un modèle de génération qui utilise les passages retrouvés pour formuler une réponse.

Les embeddings constituent une méthode possible pour effectuer cette recherche, mais ils ne sont pas la seule.

Peut-on interroger tout un roman avec une intelligence artificielle ?

Oui, un système de recherche peut permettre d'interroger les informations présentes dans un manuscrit volumineux. Cela ne signifie pas que le modèle lit nécessairement tout le livre à chaque question.

Avec une approche RAG, les passages jugés pertinents sont retrouvés puis utilisés pour construire la réponse. La qualité dépend de la recherche, des extraits sélectionnés et des capacités du modèle.

Est-ce que LumenScribe envoie mon manuscrit sur Internet pour répondre aux questions ?

Non. Le traitement de votre manuscrit par la fonctionnalité « Interrogez votre manuscrit » est effectué localement sur votre ordinateur, sans envoyer votre texte ni vos questions à une API d’intelligence artificielle distante.