Qu’est-ce que le prompt dynamique et comment ça fonctionne ?
Est-il possible d’ajouter une variable dans un modèle de langage ?
Oui, c’est possible. Parfois, il est nécessaire d’ajouter une variable pour répondre à un besoin spécifique.
1. Comprendre les prompts dynamiques
Un prompt dynamique est un prompt caché qui s’adapte à ce que dit l’utilisateur. Nous devons d’abord analyser les données fournies par l’utilisateur.
Par exemple, si vous devez effectuer des calculs basés sur les données d’entrée du LLM, il est bien préférable de les traiter en arrière-plan ; cela garantit une précision de 100 % et offre une inférence beaucoup plus rapide.
2. Analyse des données et réponses du modèle
Revenons sur la dernière formation : « Quel type de données entre dans le modèle, et que doit faire ou produire le modèle ? »
Ici, en fonction du type de modèle, la stratégie pour extraire les informations du prompt de l’utilisateur varie.
3. Choix des outils et algorithmes
S’il s’agit d’une IA interactive, le modèle doit répondre rapidement. Je ne recommande donc pas d’utiliser un modèle de langage + agent + outils pour extraire les informations, car le processus serait trop lent (vous pouvez cependant l’utiliser pour stocker les informations. Nous reviendrons sur ce sujet avec le knowledge graph et le RAG).
Si vous n’utilisez pas de LLM, optez pour un algorithme de traitement du langage naturel (NLP) ou un petit modèle (un modèle vraiment très petit, pas un modèle de 7/8 milliards de paramètres). Voici un benchmark que nous avons réalisé pour nos propres besoins, en fonction du type d’information que vous devez extraire.
La règle d’or est la suivante : si vous pouvez utiliser le CPU et obtenir une bonne précision, faites-le.
C’est plus rapide et consomme moins d’énergie. L’inconvénient est que cela nécessite plus de préparation, et vous n’avez pas de mécanisme d’attention comme dans un LLM. C’est donc adapté uniquement pour une IA interactive où l’utilisateur attend une réponse rapide.
4. Applications pratiques
Par exemple, ces techniques sont très utiles pour les voicebots qui nécessitent un script.
Vous pouvez rapidement détecter le sujet grâce à la classification de texte et à la sélection de caractéristiques, puis fournir des informations supplémentaires en utilisant votre backend.
5. Précisions supplémentaires
NLTK, spaCy, Gensim, Tweepy, et TextFeatureSelection sont des bibliothèques.
TextRank, YAKE, Rake-NLTK, Word2Vec, et SBERT sont des algorithmes.
NLTK n’est pas inclus dans le tableau car il est obsolète pour les tâches avancées et plus lent que les bibliothèques modernes.
6. Conseils et meilleures pratiques
Si vous avez un contexte ouvert (similaire à une question ouverte) avec de nombreuses entrées possibles de l’utilisateur, choisissez un algorithme ou une bibliothèque puissante. Si le contexte est fermé, avec des options d’entrée utilisateur limitées, optez pour l’extraction de mots-clés.
Que le contexte soit avec vous.
