Quel type d'IA ?

Aujourd’hui, nous sommes ravis de lancer une série estivale qui vous guidera dans la création de votre propre architecture de modèle propriétaire, avec pour aboutissement le lancement de deux modèles open source : Elektra (MLOps + DevOps + cybersécurité) et Turing (Product Owner + gestion de projet).

I. Qui sommes-nous ?

Nous développons des modèles d’IA sur mesure pour répondre aux besoins métiers, en particulier pour les cas d’usage des entreprises. Rien que cette année, nous avons créé six modèles basés sur des LLM pour notre usage interne : Aurélia, Adriana, Nakamoto, Pr Violet, Turing et Elektra.

II. Détermination du type de modèle

Modèles d’automatisation : Généralement connectés à des agents pour automatiser des tâches.
Modèles d’interaction : IA interactive personnalisée, souvent appelée « chatbots », mais offrant beaucoup plus.
Modèles de correction : Pour le traitement des données ou la correction des entrées, comme l’enseignant AI français, Pr. Violet.

III. Compréhension des composants selon le modèle

1. Stratégie de Prompt-Tuning

Elle permet de personnaliser les prompts pour améliorer l’inférence.

Outils et Backend Personnalisé : Nous recommandons l’utilisation de backends personnalisés pour une précision et un contrôle optimaux.

RAG (Retrieval-Augmented Generation) : Stratégie de contextualisation utilisant des bases de données vectorielles et des données graphiques comme intermédiaire.

2. Stratégie de Fine-Tuning

LoRA (Low-Rank Adaptation) : Fine-tune les modèles open-source pour une meilleure précision.

3. Stratégie de Reinforced Tuning

Reinforcement Learning (RL) : Généralement RLHF est utilisé pour améliorer les modèles basés sur les feedbacks. Nous utilisons RL automatisé (1).
DPO (Direct Preference Optimization) : Approche de renforcement simple

4. Agent

Exactement comme l’agent dans The Matrix, détecte et corrige les anomalies dans le système ou automatise des tâches.

La prochaine session présentera en détail les architectures de nos modèles, les composants utilisés pour chaque cas d’utilisation, ainsi que ceux des projets connus.

(1) Ici, il est appelé un discriminateur, se référant au GAN (Generative Adversarial Network). Ce discriminateur détecte les problèmes et aide à améliorer le modèle principal en générant le processus de réentraînement.