Agents IA et évaluations
Construire des workflows agentiques simples, mesurer la qualité des réponses et éviter les hallucinations silencieuses.
Pourquoi ça compte
Le marché se déplace vers des systèmes qui orchestrent plusieurs actions, pas seulement une réponse texte.
Sans évaluation, tu ne sais pas si ton assistant est fiable, utile ou dangereux.
Ce que tu dois comprendre
Expliquer le problème que "Agents IA et évaluations" résout, ses limites et ses cas d'usage réalistes.
Mettre en pratique: créer un agent qui choisit entre recherche, résumé et création de tâche.
Construire une preuve exploitable: un tableau d’évaluation simple pour ton assistant RAG.
Relier ce sujet aux items voisins de la roadmap et aux décisions produit ou architecture.
Projet preuve / livrable
Un tableau d’évaluation simple pour ton assistant RAG.
Cours à compléter
Lis le texte de l'étape, ouvre le cours complet, puis coche l'étape seulement quand tu l'as réellement terminée.
- Étape 01OpenAI Developers
Créer un agent qui choisit entre recherche, résumé et création de tâche.
Cours complet -> Function Calling Guide - Étape 02OpenAI Cookbook
Définir 20 questions de test avec réponses attendues ou critères de scoring.
Cours complet -> Evals - Étape 03OpenAI Agents SDK
Tracer latence, coût, tool calls, citations manquantes et taux d’échec.
Cours complet -> Tracing - Étape 04GitHub Docs
Transformer "Agents IA et évaluations" en preuve visible: README, capture, courte vidéo ou commit commenté.
Cours complet -> About READMEs - Étape 05ADR GitHub
Relire les sources principales et noter les compromis, limites et prochaines améliorations du livrable "Un tableau d’évaluation simple pour ton assistant RAG.".
Cours complet -> Architecture Decision Records
Avance étape par étape: ouvre le cours, complète l'exercice, puis coche l'étape avant la suite.
Prochaine section- Le livrable existe avec code, capture, vidéo, README ou note vérifiable.
- Créer un agent qui choisit entre recherche, résumé et création de tâche.
- Définir 20 questions de test avec réponses attendues ou critères de scoring.
- Le README explique contexte, architecture, limites, coût ou risques importants.
- Tu peux expliquer en 5 minutes les sources, compromis et prochaine amélioration.
Common traps
- Ne te limite pas à regarder des vidéos sans produire un livrable visible.
- Ne passe pas au sujet suivant sans commit, README ou capture de démo.
- Ne marque pas l'item comme fait si les critères d'acceptation ne sont pas encore vérifiables.