Le catalogue sous
huit regards.
Les mêmes questions et la même base, avec la qualité des réponses, le temps d’attente et le coût retourné par l’API.
Annexe 01 · Fine-tuning de BGE-M3 : résultats et preuves →
Les deux passes évaluent le parcours complet : le modèle, les outils et la gestion du contexte. Les réglages ont changé ; une amélioration ne peut pas être attribuée au seul modèle. La qualité exige une relecture liée à chaque rapport.
Les améliorations et les reculs
Cas entièrement corrects dans chaque passe, score de relecture et coûts connus. Les temps appariés portent exclusivement sur les mêmes cas finalisés dans les deux passes.
Le temps affiché est la somme des tours d’un cas, puis la médiane sur les cas communs finalisés. L’évolution est la médiane des différences cas par cas. Le coût connu exclut les retours manquants ; les réservations incertaines restent distinctes.
Le gain de qualité, cas par cas
Ouvrez une cellule pour confronter les réponses, les jugements et les appels d’outils. « Score inchangé » peut masquer un changement de nature de l’erreur : les deux états restent affichés.
L’évolution compare le résultat du cas complet : correct = 2, partiel = 1, incorrect ou échec = 0. Un jugement manquant reste « À relire ». Q37 exige ses deux tours pour être entièrement correct.
Ce qui a changé entre les passes
| Condition | Passe 1 · initiale | Passe 2 · améliorée |
|---|
Une seule exécution par cas et par passe : ces écarts décrivent les mesures observées, pas une garantie de performance générale. Les changements du routage, du cache et du service distant peuvent aussi modifier les temps et les coûts.
Chaque passe conserve son budget
Le nouveau plafond de 2 $ porte uniquement sur l’entrée de la passe 2. Les dépenses de la passe 1 ne lui sont pas imputées.
| Passe | Sessions observées | Tours tentés / prévus | Coût panel connu | Entrée comptée | Réservation incertaine |
|---|
Qualité et temps d’attente
Plus haut : meilleur score de relecture. Plus à gauche : réponse finale plus rapide. Chaque bulle correspond à un modèle.
Temps = médiane des réponses finalisées avec un format et des références valides, même si la relecture les juge incomplètes ou fausses. Les délais dépassés sont comptés séparément. Bulle = coût total reçu du modèle, avec les éventuels frais inconnus signalés dans l’onglet Coûts.
Les huit modèles, côte à côte
Un score de qualité ne suffit pas : lire aussi les réponses entièrement correctes, les échecs et les cas détaillés. Cliquez sur un titre de colonne pour trier.
Score : 2 points pour une réponse correcte et complète, 1 pour une réponse partielle, 0 pour une réponse fausse, un échec ou un tour attendu non exécuté ; divisé par le maximum prévu. Une réponse finalisée n’est pas automatiquement correcte.
Ce qui bloque les réponses
La conversation Q37 comporte deux tours. Sa cellule est entièrement correcte seulement si les deux le sont. Une cellule « Non lancé » indique une absence de mesure.
Le plafond porte sur l’entrée
Les sorties sont suivies séparément. L’entrée est protégée par une borne tarifaire de routage et une marge de cache ; une requête sans retour conserve sa réservation.
Répartition du coût par modèle
Entrées et sorties au tarif public enregistré. Le montant reçu de l’API peut être inférieur, notamment grâce à son cache ; il ne constitue pas une facture complète lorsqu’un retour manque.
Les réservations incertaines ne sont pas des dépenses confirmées. Elles restent comptées pour garantir le plafond malgré un éventuel traitement facturé après un délai dépassé.
Tarifs figés au lancement
Dollars américains pour un million de tokens. Les variantes gratuites, batch et alias ne sont pas confondues avec les identifiants testés.
| Modèle | Entrée / million | Sortie / million | Tokens entrée reçus | Tokens sortie reçus | Retours incertains |
|---|
Ce que cette comparaison mesure
Un petit panel de développement, avec une exécution par cas dans la comparaison finale. Il aide à choisir les candidats d’une évaluation plus large.
Le même parcours pour chacun
- Le modèle reçoit la question, le même prompt et les définitions des outils.
- Il choisit ses appels aux six outils de notre catalogue : résolution de modèles, SQL contrôlé, fiches, comparaison et passages.
- Les résultats nécessaires lui sont envoyés, avec leurs identités, millésimes et références sources.
- Il rend une réponse finale structurée. Le format et l’existence des références sont vérifiés ; la relecture juge ensuite les faits et leur couverture.
Les conditions communes
La recherche hybride utilise BGE-M3 et BM25 sur un index figé. Le filtrage des modèles et millésimes intervient avant le classement. Une recherche littérale paginée peut couvrir toutes les fiches d’un périmètre.
L’ordre est mélangé avec une graine fixe. Une session neuve est ouverte pour chaque question ; les tours d’une même conversation partagent leur historique.
Lire les indicateurs
- Qualité : exactitude, bonnes identités et années, couverture de la demande, appui des affirmations et prudence face aux absences.
- Rapidité : temps complet côté client, outils inclus. La médiane des réponses finalisées exclut les échecs. Aucun temps de premier token n’est inventé : les appels ne sont pas diffusés en continu.
- Coût : coût total retourné par l’API et comptabilité conservatrice de l’entrée sont distincts.
- Conversation : la seconde question dépend du résultat de la première ; elle ne reçoit pas la réponse attendue.
Portée des résultats
Le panel et les références ont été créés pour ce projet. Seuls huit cas de développement sont exécutés ici ; l’évaluation complète prévue sur quarante cas avec trois répétitions n’a pas été réalisée. Une seule exécution par cas ne mesure ni la variabilité ni une précision générale sur tout le catalogue. Les contrôles automatiques de nombres et de références servent de vérification minimale. Le score vient d’une relecture par des agents assistants qui consultent les réponses et les preuves livrées. Les identifiants des modèles étaient visibles : cette relecture n’est ni humaine ni menée en aveugle.
Une donnée absente doit rester absente. La mention d’une technologie dans notre base ne certifie pas sa date de lancement. Le périmètre du catalogue et les variantes comptées doivent rester explicites.
Les modèles sont appelés via OpenRouter, avec un identifiant explicite et sans repli vers un autre modèle. Un refus d’outil, un problème de format ou un délai dépassé reste enregistré comme échec.
Un document HTML autonome
Ce rapport reprend les principes de l’article sur l’efficacité du HTML : un fichier unique, une navigation simple, des tableaux triables, un graphique SVG et des détails inspectables. Il s’ouvre hors ligne, s’imprime et exporte ses données. Il ne charge aucune police, bibliothèque ou donnée distante.
Traçabilité
Empreinte de la base
Empreinte du rapport observé
Empreinte du protocole préparé