Fine-tuning de BGE-M3.
Le gain et ses limites.
Un premier entraînement contrastif sur nos fiches techniques. Le même catalogue, les mêmes questions de test, avant et après adaptation : chaque gain et chaque perte de preuve restent inspectables.
764 positifs, 2 048 négatifs
Marques réservées, jamais entraînées
Les poids de base sont gelés
Électricité et matériel non chiffrés
Avant / après, à conditions fixes
BGE-M3 d’origine face au même modèle avec l’adaptateur retenu. Le corpus et les réglages de fusion sont identiques.
Quatre questions deviennent complètes, trois deviennent incomplètes.
La règle de décision
Fixée avant l’entraînement, puis appliquée à la recherche hybride.
- Gain de complétude sur le nouveau test : 60 → 61
- Aucune preuve perdue : échec.
3 nouvelles questions + 6 anciens cas affectés. - Premier résultat pertinent : aucun recul des totaux sur les deux lots.
- Erreur contrastive de validation en baisse.
- Poids de base et index d’origine préservés.
Les gains moyens ne compensent pas les preuves perdues. L’adaptateur et son index sont conservés séparément pour étudier ces erreurs.
Les quatre comparaisons, sans sélection
Le dense seul recule sur la complétude du nouveau test. L’amélioration dépend donc du lot et de la méthode de recherche.
| Méthode et lot | Toutes les preuves dans le top 10 | Premier passage pertinent |
|---|---|---|
| Hybride · nouveau test | 60 → 61 / 64 | 30 → 52 / 64 |
| Hybride · anciens cas | 66 → 78 / 92 | 63 → 74 / 92 |
| Dense seul · nouveau test | 56 → 52 / 64 | 57 → 62 / 64 |
| Dense seul · anciens cas | 63 → 81 / 92 | 71 → 83 / 92 |
Hybride : 40 candidats denses et 40 lexicaux, poids 1:1, fusion RRF de constante 60, dix résultats livrés. La fusion ajustée étudiée précédemment n’est pas utilisée ici.
Où gagne-t-on, où perd-on ?
Les neuf pertes de preuves en hybride sont affichées au départ. Ouvrez un cas pour comparer ses dix passages et les citations attendues. Un passage non annoté n’est pas automatiquement incorrect.
| Question | Couverture complète | Preuves | Détail |
|---|
Les gains et pertes portent sur les groupes de preuves requis. Un cas peut gagner une preuve et en perdre une autre, tout en restant incomplet. Un rang absent signifie « hors des dix résultats observés » ; aucun rang au-delà n’est inventé.
Apprendre à rapprocher les bonnes preuves
Nous adaptons la représentation dense de BGE-M3 : la question doit se rapprocher des passages utiles et s’éloigner des passages trompeurs. Le pilote n’entraîne ni Mistral, ni BM25, ni les fonctions sparse/ColBERT natives de BGE-M3.
Une fiche précise
Modèle, variante et année sont explicitement demandés. Les faits attendus sont tirés du texte source.
Toutes les rubriques utiles
Une ou deux sections par question. Elles restent toutes positives et ne se font pas concurrence.
Quatre pièges explicites
Mauvaise fiche ou année ; sinon, une section de la bonne fiche ne contenant aucun fait demandé.
Chaque positif est comparé aux quatre négatifs de sa question. Les passages des autres questions du lot ne deviennent pas automatiquement des négatifs. Une année voisine reste une autre source, même lorsque les chiffres sont identiques.
Inspecter un exemple d’apprentissage
Douze exemples représentés ici, sélectionnés par ordre de présence dans le lot, un par marque. Les 512 questions complètes restent archivées dans le dépôt. Les annotations sont construites et vérifiées par l’assistant ; elles ne proviennent pas d’un panel humain indépendant.
Une adaptation légère des poids
LoRA ajoute de petites matrices aux projections query/value des 24 couches. Seuls ces paramètres sont entraînés.
Réglages techniques exacts
Rang 8 · alpha 16 · dropout 0,05 · batch de 2 questions · taux d’apprentissage 0,00003. Encodeur dense : pooling CLS, vecteurs normalisés, 1 024 dimensions.
La validation choisit la sauvegarde
Erreur contrastive sur 64 questions distinctes de l’apprentissage. Plus bas est meilleur sur ce lot de validation.
| État | Erreur |
|---|---|
| BGE-M3 d’origine | 1,14834 |
| Après une passe | 0,48246 |
| Après deux passes · retenu | 0,43397 |
Cette baisse n’est pas un pourcentage de réponses correctes. Elle mesure le classement parmi les passages annotés. Les 156 questions d’évaluation finale ne servent pas à choisir la sauvegarde.
Quatre lots, des marques distinctes
Une marque de validation ou de test ne fournit ni positif ni négatif d’apprentissage. Les années et variantes de cette marque restent ensemble.
| Lot | Questions | Fiches distinctes | Rôle |
|---|---|---|---|
| Apprentissage | 512 | 267 | Modifier les paramètres LoRA |
| Validation | 64 | 46 | Choisir entre les deux sauvegardes |
| Nouveau test | 64 | 40 | Évaluation finale, une fois le modèle choisi |
| Anciens cas | 92 | 112 | Vérifier les régressions antérieures |
Voir les marques de chaque lot
Plusieurs questions réutilisent une fiche au sein du même lot : 156 questions ne constituent pas 156 observations statistiquement indépendantes. Les marques d’apprentissage sont orientées vers de plus petits constructeurs.
Le temps et le coût réels
Mesures du pilote sur le Mac local, sans achat de calcul distant.
| Entraînement complet | 10 min 56 s |
|---|---|
| Réencodage des 105 687 passages | 8 min 37 s |
| Dépense API | 0 $ |
| Électricité et amortissement | Non mesurés |
| Prix par requête / modèle distant | Non comparé dans ce pilote |
Ces durées excluent la préparation des annotations, l’essai technique initial et l’évaluation finale. Une seule passe de latence ne permet pas de conclure à un gain de vitesse en production.
Les contrôles qui ont passé
Les résultats sont liés aux fichiers exacts de l’expérience.
- 92/92 classements de référence identiques à ceux de l’étude précédente.
- Contrôle d’encodage sur 32 passages : cosinus minimal 0,99999988.
- 105 687 vecteurs candidats finis, en 1 024 dimensions ; index conservé séparément.
- 3 165 occurrences de passages vérifiées contre les textes canoniques ; 24 exemples relus par l’assistant.
- 1 201 tests du projet réussis, 8 ignorés lors du pilote. Les cinq nouveaux tests vérifient notamment les positifs multiples et l’absence de fuite entre marques.
Les tests logiciels valident le fonctionnement prévu. Ils ne prouvent pas que le modèle est meilleur.
Ce que cette expérience ne tranche pas
Les résultats décrivent ce pilote précis et ses annotations.
- Questions issues de douze gabarits, écrites par l’assistant. Les formulations changent entre apprentissage et test, mais leur auteur est le même.
- Français uniquement, fiches explicites. Les questions floues, les identités mal orthographiées et la généralisation multilingue ne sont pas démontrées.
- Le dense seul recule sur le nouveau test. On ne peut pas résumer l’expérience à « BGE-M3 est meilleur après fine-tuning ».
- Pas de test de réponse finale du chat. L’exactitude de la rédaction, les calculs, l’abstention et le comportement de Mistral restent à évaluer séparément.
- Le test est maintenant connu. S’en servir pour orienter le prochain entraînement exige un nouveau lot final indépendant.
Traçabilité et empreintes des fichiers
Empreintes SHA-256 des fichiers lus pour générer cette annexe. Les textes utiles, annotations et classements sont embarqués dans le HTML et dans son export JSON. Les poids de modèle et la matrice complète de vecteurs restent locaux.
| Fichier de l’expérience | SHA-256 |
|---|
Méthode LoRA : documentation Sentence Transformers / PEFT.
Cette piste est cohérente avec les erreurs observées ; leur cause n’est pas établie par le pilote.