LLM-Engineering
Faire rendre à un LLM la bonne réponse, au format attendu, et mesurer quelle stratégie d'optimisation paie vraiment : affinage LoRA, distillation, compression, ensembles, cascade, face à des références fortes et sous un protocole gelé avant la première mesure. Cas d'étude : le chapitre CIM-10 de comptes rendus cliniques, sur une seule RTX 5090.
Données fictives (PARHAF) · aucune donnée de patient réel
Plan haute résolution des tests
Chaque bloc est un test réalisé, coloré selon son verdict. Suivez le scénario étape par étape, isolez un type de flux, zoomez, ou cliquez sur un bloc pour lire le résultat, son intervalle et le run qui le prouve.
Faites glisser horizontalement pour parcourir le plan.
Notes par composante
Moyenne de 8,25 sur 10, contre 7,63 estimé pour le SOTA open source et 9,25 pour le SOTA absolu ; plafond réaliste estimé à 9,25 ; moyennes recalculées depuis les huit composantes. Ces notes sont une estimation structurée, non une mesure : jugement de l'assistant IA du projet à plus ou moins 1 point, à contre-expertiser. Le SOTA est le meilleur niveau connu par composante, pas un système unique. Échelle : 5 bonne pratique d'un dépôt de recherche, 7 meilleurs projets ouverts de même nature, 9 à 10 niveau industriel ou clinique réglementé.
| Composante | Projet | Plafond | SOTA open source | SOTA absolu | Ce qui justifie la note |
|---|---|---|---|---|---|
| Performance du modèle | 8 | 8 | 8 | 9 | Test scellé : G à 0,8131, +7,28 points sur le TF-IDF, non résolu à 2 points ; MorFITT au niveau du meilleur publié (72,30 contre 71,95). Le plafond passerait à 9 si un chiffre publié était dépassé. |
| Rigueur statistique et protocole | 9 | 10 | 8 | 9 | Protocole gelé et haché, test scellé ouvert une fois, bootstrap par blocs d'auteurs, prédiction préenregistrée notée (4 sur 6). |
| Données et anti-fuite | 8 | 9 | 8 | 10 | Découpage par patient, raccourci d'auteur mesuré, audit de 65 erreurs confiantes, second jeu (MorFITT) avec le même outillage ; corpus fictif. |
| Fiabilité de l'incertitude | 8 | 9 | 7 | 9 | ECE 0,016, couverture conforme 0,924 au test, exactitude 0,962 à 70 % traités ; la pire famille reste sous la cible (0,821). |
| Analyse d'erreurs et robustesse | 7 | 9 | 7 | 9 | Taxonomie d'erreurs, perturbations, nouveaux auteurs pour l'encodeur ; fragilité du LoRA en fin de texte corrigée sur un pli, hors du système gelé. |
| Reproductibilité et ingénierie | 9 | 10 | 8 | 9 | Chiffre clé reconstruit à l'identique depuis un clone neuf, image Docker reconstruite, 616 tests, registre en ajout seul ; version taguée à faire. |
| Efficience et déploiement | 8 | 9 | 8 | 10 | G servi par HTTP en cascade : 38,4 ms attendus contre 97,4 ms, 3,5 fois moins d'énergie ; compression jamais réussie, pas d'image GPU. |
| Sûreté, conformité, honnêteté | 9 | 10 | 7 | 9 | Claim-gate sur tout texte sortant, sept résultats négatifs publiés, carte de modèle, checklist TRIPOD-LLM ; relecture humaine externe à faire. |
Cyril Bourgeois · code : github.com/cyril-bgs-dev-tech/llm-engineering · cyril.bgs.dev@gmail.com · chiffres tirés du registre des runs du projet (RESULTATS.md), notes tirées de docs/SUIVI_NOTES_ET_LEVIERS.md.