Social et médico-social · mise à jour du 19 août 2026
Toutes les données de cette démonstration sont fictives. Aucune personne accompagnée, aucun professionnel, aucun établissement réel. Le corpus a été écrit pour la démonstration. C'est une règle absolue : une démonstration sur données réelles n'a pas sa place dans ce secteur.
Une transmission de fin de poste — le texte libre qu'un professionnel écrit en quelques minutes — devient un enregistrement structuré exploitable : le fait observé et l'analyse séparés dans deux champs distincts, l'auteur nommé, la validation humaine obligatoire, et un journal d'audit auquel on ne peut ni retirer ni substituer une ligne.
Le corpus contient la même situation écrite dans quatre styles d'écriture différents — télégraphique, narratif, abrégé, clinique — parce que c'est ainsi qu'une équipe écrit réellement. Le système doit produire le même résultat dans les quatre cas, ou il ne sert à rien.
Un modèle de langage arrive nu : il ne connaît ni le métier, ni les règles d'écriture professionnelle, ni ce qu'il n'a pas le droit de faire. Le harnais est la couche qui l'encadre — schéma imposé, garde-fous déterministes, détection des violations, une reprise, puis passage obligatoire par un valideur humain.
Les deux modèles ont été servis localement, sur le même corpus de 65 cas et
les mêmes 8 familles de test, à temperature = 0.
| Moteur | Condition | Familles | Cas | Taux | Reprises |
|---|---|---|---|---|---|
| Moteur à règles | avec harnais | 8/8 | 65/65 | 100 % | 0 |
| Mistral 7B | sans harnais | 4/8 | 46/65 | 70,8 % | 0 |
| Mistral 7B | avec harnais | 6/8 | 51/65 | 78,5 % | 6 |
| Qwen 2.5 7B | sans harnais | 4/8 | 43/65 | 66,2 % | 0 |
| Qwen 2.5 7B | avec harnais | 8/8 | 65/65 | 100 % | 6 |
Ce n'est pas le 100 %, c'est le 66 %.
Un modèle de langage livré à lui-même se trompe sur un tiers des cas métier. Et les erreurs ne sont pas réparties au hasard : elles tombent précisément là où un écrit professionnel devient indéfendable.
Deux modèles de taille identique se comportent très différemment sans encadrement — 70,8 % contre 66,2 %. Le choix du modèle compte donc, mais moins que le cadre qui l'entoure.
Les deux modèles placent dans le champ fait observé des mots qui n'y ont pas leur place : anxieuse, angoissée, agité, agressif, tendue, je crois. Un professionnel expérimenté tient cette frontière par réflexe, parce qu'il sait que le dossier est opposable. Le modèle ne la voit pas.
Sur les cas où la transmission est trop pauvre pour conclure, le résultat attendu est un refus. Les deux modèles déclarent l'information suffisante et rédigent quand même. Un système qui invente lorsqu'il ne sait pas est plus dangereux qu'un système qui se tait.
Le mot négligente apparaît dans les sorties. Cette qualification appartient au magistrat, pas au professionnel — et encore moins à un modèle.
Sur un cas où une chute avec hématome est enfouie dans un texte long, Mistral sans harnais perd chute, couloir, hématome et coude : l'événement disparaît de la synthèse. Qwen n'en perd qu'un — ce qui suffit à rendre l'information inutilisable.
Sans harnais, le résultat dépend de qui a tenu le stylo. C'est la première famille du registre, et l'échec le plus structurant : l'outil devient inutilisable pour la partie de l'équipe qui n'écrit pas comme la majorité.
À temperature = 0 le décodage est glouton, la graine est donc
sans effet. La mesure utile est la variance d'échantillonnage : les
configurations ont été rejouées sur trois graines différentes à
temperature = 0,3, ce qui correspond mieux à un
déploiement réel.
| Configuration | graine 7 | graine 1234 | graine 2026 | Verdict |
|---|---|---|---|---|
| Qwen 2.5 7B — avec harnais | 100 % | 100 % | 100 % | stable |
| Mistral 7B — avec harnais | 78,5 % | 78,5 % | 76,9 % | stable (±1,6 pt) |
| Qwen 2.5 7B — sans harnais | 66,2 % | 66,2 % | à relancer | stable sur 2 exécutions |
La variance observée est inférieure à deux points sur 65 cas. Une exécution s'est interrompue et reste à relancer : elle est signalée ici plutôt que masquée, les deux autres étant identiques au dixième près.
Ces contrôles ne sont pas déclarés dans un document : ils sont exécutés. La base refuse la modification du journal d'audit, refuse une analyse sans auteur nommé, refuse une qualification de gravité sans humain, refuse un refus sans motif. L'interrupteur d'arrêt est testé : fermé, plus aucun traitement ne passe ; rouvert, le traitement reprend.
Consulter le rapport d'évaluation complet →
Les huit familles de test ne sortent pas d'un cadre théorique. Elles sont tirées d'un registre d'exceptions — les situations concrètes qui cassent un projet informatique dans un établissement social ou médico-social : la transmission écrite dans quatre styles, le champ obligatoire rempli « NC » pour que le logiciel accepte l'enregistrement, la notification expirée alors que la personne est toujours accueillie à juste titre, le périmètre réel du secret partagé, la règle non écrite que l'équipe de nuit applique depuis des années.
C'est aussi ce qui explique la forme des échecs mesurés plus haut : chaque famille de test correspond à une situation vue en établissement, et le modèle nu échoue précisément sur celles qui ont des conséquences.