Au-delà de l’AUC : comment évaluer un modèle de prédiction clinique

Un modèle de prédiction clinique peut sembler très performant s’il affiche une AUC élevée. L’AUC désigne l’aire sous la courbe ROC (receiver operating characteristic). Elle mesure la discrimination : la capacité du modèle à classer les personnes chez qui l’événement étudié est survenu devant celles chez qui il n’est pas survenu. Elle ne permet toutefois pas de déterminer si les estimations individuelles sont exactes ou si l’utilisation du modèle améliore les décisions cliniques.

Cette distinction a servi de fil conducteur au deuxième séminaire de l’Institut de recherche en IA médicale d’Ottawa (IRIAMO), tenu en personne le 28 octobre 2026. Dans sa présentation Au-delà de l’AUC : développement et validation de modèles de prédiction clinique, le Dr Steven Hawken, scientifique principal à l’Institut de recherche de l’Hôpital d’Ottawa et professeur agrégé à l’Université d’Ottawa, a examiné ce que les chercheuses et chercheurs ainsi que les cliniciennes et cliniciens doivent savoir avant de se fier aux prédictions d’un modèle. Une diapositive d’introduction posait la question suivante : une AUC de 0,95 suffirait-elle pour utiliser un modèle en clinique?

À l’aide d’exemples simulés et d’analyses de données réelles de dépistage néonatal, la présentation a montré pourquoi la réponse à cette question exige plus qu’un score de performance.

Dépistage néonatal et modèles de prédiction clinique

Commencer par l’utilisation prévue du modèle

L’étude de cas portait sur des modèles qui estiment l’âge gestationnel après la naissance, c’est-à-dire le stade auquel la grossesse était rendue à la naissance du nourrisson. Cette information contribue aux soins néonataux et à l’estimation des taux de naissances prématurées, mais on ne dispose pas toujours d’échographies permettant de dater précisément la grossesse. Développés à partir de données de dépistage néonatal de l’Ontario, les modèles combinent des renseignements cliniques et des marqueurs métaboliques mesurés dans des gouttes de sang séchées. Ils ont fait l’objet d’une validation externe dans plusieurs pays.

La présentation distinguait trois utilisations : estimer l’âge gestationnel d’un nourrisson, repérer les nourrissons nés prématurément en vue d’un suivi et estimer le taux de naissances prématurées dans une population. Chacune nécessite une évaluation différente.

Pour une estimation exprimée en semaines, l’erreur absolue moyenne décrit l’ampleur moyenne des erreurs, quel que soit leur sens. Indiquer la proportion d’estimations qui se situent à une ou deux semaines près de la mesure de référence aide aussi les cliniciennes et cliniciens à interpréter la performance. Les chercheuses et chercheurs devraient examiner les surestimations ou sous-estimations systématiques ainsi que les erreurs dans les sous-groupes, plutôt que de se fier à une moyenne globale.

Bien ordonner les prédictions ne signifie pas estimer avec exactitude

Dans les exemples du séminaire portant sur la prématurité, l’AUC représente la probabilité qu’un nourrisson né prématurément et choisi au hasard se voie attribuer un risque prédit plus élevé qu’un nourrisson né à terme, lui aussi choisi au hasard. Cela décrit l’ordre des prédictions, sans indiquer si les probabilités elles-mêmes sont justes.

La calibration répond à cette seconde question. Parmi les nourrissons auxquels le modèle attribue une probabilité de 20 % d’être nés prématurément, la proportion observée est-elle d’environ 20 %? D’autres vérifications portent sur la justesse des prédictions moyennes et permettent de déterminer si les estimations sont trop extrêmes ou trop resserrées.

Un exemple simulé présenté lors de la séance illustrait concrètement cette distinction. Sur un nouveau site, un modèle classait les nourrissons à peu près aussi bien que dans les données de développement, mais surestimait la probabilité de naissance prématurée. Son AUC ne révélait pas ce problème.

Un autre exemple mettait en évidence une autre mesure trompeuse. Classer tous les nourrissons comme étant nés à terme donnait un taux de classifications correctes de 91,6 % dans les données simulées, sans repérer un seul nourrisson né prématurément. Lorsqu’un résultat est beaucoup plus fréquent qu’un autre, un pourcentage élevé de classifications correctes peut masquer l’incapacité à repérer les cas qui importent.

Relier les prédictions aux décisions cliniques

La séance est ensuite passée de la performance statistique à l’utilité clinique potentielle. Supposons qu’un modèle serve à repérer les nourrissons à qui proposer un suivi supplémentaire. À partir de quelle probabilité prédite devrait-on retenir un nourrisson pour ce suivi? Et comment mettre en balance le bénéfice de repérer un nourrisson né prématurément et le fait de retenir inutilement un nourrisson né à terme?

L’analyse des courbes de décision examine ces compromis à différents seuils d’intervention. Elle calcule le bénéfice net en mettant en balance les cas correctement repérés et les faux positifs. La présentation soulignait que les cliniciennes et cliniciens devraient contribuer à définir une plage de seuils pertinents avant que les chercheuses et chercheurs n’examinent les résultats.

Dans les exemples simulés, le modèle combinant les renseignements cliniques et les marqueurs métaboliques offrait un bénéfice net supérieur à celui du modèle reposant uniquement sur les renseignements cliniques, pour une plage de seuils plausibles. L’analyse comparait aussi les décisions guidées par le modèle aux stratégies consistant à retenir tous les nourrissons pour un suivi ou à n’en retenir aucun. Ces comparaisons relient la performance du modèle à une utilisation envisagée, plutôt que de supposer qu’une AUC élevée rend le modèle utile.

Évaluer le modèle dans un autre contexte

La validation interne et la validation externe répondent à des questions différentes. La validation interne utilise les données de développement pour estimer dans quelle mesure la performance apparente d’un modèle peut être surestimée. La validation externe vérifie si le modèle fonctionne ailleurs, là où la population, le laboratoire, le type d’échantillon ou la mesure de référence peuvent différer.

Les exemples fondés sur des données réelles illustraient l’importance de ces différences. Dans les analyses présentées, l’erreur absolue moyenne du modèle ontarien utilisant des échantillons de sang prélevés par piqûre au talon était d’environ 0,8 semaine au Bangladesh comme en Zambie, contre environ 0,7 semaine en Ontario. La performance était moins bonne avec le sang de cordon ombilical. Les mesures obtenues à partir de différents types d’échantillons n’étaient pas interchangeables simplement parce que ces échantillons provenaient des mêmes nourrissons.

La présentation examinait aussi l’incertitude entourant les estimations de performance. Le groupe de nourrissons de Zambie ayant fait l’objet d’un prélèvement au talon ne comprenait que 11 nourrissons nés prématurément. La planification de la validation exige donc de tenir compte du nombre d’événements d’intérêt, et pas seulement du nombre total de personnes participantes.

Un autre exemple simulé montrait pourquoi la mesure de référence elle-même doit être examinée attentivement. Un modèle semblait produire des estimations moins exactes sur un site où l’âge gestationnel était établi à partir d’échographies réalisées plus tard dans la grossesse. Comme les âges gestationnels réels étaient connus dans la simulation, l’analyse a pu montrer que l’essentiel de la baisse apparente provenait d’une mesure de référence moins fiable, et non du modèle. Dans les études réelles, cette distinction est plus difficile à établir.

Considérer la préparation des données comme une composante du modèle

Une démonstration fondée sur des données réelles a montré que l’âge gestationnel prédit d’un nourrisson pouvait changer selon les autres nourrissons inclus dans le même lot. Le processus initial standardisait chaque ensemble de données séparément avant de produire les prédictions. La composition du lot pouvait donc influencer une estimation individuelle.

La leçon dépassait la seule formule mathématique du modèle. Les paramètres de préparation des données devraient être établis à partir des données d’entraînement, enregistrés avec le modèle et mis à l’essai pour vérifier que les prédictions ne dépendent pas du lot. Lorsqu’une standardisation propre à chaque site est utilisée délibérément, elle doit être documentée et mise à l’essai comme une composante du modèle.

La mise à jour d’un modèle pour un nouveau contexte constitue une étape distincte et délibérée. Dans un autre exemple simulé, un ajustement fondé sur des données locales a considérablement amélioré la calibration sans modifier l’AUC. L’ordre des prédictions est resté le même, mais les estimations sont devenues plus appropriées au contexte.

Réunir des données probantes pour l’utilisation prévue

L’importance de l’utilisation prévue est aussi ressortie dans le contexte de la surveillance populationnelle. Compter les nourrissons dont l’âge gestationnel prédit est inférieur à 37 semaines peut conduire à sous-estimer le taux de naissances prématurées, car les prédictions tendent à être ramenées vers les valeurs plus fréquentes correspondant aux naissances à terme. Pour la surveillance, l’approche présentée consistait à calculer la moyenne des probabilités calibrées de naissance prématurée, plutôt qu’à compter les nourrissons classés comme prématurés. Une méthode adaptée à l’estimation individuelle ne convient pas automatiquement à l’estimation d’un taux dans une population.

La liste de vérification présentée par Steven Hawken en conclusion reliait ces exemples aux décisions que doivent prendre les chercheuses et chercheurs ainsi que les cliniciennes et cliniciens. Le développement d’un modèle devrait commencer par la définition de son objectif. L’évaluation devrait examiner la calibration aussi bien que la discrimination, mettre la performance à l’épreuve dans le contexte prévu et évaluer le bénéfice net à des seuils pertinents sur le plan clinique.

Pour une personne qui lit un article scientifique ou envisage d’utiliser un modèle en clinique, cela change les questions à poser. Quelle est l’ampleur des erreurs d’estimation? La performance se maintient-elle dans la population concernée? Que se passe-t-il lorsqu’on agit en fonction des prédictions? Une AUC élevée ne couvre qu’une partie de cette évaluation. Avant qu’un modèle puisse appuyer une décision clinique, les données probantes doivent étayer cette utilisation précise, et non simplement montrer que le modèle classe bien les cas.

Consulter les ressources

La séance du 28 octobre était la deuxième de la série de quatre séminaires en personne de l’IRIAMO. Le dépôt GitHub du séminaire (en anglais) comprend les diapositives de la présentation, le code R qui les accompagne, des exemples détaillés et des ensembles de données accessibles au public. Il est possible de consulter les exemples sans exécuter de code ou de suivre les instructions pour reproduire les analyses.

Pour en savoir plus sur l’ensemble de la série, consultez la page des événements de l’IRIAMO.