Étude sur l’association entre les évaluations des jalons et les scores des examens de certification des résidents en médecine et les résultats des patients hospitalisés

Contexte

Aux États-Unis, l’éducation et l’évaluation des compétences des résidents en médecine interne se font principalement par deux méthodes : le système d’évaluation des jalons (Milestone assessment) et l’examen de certification de l’American Board of Internal Medicine (ABIM). Cependant, il existe actuellement peu de recherches sur la manière dont ces évaluations et scores d’examen sont liés aux résultats des patients hospitalisés. Ainsi, cette étude vise à explorer l’association entre les évaluations des jalons et les scores des examens de certification des médecins et les résultats des patients hospitalisés.

Sources de l’étude

Cette étude a été réalisée en collaboration par Bradley M. Gray, Jonathan L. Vandergrift, Jennifer P. Stevens, Rebecca S. Lipner, Furman S. McDonald et Bruce E. Landon. Ces auteurs viennent de l’American Board of Internal Medicine (ABIM), du Beth Israel Deaconess Medical Center, de la Harvard Medical School et d’autres institutions. L’étude a été publiée dans le journal JAMA le 6 mai 2024.

Conception et méthodes de l’étude

Cette étude utilise une analyse rétrospective de cohorte, avec des données provenant de 6898 résidents ayant terminé leur formation entre 2016 et 2018, ainsi que des dossiers de soins aux bénéficiaires de Medicare hospitalisés entre 2017 et 2019. Les principaux indicateurs de résultats incluent la mortalité et le taux de réadmission à 7 jours, ainsi que la mortalité, le taux de réadmission, la durée de l’hospitalisation et la fréquence des consultations spécialisées à 30 jours.

Processus de travail

1. Sélection de l’échantillon : L’échantillon de l’étude comprend les résidents ayant terminé leur formation en médecine interne entre 2016 et 2018, avec des évaluations des jalons valides et pour lesquels l’ABIM a pu identifier l’ID de leur prestataire national. Ces médecins ont fourni des soins aux patients bénéficiaires de Medicare âgés de 65 ans et plus hospitalisés aux États-Unis entre 2017 et 2019.

2. Critères d’exclusion : Les patients hospitalisés de manière élective et ceux recevant des soins palliatifs à l’admission ont été exclus pour éviter que les médecins ne soient assignés au hasard à des hospitalisations non aléatoires. L’étude a également exclu les patients présentant des groupes de diagnostic de courte durée aiguë rares.

3. Assignation et appariement : Les médecins ont été reliés aux données de réclamations d’hospitalisation de Medicare en utilisant leur ID de prestataire national. Les médecins ont été assignés aux cas d’hospitalisation s’ils avaient le plus grand nombre de contacts d’évaluation et de gestion pendant la période d’hospitalisation.

4. Indicateurs de résultats : Les principaux indicateurs incluent la mortalité et le taux de réadmission à 7 et 30 jours, la durée de l’hospitalisation et la fréquence des consultations spécialisées. Les analyses incluent des effets fixes de l’hôpital et ajustent pour les caractéristiques des patients, l’expérience des médecins et l’année.

Traitement et analyse des données

1. Évaluations des jalons : Basées sur 22 sous-compétences évaluées, elles sont converties en scores numériques et des mesures globales de la compétence principale et de la compétence en connaissance médicale sont construites. Les catégories de compétences globales sont divisées en faibles, moyennes et élevées selon la distribution des scores.

2. Scores des examens de certification : Classés par quartiles des scores annuels des examens de certification en médecine interne, en utilisant les scores de la première tentative.

3. Analyse statistique : Réalisée via une régression linéaire multiple, incluant les effets fixes de l’hôpital et ajustant pour les variables de l’échantillon. Les différences ajustées par régression entre les catégories sont calculées et des analyses de sensibilité sont effectuées.

Résultats de l’étude

Parmi 455120 cas d’hospitalisation, l’âge médian des patients était de 79 ans, et 56,5 % étaient des femmes. La mortalité et le taux de réadmission à 7 jours étaient respectivement de 3,5 % et 5,6 %, et à 30 jours, respectivement de 8,8 % et 16,6 %.

Principales découvertes

• Évaluations des jalons : Aucune association significative entre les évaluations globales des compétences principales ou des connaissances médicales élevées et faibles. Par exemple, une évaluation globale des compétences principales élevée n’était pas significativement associée à une augmentation de 2,7 % de la mortalité à 7 jours.

• Scores des examens de certification : Comparativement au quartile le plus bas, le quartile le plus élevé des scores était associé à une réduction de 8,0 % de la mortalité à 7 jours et de 9,3 % du taux de réadmission. Pour la mortalité à 30 jours, cette association était de -3,5 %. Le groupe à haut score était également associé à davantage de consultations spécialisées (2,4 %).

Conclusion et signification

L’étude montre que les scores des examens de certification des résidents nouvellement formés sont significativement associés aux résultats des patients bénéficiaires de Medicare, tandis que les évaluations des jalons des résidents ne le sont pas. Cela suggère que l’intégration formelle des résultats d’examens standardisés dans l’évaluation des compétences des résidents pourrait en améliorer l’efficacité.

Points forts de l’étude

• Résolution de problème : L’étude explore pour la première fois de manière systématique la relation entre les évaluations des jalons et les scores des examens de certification des résidents et les résultats des patients.

• Méthodes d’analyse des données : Utilisation de méthodes rigoureuses pour l’appariement des données et l’analyse de régression, garantissant la fiabilité des résultats de l’étude.

• Importance des résultats : Le rôle significatif des scores des examens de certification indique que cet indicateur peut être un outil efficace pour évaluer la capacité des médecins à pratiquer de manière indépendante.

Cette étude fournit des insights importants pour le domaine de l’éducation médicale. Les futures formations et évaluations peuvent intégrer des outils d’évaluation plus efficaces pour améliorer la qualité de la pratique clinique des médecins.