Résumé Objectif
Notre objectif était de mettre au point et d’évaluer un Outil d’évaluation structuré objectif intégré générique (GIOSAT - Generic Integrated Objective Structured Assessment Tool ) afin d’intégrer les compétences CanMEDS d’expert médical et intrinsèques (autres que expert médical) à des habiletés non techniques pour la simulation de crise.
Méthode
Un outil d’évaluation a été conçu et mis au banc d’essai à l’aide de deux scénarios d’anesthésie pédiatrique (laryngospasme et hyperkaliémie). Après révision de l’outil, nous nous sommes servis de clips vidéo enregistrés auparavant de résidents en anesthésie ( n = 50) qui avaient réussi un de deux scénarios d’ACLS (soins intensifs post-réanimation cardiaque) peropératoires (tachycardie ventriculaire ou fibrillation ventriculaire). Quatre évaluateurs formés indépendants, ne connaissant pas le niveau de formation des résidents, ont analysé les enregistrements vidéo à l’aide de l’échelle GIOSAT. La fiabilité inter-évaluateur a été calculée à l’aide de corrélations intraclasse (CIC) pour évaluateurs uniques (mesure unique) et de la moyenne des quatre évaluateurs (mesure moyenne), et la validité conceptuelle a été examinée en corrélant les scores de GIOSAT à l’année de résidence.
Résultats
Les scores GIOSAT totaux pour les scénarios d’ACLS ont eu des CIC de 0,62 en mesure unique et des CIC de 0,85 en mesure moyenne. La fiabilité inter-évaluateur était substantielle aussi bien pour les compétences d’expert médical que pour les compétences intrinsèques (CIC en mesure unique 0,69 et 0,62, respectivement; CIC en mesure moyenne de 0,90 et 0,82, respectivement). Nous avons observé des corrélations significatives entre l’année de résidence et le score total sur l’échelle de GIOSAT (r = 0,36; P = 0,011) et entre l’année de résidence et les compétences d’expert médical (r = 0,42; P = 0,003); toutefois, aucune corrélation n’a été observée entre l’année de résidence et les compétences CanMEDS intrinsèques (r = 0,24; P = 0,09).
Conclusion
La fiabilité inter-évaluateur des scores totaux sur l’échelle de GIOSAT en faisant appel à quatre évaluateurs formés était substantielle. Une corrélation significative entre l’année de résidence et (i) le score total GIOSAT et (ii) les compétences d’expert médical soutient la validité conceptuelle de notre outil. Aucune donnée probante de validité n’a été obtenue pour les compétences CanMEDS intrinsèques.