The number of short 'life support' and emergency care courses available are increasing. Variability in examiner assessments has been reported previously in more traditional types of examinations but there is little data on the reliability of the assessments used on these newer courses. This study evaluated the reliability and consistency of instructor marking for the Resuscitation Council UK Advanced Life Support Course. Twenty five instructors from 15 centres throughout the UK were shown four staged video recorded defibrillation tests (one repeated) and three cardiac arrest simulation tests in order to assess inter-observer and intra-observer variability. These tests form part of the final assessment of competence on an Advanced Life Support course. Significant levels of variability were demonstrated between instructors with poor levels of agreement of 52-80% for defibrillation tests and 52-100% for cardiac arrest simulation tests. There was evidence of differences in the observation/recognition of errors and rating tendencies of instructors. Four instructors made a different pass/fail decision when shown defibrillation test 2 for a second time leading to only moderate levels of intra-observer agreement (κ=0.43). In conclusion there is significant variability between instructors in the assessment of advanced life support skills, which may undermine the present assessment mechanisms for the advanced life support course. Validation of the assessment tools for the rapidly growing number of life support courses is required with urgent steps to improve reliability where required.
O numero de cursos de suporte de vida e de medicina de emergencia, de curta duracao, tem vindo a aumentar. Ha observacoes previas que relatam a variacao inter examinadores na avaliacao dos cursos tradicionais, mas os dados relativos a estes novos cursos sao escassos. Este estudo avalia a fiabilidade e consistencia dos procedimentos dos Instrutores nos Cursos de Suporte Avancado de Vida (SAV) do Resuscitation Council UK. Foram exibidos quatro vdeos de provas de avaliacao em desfibrilhacao (um deles repetido) tres dos quais de situacoes de simulacao de paragem cardaca, a vinte e cinco Instrutores de quinze centros dispersos pelo Reino Unido, com a intencao de avaliar a variabilidade das interpretacoes inter observadores e intra observador. Estes testes sao parte da avaliacao final dos cursos de SAV. Verificou-se existir um elevado grau de variabilidade inter Instrutores, com baixos nveis de concordancia na avaliacao da desfibrilhacao: 52-80% bem como na avaliacao dos casos clnicos de simulacao de paragem cardaca: 52-100%. Evidenciaram-se diferencas entre os Instrutores na observacao/reconhecimento dos erros e na forma de os hierarquizar. Quatro dos Instrutores modificaram as suas decisoes de passagem/reprovacao quando reviram o vdeo pela segunda vez, levando a uma variabilidade intra Instrutor moderada (κ=0.43). Conclusao ha uma importante variacao na forma como os Instrutores fazem a avaliacao das competencias em SAV, o que pode ser um factor que venha a minar os mecanismos de avaliacao das cursos de SAV. Torna-se urgente validar os instrumentos de avaliacao dos cursos de SAV com vista a melhorar a reprodutibilidade dos procedimentos a medida que o numero de cursos aumenta.