RESUMO

Esta revisão narrativa centra-se no conceito do ciclo de aprendizagem e aborda os principais aspectos práticos sobre o desenvolvimento da carreira profissional sugerindo as experiências de aprendizagem mais apropriadas para conduzir e autoavaliar com sucesso o preenchimento das lacunas de aprendizagem identificadas na prática clínica. No artigo apresentamos: a) a descrição do racional subjacente ao ciclo sistemático de aprendizagem, b) a explicação de um modelo prático para a condução de um plano de desenvolvimento profissional contínuo (DPC) sob a perspectiva do médico especialista, c) um resumo dos métodos analíticos de lacunas na prática clínica e da avaliação de necessidades, de metodologias de aprendizagem e de estratégias de avaliação mais apropriadas em educação médica contínua e desenvolvimento profissional. Concluímos expressando os nossos pontos de vista sobre o assunto no contexto das múltiplas perspectivas das várias partes interessadas no DPC.

Palavras-chave: Educação Médica Continuada; Avaliação; Aprendizagem.

ABSTRACT

This narrative review focuses on the conceptual learning cycle and covers the key practical aspects of reflecting on personal career development, deciding on the most appropriate learning experiences to undertake and self-assessment to successfully fill learning gaps. We a) describe the rationale behind the systematic learning cycle, b) explain a practical model of conducting an effective continuing professional development (CPD) plan under the physician perspective, c) summarize methods of gap analysis and needs assessment, learning methodologies, and assessment strategies suited to the physician educational practice. We conclude by expressing our own views on the topic within the broad frame of the CPD stakeholders' multiple perspectives.

Keywords: Continuing Medical Education; Assessment; Learning.

RESUMEN

Esta revisión narrativa se centra en el concepto del ciclo de aprendizaje y aborda los principales aspectos prácticos sobre el desarrollo de la carrera profesional sugiriendo las experiencias de aprendizaje más apropiadas para conducir y autoevaluar con éxito el llenado de las lagunas de aprendizaje identificadas en la práctica clínica. En el artículo presentamos: a) la descripción del racional subyacente al ciclo sistemático de aprendizaje, b) la explicación de un modelo práctico para la conducción de un plan de desarrollo profesional continuo (DPC) desde la perspectiva del médico especialista, c) un resumen de los resultados métodos analíticos de lagunas en la práctica clínica y de la evaluación de necesidades, de metodologías de aprendizaje y de estrategias de evaluación más apropiadas en educación médica continua y desarrollo profesional. Concluimos expresando nuestros puntos de vista sobre el tema en el contexto de las múltiples perspectivas de las distintas partes interesadas en el DPC.

Palabras-clave: Educación Médica Continua; Evaluación; Aprendizaje.

INTRODUÇÃO

Em tempo de rápida expansão e obsolescência do conhecimento médico, de intensificação do escrutínio da sociedade, do aumento das necessidades em saúde do público relativamente à profissão médica e de uma carga de trabalho profissional crescente em sistemas complexos de saúde, avaliar a eficácia dos eventos educacionais tornou-se fundamental para o desenvolvimento profissional contínuo (DPC). O ciclo de aprendizagem deve estar subjacente ao DPC e consequentemente à participação em eventos educacionais que o compõem. A demonstração de resultados após a participação em atividades do DPC é fundamental. Neste artigo, fazemos a revisão dos métodos que permitem ao médico melhorar os resultados da participação em eventos educacionais em contexto de DPC, incluindo 1) a condução da avaliação de necessidades educacionais, com base em lacunas identificadas na prática clínica, 2) o estabelecimento de metas e objetivos eficazes para orientar o plano pessoal de aprendizagem, 3) a correspondência de metodologias de aprendizagem apropriadas para alcançar os resultados desejados e responder às necessidades de aprendizagem previamente identificadas e 4) a avaliação dos resultados práticos das atividades de aprendizagem empreendidas. Tais atividades devem apoiar de forma efetiva o plano de desenvolvimento pessoal, que se ancora em três questões profissionais cíclicas: O que irei aprender? Como irei aprender? e O quanto aprendi? O assunto já foi revisto em termos gerais,^1,2 mas o foco deste artigo concentra-se nas necessidades do médico especialista enquanto estudante, e não nas necessidades do professor em contexto de DPC, e na extrapolação baseada na literatura médica geral, dado ser escassa a evidência específica em oftalmologia. O termo DPC, utilizado ao longo do artigo, refere-se ao processo personalizado de educação médica continuada para o oftalmologista, e que objetiva o desenvolvimento de todas as competências clínicas e não clínicas exigidas para a melhor prática clínica em oftalmologia.

CICLO DE APRENDIZAGEM

O DPC integra o contínum em educação médica³, sendo indiscutivelmente uma fase muito importante, pois sua duração coincide com a da carreira profissional. Após concluir a faculdade de medicina e a formação em oftalmologia, o médico especialista é um estudante adulto que deve ser proficiente em reflexão e autoaprendizagem ao longo da vida ao conduzir o seu desenvolvimento profissional contínuo, pese embora nem sempre seja o caso.^4,5 O médico especialista enquanto construtor do seu DPC deve enquadrar os princípios da educação de adultos^6,7, e ser impelido para aprender 1) pela sua necessidade de saber, 2) pelo seu autoconceito, 3) pelas suas experiências anteriores, 4) pela sua prontidão para aprender, 5) pela sua aprendizagem autoorientada e 6) pela sua motivação intrínseca.⁶

O aluno adulto segue o ciclo de aprendizagem (Figura 1), que se inicia com a definição de objetivos individuais que derivam da reflexão sobre a comparação da prática clínica real num determinado momento com o ideal e a consequente identificação das lacunas. A identificação de lacunas de aprendizagem orienta a avaliação das necessidades de aprendizagem e o planeamento da sua resolução. Este passo conduz à realização de atividades apropriadas de DPC, em formato e conteúdo. Aanálise dos resultados em comparação com os objetivos, conclui um ciclo de aprendizagem, repetindo-se os ciclos de aprendizagem ao longo da carreira profissional.

Figura 1. Ciclo de aprendizagem de adultos. A aprendizagem de adultos envolve um ciclo com vários estágios. Eles podem partir de uma reflexão sobre a prática profissional individual , reconhecer uma lacuna e avaliar as próprias necessidades de aprendizagem para responder à pergunta: O que irei aprender? Eles reagem planejando eventos (Como irei aprender?), conduzindo-os (quando as questões pessoais podem levar ao aumento da eficácia do evento) e avaliando a eficácia dos eventos de aprendizagem realizados (O quanto aprendi?). O ideal é que os resultados da avaliação conduzam a um outro ciclo de aprendizagem e, portanto, um processo de melhoria contínua.

Na prática da oftalmologia, os objetivos do médico especialista devem atender às necessidades da organização e dos sistemas de saúde e as principais partes interessadas influenciam os objetivos do DPC. Os reguladores da profissão médica e as sociedades oftalmológicas profissionais, incluindo o Conselho Federal de Medicina e o Conselho Brasileiro de Oftalmologia, estabelecem padrões de práticas oftalmológicas competentes.

1) Condução da avaliação de necessidades de aprendizagem

Nesta etapa, o médico especialista reflete sobre sua prática clínica atual, compara-a com a prática ideal, identifica lacunas e reconhece necessidades de aprendizagem. Estas necessidades podem ser mal interpretadas se as lacunas não são claramente reconhecidas pelo médico, ou mesmo despercebidas sendo necessária uma avaliação externa para a sua identificação. As necessidades de aprendizagem emergentes associadas a novas técnicas e conceitos motivam o médico a ativar o seu plano individual de desenvolvimento profissional.⁸

A avaliação das necessidades de aprendizagem inicia com a reflexão individual sobre a questão: O que irei aprender? A resposta pode ser obtida através da autoavaliação ou através de fontes externas de avaliação. Como previamente referido, a autoavaliação pode ser um processo individualizado de autorreflexão ou também ser realizada através de testes autoaplicáveis, como os fornecidos pela Academia Americana de Oftalmologia e pela Medscape®. A autoavaliação com base na reflexão individual dos estudantes de medicina e dos médicos é reconhecidamente imprecisa, sendo frequentemente sobre ou subestimada.⁹ A autoavaliação sobre-estimada realizada de forma inconsciente por alguns indivíduos é designada por efeito Kruger Dunning.¹⁰ Os estudantes de medicina tendem a começar com uma autoavaliação sobre-estimada a respeito sua própria realização profissional cuja apreciação vão reduzindo gradualmente ao longo dos anos de estudo de medicina. Existe alguma evidência científica de que esta capacidade de autoavaliação pela prática reflexiva pode inclusivamente agravar-se ao longo da vida do estudante de medicina.¹⁰

Neste contexto, as fontes externas de avaliação ganham relevo estando algumas delas apresentadas na Tabela 1. A evidência científica acerca das fontes de avaliação externa mais eficazes para avaliar as necessidades de aprendizagem é escassa. Parboosingh,¹¹ avaliou a opinião dos participantes em atividades educacionais de DPC sobre as fontes de informação com maior probabilidade de influenciar a sua prática clínica. A auditoria cirúrgica e a revisão post-hoc de casos clínicos foram consideradas as mais efetivas. A realização de testes uniformizados e as atividades clássicas de educação médica contínua (EMC) foram consideradas menos eficazes. As fontes externas de avaliação são importantes para analisar lacunas de aprendizagem, contudo podem não incluir toda a informação necessária para a prática clínica eficaz. Além disso, o aparecimento contínuo de informação gerando grandes bancos informatizados de dados (big data) motiva o médico a investigar continuamente em ambiente de trabalho, a processar, administrar e a aplicar na prática clínica novos conhecimentos, de acordo com as suas necessidades profissionais personalizadas. O médico especialista deve estar preparado para refletir e avaliar necessidades de aprendizagem relacionadas com novas tecnologias de diagnóstico, terapêuticas inovadoras e alterações na regulação da própria profissão, com repercussão possível no acompanhamento clínico dos pacientes.¹²

Os oftalmologistas devem idealmente registar o resultado da sua análise pessoal de necessidades formativas e os resultados da sua atividade de aprendizagem. Um portfólio que inclua autorreflexão torna-se útil, ao permitir este mesmo registo. A autorreflexão sobre os resultados profissionais alcançados, a análise do estilo individual de aprendizagem e os resultados da prática clínica enquadrados nas necessidades do ambiente profissional de trabalho podem constar no portfólio individual. Esta prática tem sido porém associada a preocupação no que concerne à aplicação não intencional para fins jurídico-legais de documentação de um desempenho profissional não ideal, como resultado da reflexão individual acerca de incertezas profissionais ou de resultados clínicos insatisfatórios.¹³ Por isso, a Academy of Medical Royal Colleges publicou orientações quanto às anotações reflexivas dos médicos nos seus portfólios eletrônicos individuais.¹⁴

2) Estabelecendo metas e objetivos

Neste passo o estudante adulto deve idealmente planear e criar uma estratégia de aprendizagem procurando recursos apropriados para atingir as sua metas formativas. Rosenblum e Darkenwald verificaram que a participação de supervisores de enfermagem no planeamento de cursos não melhorou os resultados da atividade formativa.¹⁵ Um estudo recente, mostrou melhores resultados obtidos pelos médico reumatologistas cuja atividade num programa de formação da Medscape foi orientada pelos resultados dos testes de avaliação realizados, quando comparados com os dos colegas que seguiram um plano de aprendizagem completamente autodirecionado, desconsiderando a orientação dos resultados obtidos nos mesmos testes.¹⁶

Acreditamos que, ao definir claramente suas metas e objetivos, os médicos avaliarão com maior eficácia os resultados gerados pela realização de experiências de aprendizagem. Estabelecer metas ajuda a definir a finalidade da realização de um programa de aprendizagem específico de DPC. A definição de objetivos específicos, mensuráveis, atingíveis em condições realistas de aprendizagem, relevantes para a prática clínica e em tempo claramente definido está vinculada a uma avaliação mais eficiente de resultados, com consequente sensação de concretização e satisfação profissionais.

As características dos objetivos de aprendizagem podem ser traduzidas na sigla SMART (specific, measurable, attainable, relevant and time-framed) definindo-se como específico, mensurável, atingível, relevante e definido no tempo. Ao definir e registar o plano de desenvolvimento pessoal no portfólio profissional para demonstrar empenho e demonstração profissionais, o médico deve documentar claramente as metas e os objetivos individuais que o levaram a realizar um programa educacional específico de DPC.¹⁷

3) Compatibilização de formatos

Nesta fase, o médico procura realizar as atividades formativas que selecionou como mais apropriadas para preencher as suas lacunas de aprendizagem. É necessário compreender a eficácia das diversas atividades formativas em DPC e usar estratégias para otimizar a aprendizagem que nos remetem para o critério 5 das atividades de EMC definidas pelo Conselho Americano de Acreditação.¹⁸

Muitos estudos demonstram que as palestras tradicionais da EMC podem ser experiências de aprendizagem ineficazes.^19,20 Legaré et al.²¹ demonstraram que a grande maioria das atividades de DPC oferecidas não objetivam os níveis mais elevados do pensamento focando mais frequentemente níveis inferiores como fatos.²¹ Usando a taxonomia modificada de Bloom²², demonstrou-se que as atividades de DPC são mais frequentemente desenhadas focando o nível 1, em vez de níveis 5-7, onde ocorre a análise e a criação de novos aprendizados. Não se espera que essas atividades sejam eficazes em gerar novas competências nos oftalmologistas que as realizam.

Durante a prática clínica, ocorrem experiências de aprendizagem formais e não planejadas que devem ser valorizadas. Organismos internacionais, como a UEMS (Union Européenne des Medecins Spécialistes / União Europeia de Médicos Especialistas), através do EACCME (Conselho Europeu de Acreditação para Educação Médica Continuada), reconhecem a atividade de examinador, a revisão paritária de textos científicos, o ensino médico e a aprendizagem através de e-learning como elegíveis para atividades de formação em DPC.²³ A tecnologia atual subjacente aos sistemas de saúde (registro eletrônico de saúde) permite a recuperação e a análise rápidas de dados e informação para tomar decisões clínicas informadas e partilhadas com o paciente. Os dados clínicos disponíveis funcionam como ricas bibliotecas digitais, sempre prontas para fornecer informações direcionadas a serem processadas e aplicadas de forma imediata em ambiente clínico.²³

Por outro lado, para fundamentar a facilitação de novas experiências educacionais para o médico especialista e justificar programas formais em DPC têm vindo a ser estabelecidos requisitos crescentes. A crescente carga de trabalho clínico e os desafios de financiamento em saúde têm vindo a vincar a necessidade de desenvolver programas educacionais em DPC com justificação clara de custo-benefício. Isso exige que os docentes em DPC, que constituem o grupo mais diversificado em termos da sua própria formação como educadores, capacidade de ensino e proficiência na área e qualidade de conhecimento médico, de todas as etapas em educação médica, desenvolvam habilidades em ensino médico para aplicação eficaz dos elementos do ciclo de aprendizagem.²⁴

A experiência de aprendizagem em EMC mais eficaz é provavelmente a auditoria clínica e o feedback que dela deriva sobre os resultados clínicos alcançados pelo médico na sua prática profissional diária. Uma revisão Cochrane demonstrou que a auditoria e o feedback acerca dos resultados clínicos são mais eficazes quando os profissionais de saúde não têm bom desempenho inicial; quando o responsável pela auditoria e feedback é um supervisor ou colega; quando é realizada por diversas vezes; quando é conduzida verbalmente e por escrito; e quando inclui metas claras e um plano de ação subsequente de acordo com o seu resultado. Os autores da revisão Cochrane concluem não ser possível afirmar que a auditoria e o feedback aumentem a eficácia da avaliação do desempenho médico quando combinados com outras intervenções.²⁴ Existe evidência científica de que as atividades formativas em DPC são mais eficazes quando se repetem em várias ocasiões, incluem diversas metodologias educacionais e estratégias de ensino que estimulem interatividade entre os participantes.⁹

A auditoria cirúrgica em oftalmologia implica recursos que o médico oftalmologista pode não ter à sua disposição. O clínico deve assim utilizar as experiências de aprendizagem ao seu alcance de forma planeada e refletir sobre o que aprendeu, como o poderá aplicar na sua vida profissional e o qual o seu impacto na sua prática clínica. A tabela 2 lista experiências de aprendizagem em DPC e autoperguntas típicas, que o oftalmologista pode fazer antes e durante uma experiência de aprendizagem, bem como técnicas de aprendizagem que pode solicitar aos educadores, com a finalidade de melhorar a qualidade do processo ensino/aprendizagem.

4) Avaliação efetiva

A fase de conclusão do ciclo de aprendizagem consiste em avaliar a repercussão de experiências de aprendizagem específicas na prática profissional. Que mudança de comportamento profissional com consequente melhoria clínica nos seus pacientes o clínico reconhece ter sido gerada a partir de uma experiência de aprendizagem ? Que impacto gerou no desempenho geral da sua organização de trabalho? A participação numa experiência de aprendizagem pode justificar-se pela necessidade de melhorar a autoconfiança do profissional na prática de uma determinada técnica ou na compreensão e aplicação clínica de um conceito específico. O novo conhecimento deve ser consolidado através da sua aplicação na prática clínica diária (reforço) e da sua partilha (disseminação) entre pares e colegas de trabalho em novas oportunidades encontradas na prática clínica. Ao participar em programas interativos e longitudinais com feedback apropriado acerca dos resultados de aprendizagem, os oftalmologistas poderão construir conhecimentos e habilidades com significado clínico que serão traduzidos efetivamente na sua prática profissional. ^{9, 24}

Don Moore propôs uma estrutura piramidal para a avaliação da educação médica contínua, que começa com a participação em eventos (nível 1) para concluir com a avaliação do impacto dos mesmos em saúde pública (nível 7) (Figura 2).²⁸

Figura 2. Resultados da pirâmide do EMC proposto por Moore.²⁵ A educação médica continuada (EMC) tradicional ou clássica concentra-se nos níveis de 1 a 3 e, na melhor das hipóteses, avalia o processo ensino-aprendizagem a nível de pré e pós-testes. O objetivo ideal da avaliação em desenvolvimento profissional contínuo é o nível 5 ou seja avaliação do desempenho na prática. Idealmente, os resultados do DPC devem ser demonstrados pela melhoria da saúde dos pacientes e da comunidade loco-regional, o que representa o desafio emocionante de alinhar e reunir, de forma ideal e com uma coordenação fluente excepcional, objetivos, comunicação e ações de todos os atores do DPC.

Para rigor e transparência, a autoavaliação dos médicos deve ser complementada com a avaliação externa. Os resultados ideais para avaliar a eficácia do DPC são os níveis 6 e 7 de Moore relativos aos resultados individuais na saúde do paciente e o seu impacto no estado de saúde da sociedade. Esta relação é difícil de se demonstrar, e estes níveis mais elevados sugeridos neste compreensivo modelo de avaliação são ainda são pouco usados na prática. ²⁹ Provavelmente, o método mais pragmático de se demonstrar a eficácia das atividades em DPC é a observação na melhoria de desempenho na prática clínica diária. A nível pós-graduado da oftalmologia, essa estratégia tem sido utilizada através da observação direta, ou de vídeos de desempenho cognitivo-comportamental. Para nosso conhecimento, apesar da evidência científica sobre o uso desta estratégia em DPC ser escassa, ela é referida, no critério ³⁰ da ACGME, como o melhor modelo para a prática em EMC ao otimizar as habilidades técnicas e processuais dos estudantes.

DISCUSSÃO E CONCLUSÃO

Após a formação pós-universitária e a especialização clínica, a educação médica deve continuar como DPC personalizado, objetivando as necessidades de aprendizagem e aspirações profissionais de cada médico, respondendo de forma simultânea às necessidades da organização de trabalho e em cuidados de saúde pública lançando mão das habilidades e atributos necessários do oftalmologista contemporâneo. Os oftalmologistas enquanto estudantes em DPC, têm o seu tempo limitado e precisam otimizar a sua participação em atividades de formação clínica. A forma mais eficaz é a aplicação prática do ciclo de aprendizagem do adulto, através da análise sistemática de lacunas encontradas na prática clínica diária e da avaliação das necessidades de aprendizagem, estabelecendo um plano deliberado de participação num programa de experiências de aprendizagem, culminando com a avaliação do seu impacto no desenvolvimento da prática profissional. O ciclo de aprendizagem está ancorado em três perguntas sequenciais: o que irei aprender? Como irei aprender? e O quanto aprendi? Podemos daqui inferir um ciclo dinâmico que possibilita repensar de forma mais adequada e eficaz cada etapa para concluir o processo que gerará novos ciclos com base na interação do clínico no seu ambiente profissional.

O antigo contrato social oculto da profissão médica apoia-se no facto de que os médicos devem manter a autoconsciência de sua necessidade de educação médica contínua para desenvolver e renovar o seu conhecimento e habilidades profissionais, abordando-os como um compromisso de aprendizagem ao longo da sua vida profissional. Confiamos que, ao reconhecer este dever profissional como um processo permanente e contínuo, os médicos poderão demonstrar que a eficácia da profissão médica depende da educação continuada e do desenvolvimento profissional. As sociedades profissionais científicas que representam a profissão médica, os reguladores, os legisladores, os empregadores e os administradores em posições de decisão devem adotar a liderança na promoção do DPC médico, como fundação essencial para garantir e melhorar os resultados em saúde pública.

REFERÊNCIAS

1. Filipe HP, Mack HG, Mayorga EP, Golnik KC, eds. ICO Guide to Effective CPD/CME [cited 2018 Mar 23]. Available from: www.icoph.org/ICO-CPD-CME.html

2. Filipe HP, Silva ED, Stulting AA, Golnik KC. Continuing professional development: Best practices. Middle East Afr J Ophthalmol 2014;21(2):134-41.

3. Frank JR, Snell L, Sherbino J, eds. CanMEDS 2015 Physician. Competency Framework. Ottawa: Royal College of Physicians and Surgeons of Canada; 2015.

4. Nothnagle M, Anandarajah G, Goldman RE, Reis S. Struggling to be self-directed: residents' paradoxical beliefs about learning. Acad Med. 2011;86(12):1539-44.

5. Sockalingam S, Soklaridis S, Yufe S, Rawkins S, Harris I, Tekian A, et al. Incorporating Lifelong Learning From Residency to Practice: A Qualitative Study Exploring Psychiatry Learners' Needs and Motivations. J Contin Educ Health Prof. 2017;37(2):90-7. DOI: 10.1097/CEH.0000000000000156

6. Knowles MS, Holton EF III, Swanson RA. The Adult Learner. The Definitive Classic in Adult Education and Human Resource Development. 7th ed. Amsterdam: Elsevier; 2011.

7. Taylor DCM, Hamdy H. Adult learning theories: Implications for learning and teaching in medical education: AMEE Guide No. 83. Med Teach. 2013;35(11):e1561-e1572. DOI: https://doi.org/10.3109/0142159X.2013.828153

8. University of Toronto, Faculty of Medicine, Continuing Professional Development. Quick Tips: Methods of Assessing Learning Needs. Ontario: University of Toronto; 2016.

9. Marinopoulos SS, Dorman T, Ratanawongsa N, Wilson LM, Ashar BH, Magaziner JL, et al. Effectiveness of continuing medical education. Evid Rep Technol Assess (Full Rep). 2007;(149):1-69.

10. Dunning D. Chapter five The Dunning-Kruger Effect: On Being Ignorant of One's Own Ignorance. Adv Exp Soc Psychol. 2011;44:247-96.

11. Parboosingh J. Role of self-assessment in identification of learning needs. J Contin Educ Health Prof. 1998;18(4):213-9.

12. Campbell C, Silver I, Sherbino J, Cate OT, Holmboe ES. Competency-based continuing professional development. Med Teach. 2010;32(8):657-62. DOI: 10.3109/0142159X.2010.500708

13. Nagler A, Andolsek K, Padmore JS. The unintended consequences of portfolios in graduate medical education. Acad Med. 2009;84(11):1522-6. DOI: 10.1097/ACM.0b013e3181bb2636

14. Academy of Medical Royal Colleges (AoMRC). New guidance on e-Portfolio reflective notes; 2016 [cited 2018 Mar 23]. Available from: https://www.themdu.com/guidance-and-advice/latest-updates-and-advice/new-guidance-on-e-portfolio-reflective-notes.

15. Rosenblum S, Darkenwald GG. Effects of Adult Learner Participation in Course Planning on Achievement and Satisfaction. Adult Educ Q (Am Assoc Adult Contin Educ). 1983;33(3):147-53.

16. Mehta N, Geissel K, Rhodes E, Salinas G. Comparative effectiveness in CME: evaluation of personalized and self-directed learning models. J Contin Educ Health Prof. 2015;35 Suppl 1: S24-6. DOI: 10.1002/chp.21284

17. Tasker F. How to prepare a personal development plan. BMJ Careers; 2015 [cited 2018 Mar 23]. Available from: http://careers.bmj.com/careers/advice/How_to_prepare_a_personal_development_plan

18. American Council for Accreditation of Continuing Medical Education (ACCME). Criterion 5 [cited 2018 Mar 23]. Available from: http://www.accme.org/requirements/accreditation-requirements-cme-providers/criteria/criterion-5

19. Davis DA, Thomson MA, Oxman AD, Haynes RB. Changing physician performance. A systematic review of the effect of continuing medical education strategies. JAMA. 1995;274(9):700-5.

20. Davis DA, O'Brien MA, Freemantle N, Wolf FM, Mazmanian P, Taylor-Vaisey A. Impact of formal continuing medical education: do conferences, workshops, rounds and other traditional continuing education activities change physician behavior or health care outcomes? JAMA. 1999;282(9):867-74.

21. Légaré F, Freitas A, Thompson-Leduc P, Borduas F, Luconi F, Boucher A, et al. The majority of accredited continuing professional development activities do not target clinical behavior change. Acad Med. 2015;90(2):197-202.

22. Anderson LW, Krathwohl DR, eds. A Taxonomy for Learning, Teaching, and Assessing: A Revision Of Bloom's Taxonomy of Educational Objectives. Boston: Allyn & Bacon; 2000.

23. Union Européenne des Mêdecins Spécialistes (UEMS). Continuing Medical Education & Professional Development. Brussels: UEMS; 2013 [cited 2018 Mar 23]. Available from: https://www.uems.eu/areas-of-expertise/cme-cpd

24. Institute of Medicine (US) Committee on Planning a Continuing Health Professional Education Institute. Redesigning Continuing Education in the Health Professions. Washington: National Academies Press (US); 2010.

25. Ivers N, Jamtvedt G, Flottorp S, Young JM, Odgaard-Jensen J, French SD, et al. Audit and feedback: effects on professional practice and healthcare outcomes. Cochrane Database Syst Rev. 2012;(6):CD000259. DOI: 10.1002/14651858.CD000259.pub3

26. Davis D, Barnes B, Fox RD. Continuing Professional Development of Physicians: From Research to Practice. Chicago: American Medical Association Press; 2003. p. 249-74.

27. Grant J. The Good CPD Guide: A Practical Guide to Managed Continuing Professional Development in Medicine. 2nd ed. London: Radcliffe Publishing; 2011.

28. Moore DE Jr, Green JS, Gallis HA. Achieving desired results and improved outcomes: integrating planning and assessment throughout learning activities. J Cont Educ Health Prof. 2009;29(1):1-15.

29. Stevenson R, Moore DE Je. Ascent to the Summit of the CME Pyramid. JAMA. 2018;319(6):543-4. DOI: 10.1001/jama.2017.19791

30. Golnik KC. Resident competence assessment: Best practices. J Curr Ophthalmol. 2016;28(2):53-4.

31. American Council for Accreditation of Continuing Medical Education (ACCME). Criterion 30 [cited 2018 Mar 23]. Available from: http://www.accme.org/requirements/accreditation-requirements-cme-providers/criteria/criterion-30

32. Schön DA. The Reflective Practioner: How Professionals Think in Action. New York: Basic Books; 1983.

33. Keister DM, Hansen SE, Dostal J. Teaching Resident Self-Assessment Through Triangulation of Faculty and Patient Feedback. Teach Learn Med. 2017;29(1):25-30. DOI: 10.1080/10401334.2016.1246249

34. Kim S, Dunkin BJ, Paige JT, Eggersted JM, Nicholas C, Vassilliou MC, et al. What is the future of training in surgery? Needs assessment of national stakeholders. Surgery. 2014;156(3):707-17.

35. Kjaer NK, Vedsted M, Høpner J. A new comprehensive model for Continuous Professional Development. Eur J Gen Pract. 2017;23(1):20-26. DOI: 10.1080/13814788.2016.1256998

36. Ellaway RH, O'Gorman L, Strasser R, Marsh DC, Graves L, Fink P, et al. A critical hybrid realist-outcomes systematic review of relationships between medical education programmes and communities: BEME Guide No. 35. Med Teach. 2016;38(3):229-45. DOI: 10.3109/0142159X.2015.1112894

37. Steinert Y, Snell LS. Interactive lecturing: strategies for increasing participation in large group presentations. Med Teach. 1999;21(1):37-42.

38. Sharma N, Lau CS, Doherty I, Harbutt D. How we flipped the medical classroom. Med Teach. 2015;37(4):327-30.

39. Jaques D. Teaching small groups. BMJ. 2003;326(7387):492-4.

Helena P Filipe
http://orcid.org/0000-0002-1081-7570

Karl C Golnik

Heather G Mack
http://orcid.org/0000-0001-9756-1098

Recebido em: 20 de Março de 2018.
Aceito em: 11 de Maio de 2018.