L'avaluació del currículum i del professorat és fonamental per a totes les institucions d'educació superior, incloses les facultats de medicina. Les avaluacions estudiantils de la docència (SET) solen prendre la forma de qüestionaris anònims i, tot i que originalment es van desenvolupar per avaluar cursos i programes, amb el temps també s'han utilitzat per mesurar l'eficàcia docent i, posteriorment, prendre decisions importants relacionades amb la docència. Desenvolupament professional del professorat. Tanmateix, certs factors i biaixos poden afectar les puntuacions SET i l'eficàcia docent no es pot mesurar objectivament. Tot i que la literatura sobre l'avaluació de cursos i professorat en l'educació superior general està ben establerta, hi ha preocupacions sobre l'ús de les mateixes eines per avaluar cursos i professorat en programes de medicina. En particular, SET en l'educació superior general no es pot aplicar directament al disseny i la implementació del currículum a les facultats de medicina. Aquesta revisió proporciona una visió general de com es pot millorar SET a nivell d'instrument, gestió i interpretació. A més, aquest article assenyala que mitjançant l'ús de diversos mètodes com la revisió per parells, els grups focals i l'autoavaluació per recopilar i triangular dades de múltiples fonts, inclosos estudiants, companys, gestors de programes i autoconsciència, es pot construir un sistema d'avaluació integral. Mesurar eficaçment l'eficàcia docent, donar suport al desenvolupament professional dels educadors mèdics i millorar la qualitat de la docència en l'educació mèdica.
L'avaluació de cursos i programes és un procés intern de control de qualitat en totes les institucions d'educació superior, incloses les facultats de medicina. L'Avaluació de la Docència per part dels Estudiants (SET) sol prendre la forma d'un qüestionari anònim en paper o en línia utilitzant una escala de qualificació com ara una escala Likert (normalment cinc, set o superior) que permet a les persones indicar el seu grau d'acord o acord. No estic d'acord amb afirmacions específiques) [1,2,3]. Tot i que els SET es van desenvolupar originalment per avaluar cursos i programes, amb el temps també s'han utilitzat per mesurar l'eficàcia docent [4, 5, 6]. L'eficàcia docent es considera important perquè se suposa que hi ha una relació positiva entre l'eficàcia docent i l'aprenentatge dels estudiants [7]. Tot i que la literatura no defineix clarament l'eficàcia de la formació, normalment s'especifica a través de característiques específiques de la formació, com ara "interacció en grup", "preparació i organització", "retroalimentació als estudiants" [8].
La informació obtinguda de SET pot proporcionar informació útil, com ara si cal ajustar els materials docents o els mètodes d'ensenyament utilitzats en un curs concret. SET també s'utilitza per prendre decisions importants relacionades amb el desenvolupament professional del professorat [4,5,6]. Tanmateix, la idoneïtat d'aquest enfocament és qüestionable quan les institucions d'educació superior prenen decisions sobre el professorat, com ara la promoció a rangs acadèmics superiors (sovint associada amb antiguitat i augments salarials) i càrrecs administratius clau dins de la institució [4, 9]. A més, les institucions sovint exigeixen que el professorat nou inclogui SET d'institucions anteriors en les seves sol·licituds per a nous càrrecs, influint així no només en les promocions del professorat dins de la institució, sinó també en els possibles nous ocupadors [10].
Tot i que la literatura sobre el currículum i l'avaluació del professorat està ben establerta en el camp de l'educació superior general, aquest no és el cas en el camp de la medicina i l'atenció sanitària [11]. El currículum i les necessitats dels educadors mèdics difereixen dels de l'educació superior general. Per exemple, l'aprenentatge en equip s'utilitza sovint en cursos integrats d'educació mèdica. Això significa que el currículum de la facultat de medicina consta d'una sèrie de cursos impartits per diversos membres del professorat que tenen formació i experiència en diverses disciplines mèdiques. Tot i que els estudiants es beneficien del coneixement profund d'experts en el camp sota aquesta estructura, sovint s'enfronten al repte d'adaptar-se als diferents estils d'ensenyament de cada professor [1, 12, 13, 14].
Tot i que hi ha diferències entre l'educació superior general i l'educació mèdica, el mètode SET utilitzat en el primer també s'utilitza de vegades en cursos de medicina i atenció sanitària. Tanmateix, la implementació del mètode SET en l'educació superior general planteja molts reptes pel que fa al currículum i l'avaluació del professorat en programes professionals de la salut [11]. En particular, a causa de les diferències en els mètodes d'ensenyament i les qualificacions dels professors, els resultats de l'avaluació del curs poden no incloure les opinions dels estudiants sobre tots els professors o classes. La investigació d'Uytenhaage i O'Neill (2015) [5] suggereix que demanar als estudiants que qualifiquen tots els professors individuals al final d'un curs pot ser inadequat, ja que és gairebé impossible que els estudiants recordin i comentin diverses categories de qualificació dels professors. A més, molts professors d'educació mèdica també són metges per als quals l'ensenyament només és una petita part de les seves responsabilitats [15, 16]. Com que estan involucrats principalment en l'atenció al pacient i, en molts casos, en la recerca, sovint tenen poc temps per desenvolupar les seves habilitats docents. Tanmateix, els metges com a professors haurien de rebre temps, suport i comentaris constructius de les seves organitzacions [16].
Els estudiants de medicina solen ser persones molt motivades i treballadores que aconsegueixen l'admissió a la facultat de medicina (mitjançant un procés competitiu i exigent a nivell internacional). A més, durant la facultat de medicina, s'espera que els estudiants de medicina adquireixin una gran quantitat de coneixements i desenvolupin un gran nombre d'habilitats en un curt període de temps, així com que tinguin èxit en avaluacions nacionals internes i completes complexes [17,18,19,20]. Així, a causa dels alts estàndards que s'esperen dels estudiants de medicina, els estudiants de medicina poden ser més crítics i tenir expectatives més altes pel que fa a l'ensenyament d'alta qualitat que els estudiants d'altres disciplines. Per tant, els estudiants de medicina poden tenir valoracions més baixes dels seus professors en comparació amb els estudiants d'altres disciplines pels motius esmentats anteriorment. Curiosament, estudis anteriors han demostrat una relació positiva entre la motivació dels estudiants i les avaluacions individuals dels professors [21]. A més, durant els darrers 20 anys, la majoria dels currículums de les facultats de medicina d'arreu del món s'han integrat verticalment [22], de manera que els estudiants estan exposats a la pràctica clínica des dels primers anys del seu programa. Així, durant els darrers anys, els metges s'han involucrat cada cop més en l'educació dels estudiants de medicina, recolzant, fins i tot al principi dels seus programes, la importància de desenvolupar SET adaptats a poblacions de professorat específiques [22].
A causa de la naturalesa específica de l'educació mèdica esmentada anteriorment, els models SET utilitzats per avaluar cursos generals d'educació superior impartits per un sol membre del professorat s'haurien d'adaptar per avaluar el currículum integrat i el professorat clínic dels programes de medicina [14]. Per tant, cal desenvolupar models SET més eficaços i sistemes d'avaluació integrals per a una aplicació més efectiva en l'educació mèdica.
La revisió actual descriu els avenços recents en l'ús de les eines SET en l'educació superior (general) i les seves limitacions, i després descriu les diverses necessitats de les SET per als cursos i el professorat d'educació mèdica. Aquesta revisió proporciona una actualització sobre com es pot millorar les SET a nivell instrumental, administratiu i interpretatiu, i se centra en els objectius de desenvolupar models SET eficaços i sistemes d'avaluació integrals que mesurin eficaçment l'eficàcia docent, donin suport al desenvolupament d'educadors professionals de la salut i millorin la qualitat de l'ensenyament en l'educació mèdica.
Aquest estudi segueix l'estudi de Green et al. (2006) [23] per a consells i Baumeister (2013) [24] per a consells sobre com escriure revisions narratives. Vam decidir escriure una revisió narrativa sobre aquest tema perquè aquest tipus de revisió ajuda a presentar una perspectiva àmplia sobre el tema. A més, com que les revisions narratives es basen en estudis metodològicament diversos, ajuden a respondre preguntes més àmplies. A més, el comentari narratiu pot ajudar a estimular el pensament i el debat sobre un tema.
Com s'utilitza el SET en l'educació mèdica i quins són els reptes en comparació amb el SET utilitzat en l'educació superior general,
Es van cercar a les bases de dades PubMed i ERIC utilitzant una combinació dels termes de cerca "avaluació docent de l'alumnat", "efectivitat docent", "educació mèdica", "educació superior", "avaluació curricular i docent" i, per a la Peer Review 2000, operadors lògics. Articles publicats entre el 2021 i el 2021. Criteris d'inclusió: Els estudis inclosos eren estudis originals o articles de revisió, i els estudis eren rellevants per a les àrees de les tres preguntes de recerca principals. Criteris d'exclusió: Els estudis que no eren en anglès o els estudis en què no es van poder trobar articles de text complet o no eren rellevants per a les tres preguntes de recerca principals es van excloure del document de revisió actual. Després de seleccionar les publicacions, es van organitzar en els temes i subtemes associats següents: (a) L'ús de SET en l'educació superior general i les seves limitacions, (b) L'ús de SET en l'educació mèdica i la seva rellevància per abordar qüestions relacionades amb la comparació de SET (c) Millorar SET a nivell instrumental, de gestió i interpretatiu per desenvolupar models SET eficaços.
La figura 1 proporciona un diagrama de flux dels articles seleccionats inclosos i discutits en la part actual de la revisió.
El mètode SET s'ha utilitzat tradicionalment en l'educació superior i el tema ha estat ben estudiat a la literatura [10, 21]. Tanmateix, un gran nombre d'estudis han examinat les seves nombroses limitacions i els esforços per abordar-les.
La recerca mostra que hi ha moltes variables que influeixen en les puntuacions SET [10, 21, 25, 26]. Per tant, és important que els administradors i els professors comprenguin aquestes variables a l'hora d'interpretar i utilitzar dades. La següent secció ofereix una breu descripció general d'aquestes variables. La figura 2 mostra alguns dels factors que influeixen en les puntuacions SET, que es detallen a les seccions següents.
En els darrers anys, l'ús de kits en línia ha augmentat en comparació amb els kits en paper. Tanmateix, l'evidència a la literatura suggereix que el SET en línia es pot completar sense que els estudiants dediquin l'atenció necessària al procés de finalització. En un estudi interessant d'Uitdehaage i O'Neill [5], es van afegir professors inexistents al SET i molts estudiants van proporcionar comentaris [5]. A més, l'evidència a la literatura suggereix que els estudiants sovint creuen que la finalització del SET no condueix a una millora del rendiment educatiu, cosa que, quan es combina amb l'agenda atapeïda dels estudiants de medicina, pot resultar en taxes de resposta més baixes [27]. Tot i que la investigació mostra que les opinions dels estudiants que fan la prova no són diferents de les de tot el grup, les baixes taxes de resposta encara poden fer que els professors es prenguin els resultats menys seriosament [28].
La majoria dels SET en línia es completen de manera anònima. La idea és permetre als estudiants expressar les seves opinions lliurement sense assumir que la seva expressió tindrà cap impacte en les seves futures relacions amb els professors. En l'estudi d'Alfonso et al. [29], els investigadors van utilitzar qualificacions anònimes i qualificacions en què els avaluadors havien de donar els seus noms (qualificacions públiques) per avaluar l'eficàcia docent del professorat de les facultats de medicina per part de residents i estudiants de medicina. Els resultats van mostrar que els professors generalment van obtenir puntuacions més baixes en les avaluacions anònimes. Els autors argumenten que els estudiants són més honestos en les avaluacions anònimes a causa de certes barreres en les avaluacions obertes, com ara les relacions de treball danyades amb els professors participants [29]. Tanmateix, també cal tenir en compte que l'anonimat sovint associat als SET en línia pot portar alguns estudiants a ser irrespectuosos i prendre represàlies envers l'instructor si les puntuacions de les avaluacions no compleixen les expectatives dels estudiants [30]. Tanmateix, la investigació mostra que els estudiants poques vegades proporcionen comentaris irrespectuosos, i aquests últims es poden limitar encara més ensenyant als estudiants a proporcionar comentaris constructius [30].
Diversos estudis han demostrat que hi ha una correlació entre les puntuacions SET dels estudiants, les seves expectatives de rendiment a les proves i la seva satisfacció amb les proves [10, 21]. Per exemple, Strobe (2020) [9] va informar que els estudiants recompensen els cursos fàcils i els professors recompensen les notes fluixes, cosa que pot fomentar un ensenyament deficient i conduir a la inflació de notes [9]. En un estudi recent, Looi et al. (2020) [31], els investigadors han informat que els SET més favorables estan relacionats i són més fàcils d'avaluar. A més, hi ha proves preocupants que els SET estan inversament relacionats amb el rendiment dels estudiants en cursos posteriors: com més alta sigui la qualificació, pitjor rendiment dels estudiants en cursos posteriors. Cornell et al. (2016) [32] van dur a terme un estudi per examinar si els estudiants universitaris aprenien relativament més dels professors els SET dels quals valoraven altament. Els resultats mostren que quan l'aprenentatge s'avalua al final d'un curs, els professors amb les qualificacions més altes també contribueixen a l'aprenentatge de la majoria dels estudiants. Tanmateix, quan l'aprenentatge es mesura pel rendiment en cursos rellevants posteriors, els professors que obtenen puntuacions relativament baixes són els més eficaços. Els investigadors van plantejar la hipòtesi que fer que un curs sigui més exigent d'una manera productiva podria reduir les qualificacions però millorar l'aprenentatge. Per tant, les avaluacions dels estudiants no haurien de ser l'única base per avaluar l'ensenyament, sinó que haurien de ser reconegudes.
Diversos estudis mostren que el rendiment de les assignatures SET està influenciat pel curs en si i la seva organització. Ming i Baozhi [33] van trobar en el seu estudi que hi havia diferències significatives en les puntuacions SET entre els estudiants de diferents assignatures. Per exemple, les ciències clíniques tenen puntuacions SET més altes que les ciències bàsiques. Els autors van explicar que això es deu al fet que els estudiants de medicina estan interessats a convertir-se en metges i, per tant, tenen un interès personal i una motivació més alta per participar més en cursos de ciències clíniques en comparació amb els cursos de ciències bàsiques [33]. Com en el cas de les optatives, la motivació dels estudiants per l'assignatura també té un efecte positiu en les puntuacions [21]. Diversos altres estudis també donen suport a que el tipus de curs pot influir en les puntuacions SET [10, 21].
A més, altres estudis han demostrat que com més petita és la mida de la classe, més alt és el nivell de SET assolit pels professors [10, 33]. Una possible explicació és que les classes més petites augmenten les oportunitats d'interacció professor-alumne. A més, les condicions en què es realitza l'avaluació poden influir en els resultats. Per exemple, les puntuacions de SET semblen estar influenciades per l'hora i el dia que s'imparteix el curs, així com pel dia de la setmana en què es completa el SET (per exemple, les avaluacions realitzades els caps de setmana tendeixen a donar lloc a puntuacions més positives) que les avaluacions realitzades a principis de setmana. [10]
Un estudi interessant de Hessler et al. també qüestiona l'efectivitat del SET. [34]. En aquest estudi, es va dur a terme un assaig controlat aleatori en un curs de medicina d'emergències. Els estudiants de medicina de tercer any van ser assignats aleatòriament a un grup de control o a un grup que va rebre galetes amb trossets de xocolata gratuïtes (grup de galetes). Tots els grups van ser impartits pels mateixos professors, i el contingut de la formació i els materials del curs van ser idèntics per a tots dos grups. Després del curs, es va demanar a tots els estudiants que completessin un conjunt. Els resultats van mostrar que el grup de galetes va qualificar els professors significativament millor que el grup de control, cosa que posa en dubte l'efectivitat del SET [34].
L'evidència a la literatura també dóna suport a que el gènere pot influir en les puntuacions SET [35,36,37,38,39,40,41,42,43,44,45,46]. Per exemple, alguns estudis han demostrat una relació entre el gènere dels estudiants i els resultats de les avaluacions: les estudiants van obtenir puntuacions més altes que els estudiants [27]. La majoria de les proves confirmen que els estudiants puntuen les professores més baix que els professors [37, 38, 39, 40]. Per exemple, Boring et al. [38] van mostrar que tant els estudiants com les estudiants creien que els homes tenien més coneixements i habilitats de lideratge més fortes que les dones. El fet que el gènere i els estereotips influeixin en SET també està recolzat per l'estudi de MacNell et al. [41], que va informar que els estudiants del seu estudi van qualificar les professores més baix que els professors en diversos aspectes de l'ensenyament [41]. A més, Morgan et al. [42] van proporcionar proves que les metgesses rebien puntuacions docents més baixes en quatre rotacions clíniques principals (cirurgia, pediatria, obstetrícia i ginecologia, i medicina interna) en comparació amb els metges.
En l'estudi de Murray et al. (2020) [43], els investigadors van informar que l'atractiu del professorat i l'interès dels estudiants pel curs s'associaven amb puntuacions SET més altes. Per contra, la dificultat del curs s'associa amb puntuacions SET més baixes. A més, els estudiants van donar puntuacions SET més altes als professors d'humanitats joves, blancs i al professorat amb càtedra titular. No hi va haver correlacions entre les avaluacions docents de SET i els resultats de les enquestes als professors. Altres estudis també confirmen l'impacte positiu de l'atractiu físic dels professors en els resultats de les avaluacions [44].
Clayson et al. (2017) [45] van informar que, tot i que hi ha un acord general que el SET produeix resultats fiables i que les mitjanes de la classe i del professorat són consistents, encara hi ha inconsistències en les respostes individuals dels estudiants. En resum, els resultats d'aquest informe d'avaluació indiquen que els estudiants no estaven d'acord amb el que se'ls va demanar que avaluessin. Les mesures de fiabilitat derivades de les avaluacions dels estudiants de l'ensenyament són insuficients per proporcionar una base per establir la validesa. Per tant, el SET de vegades pot proporcionar informació sobre els estudiants en lloc del professorat.
Els programes SET d'educació sanitària difereixen dels SET tradicionals, però els educadors sovint utilitzen els SET disponibles en l'educació superior general en lloc dels SET específics per a programes de professions sanitàries que es presenten a la literatura. Tanmateix, els estudis realitzats al llarg dels anys han identificat diversos problemes.
Jones et al. (1994). [46] van dur a terme un estudi per determinar la qüestió de com avaluar el professorat de les facultats de medicina des de la perspectiva del professorat i els administradors. En general, els problemes esmentats amb més freqüència estaven relacionats amb l'avaluació docent. Les més comunes van ser les queixes generals sobre la insuficiència dels mètodes actuals d'avaluació del rendiment, i els enquestats també van fer queixes específiques sobre SET i la manca de reconeixement de la docència en els sistemes de recompensa acadèmica. Altres problemes reportats van incloure procediments d'avaluació i criteris de promoció inconsistents entre departaments, la manca d'avaluacions regulars i la manca de vinculació dels resultats de l'avaluació amb els salaris.
Royal et al. (2018) [11] descriuen algunes de les limitacions de l'ús de SET per avaluar el currículum i el professorat en programes de professionals de la salut en l'educació superior general. Els investigadors informen que SET en l'educació superior s'enfronta a diversos reptes perquè no es pot aplicar directament al disseny del currículum i a la docència dels cursos a les facultats de medicina. Les preguntes freqüents, incloses les preguntes sobre l'instructor i el curs, sovint es combinen en un sol qüestionari, de manera que els estudiants sovint tenen problemes per distingir-les. A més, els cursos dels programes de medicina sovint són impartits per diversos membres del professorat. Això planteja qüestions de validesa, donat el nombre potencialment limitat d'interaccions entre estudiants i professors avaluades per Royal et al. (2018) [11]. En un estudi de Hwang et al. (2017) [14], els investigadors van examinar el concepte de com les avaluacions retrospectives dels cursos reflecteixen de manera integral les percepcions dels estudiants sobre els cursos de diversos instructors. Els seus resultats suggereixen que l'avaluació individualitzada de classe és necessària per gestionar cursos multidepartamentals dins d'un currículum integrat de la facultat de medicina.
Uitdehaage i O'Neill (2015) [5] van examinar fins a quin punt els estudiants de medicina van fer deliberadament SET en un curs presencial amb diversos professors. Cadascun dels dos cursos preclínics presentava un instructor fictici. Els estudiants han de proporcionar qualificacions anònimes a tots els instructors (inclosos els instructors ficticis) en un termini de dues setmanes després de completar el curs, però poden negar-se a avaluar l'instructor. L'any següent va tornar a passar, però es va incloure el retrat del professor fictici. El seixanta-sis per cent dels estudiants van qualificar l'instructor virtual sense similitud, però menys estudiants (49%) van qualificar l'instructor virtual amb similitud present. Aquestes troballes suggereixen que molts estudiants de medicina completen els SET a cegues, fins i tot quan van acompanyats de fotografies, sense tenir en compte acuradament a qui estan avaluant, i molt menys el rendiment de l'instructor. Això dificulta la millora de la qualitat del programa i pot ser perjudicial per al progrés acadèmic dels professors. Els investigadors proposen un marc que ofereix un enfocament radicalment diferent dels SET que involucra activament els estudiants.
Hi ha moltes altres diferències en el currículum educatiu dels programes de medicina en comparació amb altres programes generals d'educació superior [11]. L'educació mèdica, com l'educació professional per a la salut, se centra clarament en el desenvolupament de rols professionals clarament definits (pràctica clínica). Com a resultat, els currículums dels programes mèdics i de salut es tornen més estàtics, amb opcions de cursos i professorat limitades. Curiosament, els cursos d'educació mèdica sovint s'ofereixen en format de cohort, amb tots els estudiants fent el mateix curs al mateix temps cada semestre. Per tant, matricular un gran nombre d'estudiants (normalment n = 100 o més) pot afectar el format d'ensenyament, així com la relació professor-estudiant. A més, en moltes facultats de medicina, les propietats psicomètriques de la majoria dels instruments no s'avaluen en el moment de l'ús inicial, i les propietats de la majoria dels instruments poden romandre desconegudes [11].
Diversos estudis dels darrers anys han proporcionat proves que es pot millorar el model SET abordant alguns factors importants que poden influir en l'eficàcia del model SET a nivell instrumental, administratiu i interpretatiu. La figura 3 mostra alguns dels passos que es poden utilitzar per crear un model SET eficaç. Les seccions següents proporcionen una descripció més detallada.
Millorar les SET a nivell instrumental, de gestió i interpretatiu per desenvolupar models SET eficaços.
Com s'ha esmentat anteriorment, la literatura confirma que el biaix de gènere pot influir en les avaluacions dels professors [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40] van dur a terme un estudi que examinava si el gènere dels estudiants influïa en les respostes dels estudiants als esforços de mitigació del biaix. En aquest estudi, es va administrar el SET a quatre classes (dues impartides per professors homes i dues impartides per professores dones). Dins de cada curs, els estudiants van ser assignats aleatòriament per rebre una eina d'avaluació estàndard o la mateixa eina però utilitzant un llenguatge dissenyat per reduir el biaix de gènere. L'estudi va trobar que els estudiants que utilitzaven eines d'avaluació antibiaix van donar a les professores puntuacions SET significativament més altes que els estudiants que utilitzaven eines d'avaluació estàndard. A més, no hi va haver diferències en les puntuacions dels professors homes entre els dos grups. Els resultats d'aquest estudi són significatius i demostren com una intervenció lingüística relativament senzilla pot reduir el biaix de gènere en les avaluacions dels estudiants de l'ensenyament. Per tant, és una bona pràctica considerar acuradament tots els SET i utilitzar el llenguatge per reduir el biaix de gènere en el seu desenvolupament [40].
Per obtenir resultats útils de qualsevol qüestionari SET, és important considerar acuradament la finalitat de l'avaluació i la redacció de les preguntes per endavant. Tot i que la majoria d'enquestes SET indiquen clarament una secció sobre aspectes organitzatius del curs, és a dir, "Avaluació del curs", i una secció sobre el professorat, és a dir, "Avaluació del professorat", en algunes enquestes la diferència pot no ser òbvia, o pot haver-hi confusió entre els estudiants sobre com avaluar cadascuna d'aquestes àrees individualment. Per tant, el disseny del qüestionari ha de ser adequat, aclarir les dues parts diferents del qüestionari i fer que els estudiants siguin conscients del que s'ha d'avaluar a cada àrea. A més, es recomana fer proves pilot per determinar si els estudiants interpreten les preguntes de la manera prevista [24]. En un estudi d'Oermann et al. (2018) [26], els investigadors van cercar i sintetitzar literatura que descriu l'ús del SET en una àmplia gamma de disciplines en l'educació de grau i postgrau per proporcionar als educadors orientació sobre l'ús del SET en infermeria i altres programes de professionals de la salut. Els resultats suggereixen que els instruments SET s'haurien d'avaluar abans del seu ús, incloent-hi proves pilot dels instruments amb estudiants que poden no ser capaços d'interpretar els ítems o les preguntes de l'instrument SET tal com preveia l'instructor.
Diversos estudis han examinat si el model de governança SET influeix en la participació dels estudiants.
Daumier et al. (2004) [47] van comparar les valoracions dels estudiants sobre la formació de professors completada a classe amb les valoracions recollides en línia comparant el nombre de respostes i les valoracions. La recerca mostra que les enquestes en línia solen tenir taxes de resposta més baixes que les enquestes presencials. Tanmateix, l'estudi va trobar que les avaluacions en línia no van produir notes mitjanes significativament diferents de les avaluacions tradicionals a l'aula.
Es va informar d'una manca de comunicació bidireccional entre estudiants i professors durant la realització dels SET en línia (però sovint impresos), cosa que va provocar una manca d'oportunitats per a aclarir-los. Per tant, el significat de les preguntes, els comentaris o les avaluacions dels estudiants sobre el SET pot no ser sempre clar [48]. Algunes institucions han abordat aquest problema reunint estudiants durant una hora i assignant un temps específic per completar el SET en línia (de manera anònima) [49]. En el seu estudi, Malone et al. (2018) [49] van celebrar diverses reunions per discutir amb els estudiants l'objectiu del SET, qui veuria els resultats del SET i com s'utilitzarien els resultats, i qualsevol altra qüestió plantejada pels estudiants. El SET es duu a terme de manera molt semblant a un grup focal: el grup col·lectiu respon a preguntes obertes mitjançant votacions informals, debat i aclariments. La taxa de resposta va ser superior al 70-80%, proporcionant als professors, administradors i comitès curriculars informació extensa [49].
Com s'ha esmentat anteriorment, a l'estudi d'Uitdehaage i O'Neill [5], els investigadors van informar que els estudiants del seu estudi van qualificar professors inexistents. Com s'ha esmentat anteriorment, aquest és un problema comú en els cursos de les facultats de medicina, on cada curs pot ser impartit per molts membres del professorat, però els estudiants poden no recordar qui va contribuir a cada curs o què va fer cada membre del professorat. Algunes institucions han abordat aquest problema proporcionant una fotografia de cada professor, el seu nom i el tema/data presentat per refrescar la memòria dels estudiants i evitar problemes que comprometin l'eficàcia de SET [49].
Potser el problema més important associat amb les proves SET és que els professors no són capaços d'interpretar correctament els resultats quantitatius i qualitatius de les proves SET. Alguns professors poden voler fer comparacions estadístiques entre anys, alguns poden veure augments o disminucions menors en les puntuacions mitjanes com a canvis significatius, alguns volen creure totes les enquestes i altres són francament escèptics respecte a qualsevol enquesta [45,50, 51].
Si no s'interpreten correctament els resultats o no es processen els comentaris dels estudiants, les actituds dels professors envers l'ensenyament poden ser afectades. Els resultats de Lutovac et al. (2017) [52] són necessaris i beneficiosos per proporcionar comentaris als estudiants. L'educació mèdica necessita urgentment formació en la interpretació correcta dels resultats dels SET. Per tant, el professorat de les facultats de medicina hauria de rebre formació sobre com avaluar els resultats i les àrees importants en què s'haurien de centrar [50, 51].
Per tant, els resultats descrits suggereixen que els SET s'han de dissenyar, administrar i interpretar acuradament per garantir que els resultats dels SET tinguin un impacte significatiu en totes les parts interessades, inclosos el professorat, els administradors de les facultats de medicina i els estudiants.
A causa d'algunes de les limitacions del mètode SET, hauríem de continuar esforçant-nos per crear un sistema d'avaluació integral per reduir el biaix en l'eficàcia docent i donar suport al desenvolupament professional dels educadors mèdics.
Es pot obtenir una comprensió més completa de la qualitat de la docència del professorat clínic mitjançant la recopilació i triangulació de dades de múltiples fonts, inclosos estudiants, col·legues, administradors de programes i autoavaluacions del professorat [53, 54, 55, 56, 57]. Les seccions següents descriuen altres possibles eines/mètodes que es poden utilitzar a més de les SET efectives per ajudar a desenvolupar una comprensió més adequada i completa de l'eficàcia de la formació (Figura 4).
Mètodes que es poden utilitzar per desenvolupar un model complet d'un sistema per avaluar l'eficàcia de la docència en una facultat de medicina.
Un grup focal es defineix com "una discussió en grup organitzada per explorar un conjunt específic de temes" [58]. Durant els darrers anys, les facultats de medicina han creat grups focals per obtenir comentaris de qualitat dels estudiants i abordar alguns dels inconvenients de les pràctiques SET en línia. Aquests estudis mostren que els grups focals són eficaços per proporcionar comentaris de qualitat i augmentar la satisfacció dels estudiants [59, 60, 61].
En un estudi de Brundle et al. [59], els investigadors van implementar un procés d'avaluació grupal d'estudiants que permetia als directors de curs i als estudiants discutir els cursos en grups focals. Els resultats indiquen que les discussions en grups focals complementen les avaluacions en línia i augmenten la satisfacció dels estudiants amb el procés general d'avaluació del curs. Els estudiants valoren l'oportunitat de comunicar-se directament amb els directors de curs i creuen que aquest procés pot contribuir a la millora educativa. També van sentir que eren capaços d'entendre el punt de vista del director del curs. A més dels estudiants, els directors de curs també van valorar que els grups focals facilitaven una comunicació més eficaç amb els estudiants [59]. Per tant, l'ús de grups focals pot proporcionar a les facultats de medicina una comprensió més completa de la qualitat de cada curs i l'eficàcia docent del professorat respectiu. Tanmateix, cal tenir en compte que els propis grups focals tenen algunes limitacions, com ara que només hi participa un petit nombre d'estudiants en comparació amb el programa SET en línia, que està disponible per a tots els estudiants. A més, la realització de grups focals per a diversos cursos pot ser un procés que requereix molt de temps per als assessors i els estudiants. Això planteja limitacions significatives, especialment per als estudiants de medicina que tenen horaris molt ocupats i poden realitzar pràctiques clíniques en diferents ubicacions geogràfiques. A més, els grups focals requereixen un gran nombre de facilitadors experimentats. Tanmateix, la incorporació de grups focals al procés d'avaluació pot proporcionar informació més detallada i específica sobre l'eficàcia de la formació [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] van examinar les percepcions dels estudiants i del professorat sobre una nova eina per avaluar el rendiment del professorat i els resultats de l'aprenentatge dels estudiants en dues facultats de medicina alemanyes. Es van dur a terme debats en grups focals i entrevistes individuals amb professorat i estudiants de medicina. Els professors van agrair els comentaris personals proporcionats per l'eina d'avaluació, i els estudiants van informar que s'hauria de crear un bucle de retroalimentació, que inclogués objectius i conseqüències, per fomentar la presentació de dades d'avaluació. Per tant, els resultats d'aquest estudi donen suport a la importància de tancar el bucle de comunicació amb els estudiants i informar-los dels resultats de l'avaluació.
Els programes de revisió entre iguals de la docència (PRT) són molt importants i s'han implementat a l'educació superior durant molts anys. La PRT implica un procés col·laboratiu d'observació de la docència i de retroalimentació a l'observador per millorar l'eficàcia docent [63]. A més, els exercicis d'autoreflexió, les discussions de seguiment estructurades i l'assignació sistemàtica de col·legues formats poden ajudar a millorar l'eficàcia de la PRT i la cultura docent del departament [64]. Es diu que aquests programes tenen molts beneficis, ja que poden ajudar els professors a rebre comentaris constructius de professors iguals que poden haver afrontat dificultats similars en el passat i poden proporcionar un major suport proporcionant suggeriments útils per a la millora [63]. A més, quan s'utilitza de manera constructiva, la revisió entre iguals pot millorar el contingut del curs i els mètodes d'impartició, i ajudar els educadors mèdics a millorar la qualitat de la seva docència [65, 66].
Un estudi recent de Campbell et al. (2019) [67] proporciona proves que el model de suport entre iguals al lloc de treball és una estratègia de desenvolupament docent acceptable i eficaç per als educadors de salut clínica. En un altre estudi, Caygill et al. [68] van dur a terme un estudi en què es va enviar un qüestionari especialment dissenyat als educadors de salut de la Universitat de Melbourne per permetre'ls compartir les seves experiències en l'ús de la revisió per parells. Els resultats indiquen que hi ha un interès reprimit en la revisió per parells entre els educadors mèdics i que el format de revisió per parells voluntari i informatiu es considera una oportunitat important i valuosa per al desenvolupament professional.
Val la pena assenyalar que els programes de PRT s'han de dissenyar acuradament per evitar crear un entorn crític i "directiu" que sovint condueix a una major ansietat entre els professors observats [69]. Per tant, l'objectiu hauria de ser desenvolupar acuradament plans de PRT que complementin i facilitin la creació d'un entorn segur i proporcionin comentaris constructius. Per tant, es necessita una formació especial per formar els revisors, i els programes de PRT només haurien d'involucrar professors realment interessats i experimentats. Això és especialment important si la informació obtinguda del PRT s'utilitza en decisions del professorat com ara ascensos a nivells superiors, augments salarials i ascensos a càrrecs administratius importants. Cal tenir en compte que el PRT requereix molt de temps i, com els grups focals, requereix la participació d'un gran nombre de membres del professorat experimentats, cosa que dificulta la implementació d'aquest enfocament en facultats de medicina amb pocs recursos.
Newman et al. (2019) [70] descriuen estratègies utilitzades abans, durant i després de la formació, observacions que destaquen les millors pràctiques i identifiquen solucions als problemes d'aprenentatge. Els investigadors van proporcionar 12 suggeriments als revisors, incloent-hi: (1) triar les paraules amb prudència; (2) permetre que l'observador determini la direcció de la discussió; (3) mantenir la confidencialitat i el format dels comentaris; (4) mantenir la confidencialitat i el format dels comentaris; els comentaris se centren en les habilitats docents en lloc del professor individual; (5) Conèixer els companys (6) Sigues considerat amb tu mateix i amb els altres (7) Recorda que els pronoms tenen un paper important a l'hora de proporcionar comentaris, (8) Utilitza preguntes per aclarir la perspectiva docent, (10) Establir processos de confiança i comentaris en les observacions entre iguals, (11) Fer que l'observació de l'aprenentatge sigui un benefici per a tothom, (12) crear un pla d'acció. Els investigadors també estan explorant l'impacte del biaix en les observacions i com el procés d'aprenentatge, observació i discussió dels comentaris pot proporcionar experiències d'aprenentatge valuoses per a ambdues parts, donant lloc a associacions a llarg termini i a una millora de la qualitat educativa. Gomaly et al. (2014) [71] va informar que la qualitat d'un feedback eficaç hauria d'incloure (1) aclariment de la tasca proporcionant instruccions, (2) una major motivació per fomentar un major esforç i (3) la percepció del receptor com un procés valuós, proporcionat per una font fiable.
Tot i que el professorat de la facultat de medicina rep comentaris sobre el PRT, és important formar-lo sobre com interpretar els comentaris (de manera similar a la recomanació de rebre formació en la interpretació de les proves SET) i donar al professorat temps suficient per reflexionar constructivament sobre els comentaris rebuts.
Data de publicació: 24 de novembre de 2023