Docimologia

La docimologia (dal greco δοκιμ(άζω) "esaminare", attraverso il francese docimologie) è un ramo della didattica, introdotto dallo psicologo L.C.H. Piéron (1881-1964), che si occupa dello studio dei metodi e dei sistemi di valutazione delle prove di verifica, al fine di elaborare tecniche di esame e di valutazione degli allievi o dei candidati a un concorso.

Il fine della docimologia è quello di dare indicazioni su come trovare parametri validi e affidabili per l'attribuzione di punteggi nelle prove, solitamente in rapporto a 4 fattori, per esempio tempo di esposizione dei concetti esposti in rapporto a tempi assegnati.

La docimologia si pone come obiettivo quello di trovare metodi di valutazione oggettivi, tramite varie tipologie di prove, come test, prove strutturate. Le istituzioni dell'educazione formale devono tener conto dei principi della docimologia nella stesura del progetto educativo.

Scopi della valutazione

Conviene in primo luogo porsi la domanda del perché della valutazione.

La valutazione è un modo di seguire i progressi rispetto ad una formazione degli obiettivi da raggiungere. Alcuni di questi, per esempio in didattica sono:

1. capacità di trasmissione del sapere (conoscenza)
2. capacità di azione (pratica)
3. capacità d'interazione o saper essere (atteggiamenti).

La valutazione permette dunque di collocare coloro che apprendono in corrispondenza ad un livello, su una scala ordinata di obiettivi. Ciò permette da un lato di far prendere coscienza agli studenti dei progressi conseguiti e del livello di competenza maturato, dall'altro permette al docente di mettersi in discussione e di adattare la formazione in termini di forma e contenuto alle mutate condizioni del discente.

La valutazione è quindi un mezzo per certificare che gli obiettivi formativi sono stati raggiunti. Ciò prende in generale la forma di un diploma, che può essere riconosciuto da altri organismi e dunque dare accesso ad un impiego od una funzione pubblica che richiede un livello di formazione più elevato.

La valutazione è, secondo alcuni, anche uno strumento pedagogico (valutazione formativa), in quanto può contribuire alla realizzazione dei progressi dello studente; è certamente uno strumento di selezione (valutazione certificativa) nel sistema scolastico statale.

Sono tuttavia presenti alcune teorie pedagogiche che hanno sfumature e connotazioni differenti, come ad esempio la metodologia steineriana od alcuni progetti formativi degli anni sessanta.

Tipi di valutazione

La valutazione ricopre molte funzioni all'interno dell'iter formativo perciò bisogna tenere conto di tre aspetti fondamentali:

• obiettivo di apprendimento: chiarisce con esattezza che cosa si vuole sottoporre a verifica;
• validità: bisogna accertarsi che le prove somministrate siano in linea con gli obiettivi di apprendimento prefissi;
• attendibilità: bisogna assicurarsi che i risultati ottenuti siano gli stessi che otterrebbero altri valutatori, in altre condizioni.

La valutazione orienta le scelte didattiche per cui bisogna disporre di informazioni quanto più analitiche per avere successo nel processo di insegnamento-apprendimento. C'è dunque bisogno di servirsi di strumenti validi e attendibili, per avere informazioni diversificate a seconda del momento del percorso didattico.

Si possono diversificare dunque diversi tipi di valutazione:

• valutazione iniziale: è orientata ad avere informazioni sulle conoscenze in entrata dell'allievo prima di un intervento didattico per assicurarsi che abbia, o non abbia, gli strumenti utili indispensabili per le attività che seguiranno;
• valutazione formativa o intermedia: ha lo scopo di far emergere le eventuali difficoltà che un allievo può incontrare nel corso dell'attività didattica; in questo caso si può procedere ad un percorso per compensare tale/i difficoltà e consentire, in itinere, un miglioramento dell'apprendimento;
• valutazione finale o sommativa: è orientata a “tirare le somme” di quello che si è appreso nel corso dell'intervento didattico;
• valutazione predittiva: si usa quest'espressione per riferirsi a quel tipo di valutazione in grado di predire, appunto, il risultato che un alunno perseguirà in un determinato iter scolastico, come ad esempio nel caso degli esami di terza media.

Che cosa si valuta?

La complessità della valutazione è sapere ciò che si valuta esattamente. Così, durante un esame, non si valutano solamente le conoscenze, ma anche la gestione della tensione nervosa (stress), la strategia (impasses, corsa ai punti), l'ingegnosità (imbrogliare senza farsi prendere), la fortuna. Al contrario, la valutazione continua permette di seguire di giorno in giorno il progresso delle conoscenze, ma è poco propizia alla sintesi e alla memoria a lungo termine (la parte valutata è ristretta e recente).

In un questionario a scelte multiple, si valuta la capacità di tirare ad indovinare, di ricordare attraverso un supporto. Con una composizione (redazione, dissertazione), si valutano le conoscenze, ma anche la capacità di analisi, di sintesi, l'espressione scritta. In un esame orale si valuta inoltre l'espressione orale. In un gioco di ruolo, si può valutare la gestione della tensione nervosa, la reattività, la capacità d'adattamento.

In una valutazione collettiva (valutazione per progetto), si valuta in particolare il saper fare, la capacità di lavoro di squadra.

Nel momento in cui si concorre ad una valutazione, bisogna in primo luogo sapere quali sono gli obiettivi della formazione, in modo da poter determinare quali saranno valutati. Inoltre occorre porsi la domanda dell'adeguatezza tra il metodo di valutazione e gli obiettivi della formazione.

Rischi di una valutazione non adatta

Una valutazione inadatta è una valutazione che non risponde alla domanda posta, vale a dire che non valuta, o valuta male, gli studenti rispetto agli obiettivi della formazione.

Ciò può inizialmente sfociare in un problema di selezione: si rischia di selezionare un candidato non corrispondente al profilo (cattiva selettività) ed eliminare al contrario un candidato interessante (cattiva sensibilità).

Ciò può essere anche un fattore di demotivazione per lo studente.

La valutazione autentica nell'ambito della formazione professionale e tecnica nel Québec

Da alcuni anni si assiste ad un crescente interesse per la valutazione autentica nel mondo della Misura e Valutazione. Nella letteratura specialistica americana, tale approccio si ritrova sotto le rubriche Authentic Assessment o Valutazione e Performance Based Assessment. Nel quadro di questo breve lavoro, cercheremo di definire cosa si intende con Valutazione Autentica. Faremo alcuni esempi di applicazioni nella formazione generale e nella formazione specialistica. Solleveremo alcuni problemi associati a tale metodo di valutazione. Infine, illustreremo grazie ad alcuni casi come la Direzione generale della formazione professionale e tecnica utilizza la valutazione pratica per certificare la competenza dei suoi studenti. Tali valutazioni pratiche si avvicinano molto alla valutazione autentica precognizzata da Grant Wiggins.

Definizione del concetto

Secondo Grant Wiggins, ricercatore e specialista di riforme scolastiche:

«La docimologia è autentica quando esaminiamo direttamente la prestazione degli studenti su specifici compiti intellettuali. La docimologia tradizionale, per contrasto, si affida a elementi indiretti - efficienti, semplicistici sostituti da cui pensiamo di poter fare valide inferenze sulle prestazioni dello studente nelle prove valutate.»

Secondo lui, lo studente può dimostrare attraverso la valutazione autentica la sua maestria nelle competenze utilizzandole in un quadro il più reale possibile. Gli esami tradizionali sono solo mezzi per mostrare che lo studente ricorda degli elementi di informazione o che può applicare meccanicamente delle tecniche.

La validità del test varia a seconda se il test simula prove di abilità del mondo reale o meno. La validità della maggior parte dei test a scelta multipla è determinata semplicemente abbinando elementi al contenuto del curriculum. (Wiggins2, pagina 1).

Secondo Janine Huot: Un compito basato sulla performance consiste in un'attività che richiede la dimostrazione per gli studenti delle loro attitudini a integrare e utilizzare il loro sapere, saper fare e giudizio in un contesto autentico. Un tale compito possiede una o più caratteristiche seguenti:

• esige l'uso di conoscenze e di abilità in un contesto che rappresenta delle situazioni o problemi reali:
• permette di scoprire i passi utilizzati dagli studenti per affrontare una situazione data, piuttosto che limitarsi al risultato finale:
• fa appello a molti risultati d'apprendimento o competenze;
• esige l'uso di attitudini intellettuali complesse;
• permette di osservare le molteplici sfaccettature dell'apprendimento;
• dà agli studenti la scelta del tipo di produzione per esibire ciò che hanno appreso. (Huot2, pagina 3).

Alcuni esempi di applicazioni

Da molto tempo, la valutazione autentica è utilizzata negli ambiti professionali. Si può pensare al diritto e al notariato che venivano insegnati per apprendimento e che erano valutati da un ufficio di esaminatori. Gli eserciti statunitense, britannico e canadese si servono della valutazione autentica nell'attribuzione dei brevetti di ufficiale.

Nei corsi di studio degli aspiranti ufficiali delle Forze armate canadesi, si utilizza la valutazione autentica per verificare le competenze in leadership. Un allievo-ufficiale riceve l'ordine di andare a cercare due ribelli dell'Esercito di liberazione dell'Ontario su una strada situata a più di 15 chilometri dalla base militare. Per farlo, dirige una squadra di 6 soldati. Si mette a sua disposizione un camion con autista e tutto l'equipaggiamento militare necessario. Durante tutta l'operazione, le azioni dell'allievo-ufficiale sono esaminate da un sergente o da un aiutante che le valuta metodicamente. Si studia il modo in cui pianifica l'operazione e il modo di passare gli ordini ai suoi subalterni. Si prepara una valutazione globale di tutta l'operazione. L'osservatore interverrà solo se è in gioco la vita dei partecipanti o se ci sono dei rischi di distruzione di materiale.

Per rendere l'operazione più realistica, i ribelli possono opporre resistenza al loro arresto o un membro della squadra può morire immediatamente. La valutazione dei membri del corpo medico si fa anch'essa attraverso la valutazione autentica. Nel momento in cui l'interrogatorio si trova al capezzale di uno pseudo-paziente e gli pone delle domande, quest'ultimo può morire senza avvertimento. (Swanson, pagina 9). Tale messa in scena può essere realizzata anche con un modello informatico.

Ogni prova è seguita da uno dei briefing con l'aspirante in cui tutta l'operazione sarà passata in rassegna. Tale metodo permette alle autorità militari di fare allo stesso tempo una valutazione formativa delle conoscenze dei candidati. Collegando i rapporti, le autorità producono una valutazione sommativa della performance degli individui.

Tale metodo di valutazione rispetta la validità e la fedeltà. Si può definire la validità di un test o di un esame come la valutazione globale, fondata su delle prove empiriche e su una teoria razionale, in base all'adeguatezza ed alla correttezza delle inferenze e delle azioni stabilite dai punteggi del test. La fedeltà si definisce come la qualità che possiede uno strumento di misurare con la stessa esattezza ogni volta che è amministrato. Il MEQ considera la fedeltà come la qualità di uno strumento di misura i cui risultati restano stabili per gli stessi soggetti che si trovano in condizioni identiche nonostante modalità di somministrazione diverse. (Legendre, pagina 609)

Nel caso dei corsi degli aspiranti ufficiali, la validità della valutazione è assicurata dalla correlazione tra i contenuti del corso dati e le competenze valutate. La fedeltà inter-juge è favorita preparando un corso che tutti i valutatori devono seguire.

Nell'ambito dell'insegnamento nella scuola secondaria, Guillermo Solano-Flores e Richard J. Shavelson portano alcuni esempi d'uso della valutazione autentica. L'esperienza Astronomie diurne consiste nel ricreare con un globo terrestre, una lampada da tasca e una scatola, le ombre create dal sole dall'alba al crepuscolo. (Solano-Flores, pagina 18).

In tal caso, la valutazione di una sola competenza richiede del materiale a volte ingombrante. Una di tali esperienze permette solamente di verificare un solo obiettivo. Si deve così lasciare da parte gli altri obiettivi.

Alcuni problemi associati alla valutazione autentica

Samuel Messick, dell'Educational Testing Service, sostiene che esistono due standard di valutazione quando si tratta di valutare le competenze.

Il primo tipo è lo standard di contenuto che riguarda ciò che lo studente deve conoscere ed essere capace di fare per un soggetto preciso.

L'altro tipo riguarda lo standard di performance che indica il grado di competenza che uno studente deve raggiungere in un dato momento. Per lui, la performance deve riflettere la complessità del costruire e non la complessità della prova. Ciò che si vuole verificare è la capacità dello studente di trasferire in pratica ciò che ha appreso in modo teorico.

Messick vede un conflitto tra il tempo necessario per superare una valutazione autentica e la necessità di valutare tutta la materia appresa. Una prova autentica richiede molto tempo e valuta poche cose. Egli sostiene che questo genere di prova può avere delle conseguenze avverse sullo studente. Costui può non sentirsi a suo agio con la manipolazione degli strumenti maneggiando perfettamente i concetti che deve utilizzare. (Messick, pagina 6)

Solano-Flores solleva qualche problema con la somministrazione di alcuni test. Sottolinea che il montaggio e lo smontaggio dell'equipaggiamento può richiedere così tanto tempo che la somministrazione dei test diventa quasi impossibile. L'utilizzo di materiale che sarà distrutto nel corso della valutazione autentica diventa costoso. Le istituzioni allora possono utilizzare del materiale meno caro ma di qualità inferiore. La cattiva qualità dei materiali introduce allora degli errori di misura e falsa i risultati finali. Sottolinea anche il problema della fedeltà tra i diversi valutatori. Per lui, è molto importante formare i valutatori in modo che generalmente la loro valutazione sia standardizzata. (Solano-Flores, pagina 19).

Per Bert F. Green, della Johns Hopkins University, se le autorità scolastiche vogliono poter comparare i risultati della valutazione autentica da un anno all'altro, occorre assicurarsi che i risultati di performance possano essere comparabili. Dei cambiamenti nell'amministrazione dei test creano delle difficoltà di comparazione. D'altra parte, se di anno in anno, si utilizzano gli stessi test, l'informazione circola tra gli studenti. Gli studenti si preparano allora solo in funzione di una prova specifica. Si assiste allora a una preparazione affrettata all'esame. (Green, pagina 12)

La valutazione nella formazione professionale

Le Guida generale di valutazione per la formazione professionale e tecnica ci indica che tale tipo di formazione au secondaire è basato sulla valutazione della competenza acquisita. Sotto questa luce, due aspetti sono ritenuti importanti: la maestria nel mestiere e la formazione fondamentale.

Per certificare il raggiungimento degli obiettivi, si possono utilizzare uno o più di questi metodi:

• la valutazione di un prodotto, che dà luogo a una prova pratica
• la valutazione di un processo di lavoro, che dà luogo anch'essa a una prova pratica
• la valutazione delle conoscenze pratiche, che dà luogo a una prova teorica.

Si privilegia la valutazione di un prodotto piuttosto che la valutazione di un processo di lavoro in tutti i casi in cui si può confermare per inferenza l'acquisizione della competenza considerata.

L'amministrazione di una prova in vista della valutazione di un prodotto è generalmente meno complessa di quella di una prova in vista della valutazione di un processo di lavoro. In più, la valutazione di un prodotto permette all'esaminatore di osservare più candidati ogni volta.

La formazione professionale del ministero dell'Educazione si fa per programma. Ogni programma contiene un certo numero di moduli che corrispondono ognuno ad una competenza specifica. Il processo di acquisizione delle conoscenze segue un logigramma specifico di ogni programma. Ogni modulo è l'oggetto di una valutazione. Questa può essere locale o essere oggetto di una prova ministeriale. La legge della pubblica Istruzione prevede che il ministro dell'Educazione possa imporre delle prove per tutti i programmi della formazione professionale. Generalmente, un modulo su cinque sarà sottomesso a una prova ministeriale.

Lo scopo della valutazione nella formazione professionale è di certificare che lo studente ha raggiunto le competenze contenute nel modulo. Uno studente che completa un programma specifico dovrebbe possedere le competenze per raggiungere le qualifiche minime d'entrata nel mestiere o nella professione. È certo che non avrà l'abilità che viene con molti anni di pratica di un mestiere.

Poiché si tratta di mestieri professionali, le prove di valutazione devono rapportarsi il più possibile alla realtà del lavoro. Così gli studenti in meccanica procedono a dei cambiamenti del silenziatore su una vettura o alla messa a punto di un motore. Ogni valutazione verterà sia sul processo sia sul prodotto finale, e talvolta i due al medesimo tempo. Se si valuta il lavoro di uno studente in un corso di ausiliario ai malati, gli si farà spostare un malato da una barella ad un letto d'ospedale. In tal caso, il processo è più importante del risultato finale. In altri casi, è il risultato finale, una lettera ben redatta o un motore ben aggiustato che dimostreranno il raggiungimento della competenza.

L'utilizzo di prove pratiche pone alcuni problemi logistici. Il problema dei costi e della fattibilità degli esami si presentano spesso. Nel caso degli esami per il conseguimento dell'autorizzazione all'uso di fitofarmaci, occorrerebbe usare degli antiparassitari e irrorarli in un campo. L'utilizzo delle macchine non è sempre fattibile e l'irrorazione pone dei limiti di impatto ambientale. Allora, una prova carta e penna chiede di determinare le azioni da intraprendere a seconda della situazione data.

Nel quadro del modulo della Confezione di una giacca da donna su misura, i candidati imparano a confezionare una giacca per signora. Gli si insegna a prendere delle misure e poi a modificare un modello esistente conformemente alle specifiche di una cliente prima di confezionare la giacca. Nel quadro di un corso di 90 ore, riescono a realizzare una o due giacche prima di presentarsi alla valutazione finale. Dispongono di 12 ore per realizzare una giacca completa. Al momento della valutazione, gli esaminatori avevano a loro disposizione una cartella di valutazione in cui annotavano la performance in tutte le tappe necessarie al confezionamento. Ogni criterio è valutato in modo dicotomico. Lo studente raggiungeva o no ognuno dei criteri. Alla fine della prova, lo studente deve raggiungere 80 punti su un totale di 100. Si tratta di una valutazione critica con una soglia di passaggio di 80 punti.

Malgrado la migliore preparazione possibile in ciò che concerne la validità e la fedeltà della prova, si è scoperto che occorrono fino a 24 ore per realizzare la prova. Così, molti studenti falliscono. Questi fallimenti non sono necessariamente dovuti a una carenza di competenze degli studenti ma alla mancanza di tempo per svolgere tutte le tappe necessarie alla realizzazione di una giacca. Dopo una consultazione, è stato stabilito di allungare la durata della prova.

Per assicurare una certa fedeltà nella somministrazione delle prove ministeriali, la Direzione generale della formazione professionale e tecnica prepara delle prove. Queste sono redatte da insegnanti in formazione professionale sotto la direzione di un consigliere in valutazione. Dopo la loro redazione, le prove sono sottoposte alla valutazione di un gruppo di insegnanti che ne verifica la validità. In seguito, ci sono delle sessioni di valutazione nelle commissioni scolastiche. C'è dunque un'interazione tra gli esaminatori che faranno passare le prove e coloro che le hanno concepite. Dopo aver fatto passare gli esami ai loro studenti, i professori possono fare una valutazione retroattiva sulle prove. Ciò permette di modificare, chiarificare o cambiare i criteri che stanno alla base dell'esecuzione delle prove.

Conclusione

I metodi di valutazione della formazione professionale del ministero dell'Educazione incontrano gli stessi problemi e le stesse difficoltà di quelli sollevati da Wiggins, Messick e altri. Al momento della redazione delle prove, occorre sempre fare attenzione alla validità del contenuto. Non bisogna che difetti delle prove o delle apparecchiature nuocciano alle possibilità di riuscita degli studenti. Il ministero prova ad assicurare la fedeltà inter-juge imponendo delle prove ministeriali. Il sistema di retroazione permette un riallineamento delle prove in caso di necessità. Tutto sommato, la valutazione basata sulla performance rappresenta un eccellente strumento per determinare se gli studenti possiedono le competenze di ogni modulo.

Bibliografia

• Bert F.Green, A Comparability of Scores from Performance Assessments @, in Educational Measurement: Issues and Practice, Winter 1995.
• Janine Huot, A Learning Outcomes: A Performance Assessment Perspective @, www.collegequrterly.org/CQ.html/HHH.064.CQ.F96.huot.html. (Huot1)
• Janine Huot, A Un aperçu de l'approche pédagogique basée sur la performance @, fox.nstn.ca/huot/formation/edu-perf.html (Huot2)
• Ministère de l'Éducation, Guide général d'évaluation, La formation professionnelle et technique, Québec, 1993.
• Renald Legendre, Dictionnaire actuel de l'éducation, 2e édition, Edition 2000, Guérin, Montréal 1993.
• Robert L. Linn, David B. Swanson and Geoffrey R. Norman, A Performance-Based Assessment: Lessons From the Health Professions @, in Educational Researcher, June/July 1995.
• Robert L. Linn, Eva Baker e Stephen B. Dunbar, A Complex, Performance Based Assessment: Expectations and Validation Criteria @, in Educational Researcher, November 1991.
• Samuel Messick, A Standards of Validity and the Validity of Standards in Performance Assessment @, in Educational Measurement: Issues and Practice, Winter 1995.
• Guilermo Solanor-Flores e Richard J. Shavelson, A Development of Performance Assessment in Science: Conceptual, Practical and Logistical Issues @, Educational Measurement: Issues and Practice, Fall 1997.
• Grant P. Wiggins, Assessing Student Performance: Exploring the Purpose and Limits of Testing, Jossey-Bass Publishers, San Francisco, 1993. (Wiggins1)
• Grant, P. Wiggins, AThe case for authentic Assessment. ERIC Digest@, https://web.archive.org/web/20051217014049/http://ericae.net/db/edo/ED328611.htm (Wiggins2)
• Vertecchi B., Manuale della valutazione, Franco Angeli, Milano, 2003

Voci correlate

• Educazione
• Progetto educativo

Controllo di autorità	Thesaurus BNCF 28824