Pozzi: “Monitorare e valutare significa prendersi cura del progetto: se impostati con un approccio collaborativo, sono processi che non devono spaventare perché aiutano a crescere e vanno a vantaggio di tutti”
Fredde tabelle Excel, ricerca compulsiva di informazioni, inserimento ripetitivo di numeri… Sono forse questi i primi spettri che si agitano nella nostra mente quando pensiamo all’attività di monitoraggio e valutazione di un progetto.
Spesso il processo di raccolta e analisi dei dati viene infatti considerato un semplice adempimento burocratico (nel migliore dei casi) o una perdita di tempo (nel peggiore) rispetto agli interventi “core”, veramente importanti di una qualsiasi iniziativa.
Eppure, termini come impatto sociale, data-driven strategy, Social return of investment sono ormai entrati nel lessico quotidiano e sembrano dominare la scena: attorno a questi concetti vengono costruiti programmi, bandi e intere linee di finanziamento, sia a livello locale che internazionale.
“Una nuova cultura del dato, fondata su una solida comprensione del monitoraggio e della valutazione, può realmente farci fare un salto di qualità nella gestione di un progetto o di un’organizzazione?”
Forse allora è la questione a essere malposta. Una nuova cultura del dato, fondata su una solida comprensione del monitoraggio e della valutazione, può realmente farci fare un salto di qualità nella gestione di un progetto o di un’organizzazione? Ne abbiamo parlato con Alessandro Pozzi, esperto in materia e direttore dell’Istituto italiano di valutazione.
Partiamo dalle basi e proviamo a fare un po’ di chiarezza su alcuni termini chiave. Cosa significa monitorare?
Sul piano tecnico, significa semplicemente raccogliere dati e informazioni sull’andamento del nostro progetto. Sul piano sostanziale, monitorare significa invece prendersene cura per assicurarsi che stiamo andando nella giusta direzione.
È un po’ come quando un medico ci misura la febbre o la pressione per capire se stiamo bene o se abbiamo bisogno di medicine: lui usa il termometro, i valutatori gli strumenti della ricerca sociale. Ma l’obiettivo è sempre lo stesso: il bene del nostro “paziente”.
Monitorare, però, non equivale a valutare…
Esatto, sono attività diverse e complementari. Valutare significa interpretare il dato che ho monitorato secondo una determinata logica. Ad esempio, un conto è misurare il numero di ore di formazione erogate da un progetto; un altro è capire se e come sono cambiate le competenze di chi ha partecipato al corso. Valutare ci aiuta quindi ad approfondire le dinamiche di un progetto, scoprendo punti di forza e di debolezza, analizzando effetti e cambiamenti.
Perché monitorare e valutare un progetto? È proprio necessario?
Il monitoraggio e la valutazione sono legati a tre importanti finalità. Innanzitutto, quella rendicontativa e narrativa: monitorare è essenziale per dare conto delle attività svolte a chi ha sostenuto il progetto, ma anche per raccontarle ai diversi stakeholder coinvolti.
C’è poi una finalità formativa: raccogliere dati ci aiuta a imparare dagli errori per non ripeterli… o dalle buone pratiche per consolidarle, contribuendo, così, alla nostra crescita.
Infine, c’è una finalità sommativa: le valutazioni di esito e di impatto aiutano a capire se i risultati del progetto sono stati effettivamente raggiunti e che cambiamenti hanno generato.
Ha parlato di impatto, una parola oggi molto inflazionata… Che cosa si intende per valutazione di impatto?
Anche se è un termine che va molto di moda, di fatto, la valutazione d’impatto viene fatta raramente. Significa valutare se il progetto ha raggiunto il suo obiettivo generale, “macro”. Si tratta quindi di analizzare i cambiamenti e gli effetti generati nel medio-lungo periodo. Cosa è successo, ad esempio, in questo quartiere a due anni dalla fine del nostro progetto? È diversa, quindi, dalla valutazione di esito, che ha a che fare con gli obiettivi specifici dell’intervento.
Perché se ne parla tanto ma viene fatta così raramente?
È un lavoro piuttosto complesso. Prevede due fasi: innanzitutto bisogna identificare quali sono i cambiamenti innescati dal progetto su, ad esempio, sistemi di welfare, territori, relazioni tra persone… Poi è necessario analizzare il rapporto di causalità, che ci aiuta a capire se quei cambiamenti dipendono effettivamente dalle azioni del nostro intervento.
Serve molta pazienza e di solito, a qualche anno dalla fine del progetto, i risultati perdono di interesse, sia sul piano “mediatico” che per gli stakeholder e i partner…
“È un po’ come quando un medico ci misura la febbre o la pressione per capire se stiamo bene o se abbiamo bisogno di medicine: lui usa il termometro, i valutatori gli strumenti della ricerca sociale. Ma l’obiettivo è sempre lo stesso: il bene del nostro paziente”
Quali sono le principali resistenze che vi capita di incontrare durante un processo di monitoraggio?
Sicuramente raccogliere informazioni costa fatica. Il monitoraggio viene spesso considerato un adempimento burocratico, che ha poco a che fare con il progetto. In passato, poi, gli enti erogatori chiedevano grandi forzi ai beneficiari per dati che, poi, non si sapeva bene che fine avrebbero fatto…
Certo è che, se il 30% del tempo di un operatore è speso per compilare tabelle e report tecnici, c’è qualcosa che non funziona nel processo! Questa sensazione di “molestia statistica” a volte accompagna anche oggi gli operatori e ha, come risultato finale, la condivisione di dati poco affidabili, mancanti, disomogenei.
Come uscire da questa impasse?
Coinvolgendo gli enti del progetto nella costruzione degli strumenti di monitoraggio e valutazione. Noi siamo esperti delle tecniche… loro delle attività, degli interventi. Se ci sediamo attorno allo stesso tavolo per definire insieme quali potrebbero essere le strategie migliori per monitorare l’andamento del progetto, otteniamo di sicuro un risultato migliore.
I report non verranno più considerati incombenze burocratiche calate dall’alto, ma elementi essenziali, nati dal basso, per il bene del progetto. Un processo partecipativo come questo responsabilizza tutti gli attori nella raccolta di dati, che infatti diventano più affidabili.
A noi spesso capita di costruire un “nucleo di valutazione” composto da persone provenienti dai diversi enti che, sotto la nostra supervisione, lavorano insieme chiedendosi: di cosa dobbiamo tenere traccia? In che modo? Con che tempi?
E questo genera una maggiore fiducia nel processo…
Esatto, si va oltre la triangolazione committente-valutatore-valutato che scatena la paura della valutazione e lo spettro del giudizio. Se impostati attraverso la collaborazione e la partecipazione, il monitoraggio e la valutazione acquistano tutto un altro significato e costruiscono una nuova cultura del dato. Così il processo diventa parte integrante del progetto: un potente strumento di crescita, nell’interesse di tutti.
L’approccio è, quindi, sartoriale, su misura… E se i progetti sono molto diversi tra di loro e abbiamo bisogno di standardizzare i dati raccolti?
Si possono costruire, ad esempio, matrici di indicatori comuni, con elementi di valutazione trasversali. Poi, chiaramente, non tutti i progetti potranno compilare tutte le voci, ma almeno si partirà da un minimo comune denominatore. Per noi l’approccio è sempre sartoriale: non abbiamo mai usato lo stesso strumento di valutazione per progetti diversi.
“Dobbiamo coinvolgere gli enti del progetto nella costruzione degli strumenti di monitoraggio e valutazione. Noi siamo esperti delle tecniche… loro delle attività, degli interventi. Se lavoriamo insieme, otteniamo di sicuro un risultato migliore”
Questo ci porta alla fatidica domanda: monitoraggio quantitativo o qualitativo?
Tra il bianco e il nero, c’è un’ampia scala di grigi. Un buon sistema di monitoraggio e valutazione sa mescolare sia elementi quantitativi che qualitativi, tenendo in considerazione pro e contro. Il primo tipo di analisi ci permette di avere una misurazione estensiva dei dati. Il secondo ci aiuta a ottenere un approfondimento intensivo. Le due dimensioni devono per forza andare insieme!
Gli strumenti di valutazione cambiano a seconda delle caratteristiche del progetto e dell’ambito di intervento? La rigenerazione di un’area verde non ha nulla a che vedere con un intervento di orientamento scolastico…
La natura del progetto, le dimensioni, gli ambiti di intervento guidano sicuramente la scelta degli strumenti da utilizzare, mai viceversa. La valutazione, alla fine, è solo una tecnica e il valutatore un metodologo: bisogna quindi sapersi adattare al contesto.
La costruzione di un nucleo di valutazione che include esperti di un determinato settore permette di costruire strumenti efficaci. Ad esempio, per alcuni progetti sui maltrattamenti di bambini abbiamo recentemente chiesto consiglio a un giudice di un tribunale minorile: noi ci abbiamo messo la tecnica, lui ci ha indicato i “contenuti” da considerare nella valutazione.
Ma non c’è il rischio che, dopo tutti gli sforzi fatti, i report di valutazione finiscano in un cassetto, dopo una rapida occhiata?
Sì, il rischio di redigere report lunghi e complessi che poi nessuno legge è sempre reale! Per questo motivo è importante insistere sul tema della comunicazione. Accanto a documenti formali e istituzionali, è essenziale prevedere strumenti più smart, da un post social a un’infografica, da un video a un podcast.
Può essere utile anche organizzare workshop ed eventi di restituzione, coinvolgendo diversi stakeholder. Un’altra buona pratica, spesso disattesa, è restituire i dati in forma aggregata a chi, per primo, ce li ha forniti. Così si crea un bel rapporto di scambio e di fiducia reciproca.
Quindi, per concludere, quali suggerimenti pratici darebbe a chi volesse migliorare il processo di monitoraggio e valutazione?
Innanzitutto, puntare sulla costruzione partecipata e collaborativa degli strumenti per responsabilizzare tutti gli enti, combattere forme di rigetto e aumentare l’affidabilità dei dati. Secondo: individuare referenti per il monitoraggio e la valutazione che rimangano stabili nel ciclo di vita del progetto. Terzo: puntare su pochi dati chiari, omogenei ed efficaci. Bisogna evitare l’ipertrofia valutativa e prediligere sistemi snelli, che non richiedano risorse ingenti per la raccolta e sui quali gli enti possano procedere in autonomia.
Infine – sembrerà banale ma non lo è – organizzare momenti di supervisione valutativa in cui condividere e discutere dei dati raccolti, per capire se si sta andando nella giusta direzione ed eventualmente aggiustare il tiro… Ne va del buon esito finale del nostro progetto!
Condividi l’articolo