Remove ads
La valutazione delle politiche pubbliche è un'attività di ricerca e di pratica professionale (funzione conoscitiva) finalizzata ad apprendere dall'esperienza formulando raccomandazioni per il cambiamento (funzione strumentale) e ad esprimere dei giudizi empiricamente fondati (funzione normativa) sui disegni, i processi, i risultati, gli effetti delle politiche pubbliche. La valutazione delle politiche pubbliche è un ambito della analisi delle politiche pubbliche.
L'approccio sistematico di Rossi, Freeman e Lipsey
I suddetti autori propongono un approccio sistematico alla valutazione delle politiche pubbliche (program evaluation) che si struttura essenzialmente su alcune domande cui il valutatore non può sottrarsi:
- quali sono i propositi della valutazione in questione?
- qual è la struttura e il contesto in cui si trova il programma analizzato?
- come deve essere impostata la relazione con gli stakeholders?
- quali sono le domande valutative (evaluation questions) cui è necessario dare risposta?
- quali sono i metodi applicabili per dare risposte solide alle domande poste?
Le domande valutative individuate dagli autori sono cinque e costituiscono altrettanti stadi del processo di valutazione di una politica pubblica:
- valutazione dei bisogni sociali cui vuole rispondere il programma
- valutazione della teoria sottesa al programma
- valutazione del processo/implementazione
- valutazione dell'impatto/degli effetti
- valutazione di efficienza
Questi tipi di valutazione si trovano tra loro in un rapporto gerarchico. Il livello fondamentale della gerarchia è costituito dalla valutazione del problema sociale cui il programma è indirizzato. A seguire è possibile rispondere, nell'ordine, alle altre quattro domande. Omettere uno dei passaggi indicati comporta il rischio di una valutazione errata, in quanto, generalmente, una valutazione di un livello di gerarchia superiore presuppone la conoscenza e l'analisi di aspetti della politica (policy) riferiti ai livelli inferiori della gerarchia valutativa (evaluation hierarchy).
Ad esempio, se i risultati della valutazione di impatto di una politica X sono negativi, quali conclusioni se ne possono trarre? Dove è stato il fallimento? Non si sono compresi a fondo i problemi sociali? La teoria della politica era costruita su una catena causale di azioni-effetti sbagliata (theory failure)? È fallito qualcosa nella fase di implementazione (implementation failure)? È evidente che non considerando il ciclo della policy nella sua integrità né il valutatore né il decisore potranno capire le cause del fallimento ed agire di conseguenza (learning). Lo stesso ragionamento varrebbe ovviamente di fronte a risultati positivi: non considerando alcune fasi della policy è impossibile interpretare i risultati/effetti stimati con la valutazione di impatto.
La valutazione dei bisogni cui è indirizzato il programma (needs assessment)
Con questo studio valutativo si cerca di rispondere alla domanda “qual è il problema?”. Attorno a questa semplice domanda sorgono una serie di quesiti e questioni epistemologiche che in questa sede non ha senso trattare ma che il ricercatore, tuttavia, non può trascurare. Lo scopo di questo tipo di valutazione (che può essere svolta sia preventivamente che a posteriori) cerca di definire il problema nelle sue dimensioni, tendenze (trends) e peculiarità, facendo uso sia di tecniche e dati quantitativi che di metodi di indagine qualitativa che permettono di descrivere il problema e tenere conto delle differenti percezioni dello stesso da parte dei diversi stakeholders. Necessario è anche giungere a definire chi sono i soggetti obiettivo: individuali o collettivi, diretti o indiretti, ecc.
La valutazione della teoria della politica (program theory assessment)
La teoria del programma può essere definita come l'insieme delle assunzioni circa i risultati che il programma in esame prevede di produrre e sulle strategie e le tattiche che il programma intende adottare per raggiungere i suoi obiettivi. La teoria viene scomposta dagli autori in due componenti:
- la prima è la teoria dell'impatto (impact theory) e si riferisce al cambiamento atteso in seguito al programma secondo una catena di eventi e nessi causali (dall'azione A ci si aspetta un risultato B);
- la seconda è la teoria di processo (process theory) che descrive i passaggi, le attività da compiere nell'organizzazione e nell'implementazione degli interventi.
La teoria di una politica può essere "esplicita" o "implicita". Il ricercatore-valutatore ha il compito di definirla mediante diverse fonti informative: documentazione amministrativa, interviste a decisori e stakeholders, osservazione diretta delle funzioni del programma, letteratura delle scienze sociali. In questo modo è possibile raccogliere tre tipi di informazione: obiettivi della politica, funzioni, componenti e attività del programma e la logica sequenziale che lega funzioni, attività e prodotti. Una buona analisi della teoria sottesa ad una politica permette di: capire quali sono gli obiettivi, individuare le funzioni e le attività programmate ed eventualmente contribuire al ridisegno di una politica.
Se la teoria sottesa ad una politica è considerata ben definita e giustificata, allora è possibile proseguire con la valutazione. In caso contrario, non avrebbe senso continuare perché ogni risultato che si otterrebbe sarebbe impossibile da interpretare in relazione alla politica. Ad esempio, se – in seguito ad un'analisi di impatto condotta rigorosamente – gli effetti sulla popolazione target della politica in esame sono stimati essere positivi, come è possibile imputare i “meriti” ai decisori senza aver prima analizzato la teoria della politica, ovvero come la politica è stata disegnata? Nel caso in cui la politica fosse stata disegnata male, si potrebbe concludere che o i risultati ottenuti sono dovuti al caso o in fase di implementazione gli attori non hanno rispettato i programmi e hanno agito “indipendentemente” (in questo caso un’implementation failure determinerebbe il successo della politica).
La valutazione del processo di implementazione (process evaluation)
Lo scopo di questo tipo di valutazione è quello di conoscere “cos'è realmente il programma” e se i servizi/gli interventi raggiungono concretamente oppure no la popolazione target. Può essere effettuata a posteriori (program process evaluation), necessaria per la valutazione di impatto, o in itinere (continuous program monitoring), necessaria prevalentemente per i gestori del programma in quanto fornisce un feedback regolare sull'implementazione degli interventi.
La valutazione del processo attuativo di una policy assume una certa rilevanza anche in una prospettiva di accountability o “rendicontabilità”, in quanto rende conto a tutti i possibili stakeholders di “cosa l'organizzazione sta facendo”. Alcuni aspetti oggetto di analisi sono il livello di partecipazione/coinvolgimento della popolazione target, il livello di “distorsione” (bias) nell'erogazione di un servizio (es. un sottogruppo partecipa più di altri) e il livello di abbandoni (dropouts). Confrontando i risultati di questa analisi con la teoria del cambiamento sottesa alla politica è possibile sapere se la politica è implementata come era stato programmato o no (implementation failure).
Un fallimento dell'implementazione può essere dovuto alla non effettuazione dell'intervento, ad una sua parziale effettuazione, all'erogazione di un servizio sbagliato o secondo criteri distanti da quelli prescritti, ad un'erogazione diversificata tra la popolazione target oppure a differenti modalità di implementazione tra diverse unità territoriali incaricate (es. centri per l'impiego). Conoscere questi scostamenti dal programma è essenziale per effettuare un'analisi degli effetti.
La valutazione degli effetti della politica (impact assessment)
Gli outcomes (effetti) di un programma possono essere stimati e interpretati in diversi modi. Il valutatore deve capire e definire qual è l'effetto su cui la politica vuole influire. L'individuazione e la misurazione del nesso causale tra la variabile trattamento (il prodotto o output) e questa variabile dipendente (variabile effetto od outcome) costituisce la sfida di questo tipo di valutazione. La variabile outcome può essere considerata sotto diversi punti di vista:
- outcome level: è il livello, lo stato, della caratteristica della popolazione target o della condizione sociale su cui la policy intende agire, misurato in un preciso istante nel tempo (es. il tasso di criminalità in un quartiere misurato nel tempo t);
- outcome change: è la differenza tra due misurazioni della stessa variabile outcome in tempi diversi (es. la differenza tra il tasso di criminalità nel tempo t e nel tempo t+1, ovvero dopo un intervento di riqualificazione urbana);
- program effect (impact): è la porzione di outcome change che può essere attribuita al programma (la porzione di scostamento tra le due misurazioni del tasso di criminalità attribuibile esclusivamente all'intervento di riqualificazione urbana).
L'identificazione degli outcomes rilevanti, la loro misurazione, la scelta e l'applicazione delle tecniche di misurazione e di stima costituiscono altrettanti argomenti che non possono essere affrontati in questa sede e che comunque poco si prestano a ragionamenti metodologici generali in quanto fortemente connessi alle specifiche situazioni.
Gli autori sottolineano l'importanza della distinzione tra:
- il monitoraggio e la misurazione degli outcomes
- la valutazione di impatto (secondo metodi sperimentali e non sperimentali)
Il monitoraggio (program monitoring) è definibile come la raccolta sistematica di aspetti della performance di un programma che indicano se questo sta funzionando come era inteso inizialmente o in accordo con determinati standards previamente fissati. L'oggetto del monitoraggio è la performance del programma, che può riguardare sia i prodotti, sia gli outcomes, sia il processo di implementazione. Il monitoraggio, anche se basato sull'osservazione di indicatori relativi agli outcomes, non è definibile come “valutazione degli effetti”.
La valutazione di impatto (impact assessment) può essere effettuata solo dopo aver effettuato le valutazioni collocate negli stadi inferiori della “gerarchia”. Si parla di valutazione di tipo black box - il programma è una "scatola nera" - quando il valutatore conduce un'analisi di impatto senza conoscere nulla dei processi che hanno generato tali effetti.
Nelle istituzioni pubbliche il processo di valutazione avviene nei seguenti termini:
a) Costruzione della "scatola nera"[1], riprendendo la metafora del dispositivo presente negli aeroplani, che serve a ricostruire il diario di volo, si suole indicare un prototipo euristico che conduce a nuove conclusioni e scoperte in ogni campo, es. il libero arbitrio ovvero un dispositivo sinderetico che permette di scegliere tra il bene e il male. b) "Stabilizzazione degli artefatti"[2], cioè l'insieme dei processi di traslazione che ne permettono la rielaborazione (per es. il Forum PA contiene una propria bacheca dedicata ai libri, ai convegni e ai seminari).
Si tratta fondamentalmente di un'analisi comparativa: gruppo di trattati a confronto con il gruppo di controllo; oppure valore fattuale contro valore controfattuale (stima del valore che la variabile risultato avrebbe avuto se il gruppo dei trattati non fosse stato sottoposto al trattamento). I disegni di analisi dell'impatto variano molto ed è possibile individuare due filoni della valutazione d'impatto:
- Disegni sperimentali classici (randomized field experiments): tale metodo si basa sull'assegnazione casuale (random assignment) delle unità osservate al gruppo che verrà sottoposto al trattamento o a quello che non lo sarà. La casualità assicura che i due gruppi siano mediamente uguali. La stima dell'effetto del programma avviene confrontando i valori delle variabili outcomes dei due gruppi dopo la somministrazione del trattamento (il valore del gruppo dei trattati rappresenta il fattuale, mentre quello del gruppo di controllo il controfattuale).
Pur con tutte le limitazioni cui è sottoposto (fattibilità, costi, considerazioni etiche, tempi, ecc.), questo tipo di disegno è considerato da molti il metodo valutativo per eccellenza (the gold standard of evaluation).
- Disegni quasi-sperimentali non randomizzati o altri metodi non sperimentali: nei quasi-esperimenti i gruppi vengono formati ex post e non con il metodo della random assignment. Il problema in questo caso è il contenimento delle distorsioni dovute al fatto che i due gruppi non sono equivalenti. Si possono individuare due tipi di distorsione (bias):
a) selection bias (distorsione da selezione): i due gruppi non sono uguali; b) maturation (distorsione da “dinamica spontanea”): la variabile risultato varia indipendentemente dall'intervento pubblico; Alcune tecniche statistiche utilizzate per arginare tali problemi di distorsione e formulare delle stime valide sono: lo statistical matching, la multiple regression analysis, il regression discontinuity design, il difference in difference, l’interrupted-time-series analysis.
La valutazione di efficienza (efficiency analysis)
La valutazione di efficienza, come pure la valutazione di impatto, è più appropriata per programmi maturi e stabili. Essa può essere svolta ex ante (per scelte allocative in presenza di risorse scarse – efficienza allocativa) o ex post (come estensione della valutazione di impatto). Gli autori individuano due sotto-categorie:
- l'analisi costi-benefici (gli effetti del programma sono espressi in termini monetari)
- l'analisi costi-efficacia (gli effetti del programma non sono trasformati in termini monetari)
La valutazione su misura
Ogni valutazione va "tagliata su misura"[3] e sebbene il disegno di valutazione possa variare in complessità il lavoro di valutazione viene sempre influenzato da:
- gli scopi della valutazione
- la struttura concettuale e organizzativa del programma/progetto/servizio
- le risorse disponibili per la valutazione stessa.
Si suggerisce al valutatore di porsi i seguenti quesiti: Quali aspetti del piano di valutazione devono essere costruiti su misura? Quali considerazioni dovrebbero guidare il valutatore nella fase di pianificazione di una valutazione? Non esistono linee guida rigide per orientare la progettazione di un piano di valutazione che rappresenta sempre uno sforzo creativo e collaborativo. Ogni disegno di valutazione si struttura attorno ai seguenti tre punti:
- La natura della relazione fra il valutatore e gli stakeholder
- Le domande di valutazione
- I metodi di valutazione
La classificazione basata sulle esigenze cognitive
Cambiando prospettiva, ovvero considerando i bisogni cognitivi, la valutazione può assumere cinque forme diverse:
- Policy and program design: la valutazione come strumento per allocare risorse agli usi più meritevoli
- Management control: la valutazione come strumento di controllo della performance nell'ambito delle organizzazioni
- Accountability: la valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica
- Implementation: la valutazione come strumento di analisi critica dei processi di attuazione di una politica
- Learning: la valutazione come stima degli effetti prodotti da una politica (Martini, Cais 1999).
La “valutazione” come strumento per allocare risorse agli usi più meritevoli
In questo caso la “valutazione” consiste in un giudizio comparativo su diversi s/oggetti al fine di individuare i migliori o più meritevoli. Si tratta fondamentalmente di quella che comunemente viene definita valutazione ex ante, nonostante non vi sia accordo nell'accettarla come valutazione in senso stretto. Le procedure consistono in tre passaggi essenziali: a) determinazione dei criteri (punteggi e pesi); b) esame dei N s/oggetti; c) aggregazione dei giudizi secondo tecniche diverse (individuazione dei migliori, esclusione dei peggiori, formulazione graduatorie). A questa logica di valutazione appartengono:
- la selezione dei progetti (bandi di gara)
- la valutazione della dirigenza
- la valutazione della ricerca scientifica
- le analisi costi-benefici di alternative
- l'analisi multicriteri
La valutazione come strumento di controllo della performance nell'ambito delle organizzazioni
Questa analisi risponde all'esigenza di sapere se ed in che misura un'organizzazione o meglio una singola unità organizzativa, funziona bene (come dovrebbe). Si tratta di un'analisi della performance che ha per oggetto i costi, la qualità delle prestazioni, i volumi di attività. Si tratta di una misurazione degli scostamenti tra i valori osservati e i valori “ottimali”. Le informazioni prodotte hanno rilevanza gestionale interna. Le fasi di questo tipo di analisi sono cinque:
- individuazione delle dimensioni da sottoporre a controllo
- definizione degli indicatori che rappresentano le dimensioni o parti di esse
- individuazione degli standard appropriati per ciascun indicatore
- raccolta dei dati
- interpretazione delle deviazioni dei dati osservati dagli standards.
Si rifanno a questa logica (pur non costituendo propriamente dei metodi di valutazione): - il controllo di gestione - la certificazione di qualità - l'accreditamento di organizzazioni - le indagini di customer satisfaction
La valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica
Dato un complesso di interventi che usano risorse pubbliche, del cui utilizzo si vuole (o si deve) rendere conto, la valutazione è quel processo di misurazione e comunicazione sistematiche delle realizzazioni effettuate (e dei “risultati” ottenuti). Ha una valenza prevalentemente descrittiva, pone una certa enfasi su grandezze aggregate, che offrono un'immagine d'insieme dello sforzo perpetrato dall'organizzazione. Come strumento di rendiconto la valutazione si adatta particolarmente a organizzazioni complesse e multifunzionali, oppure a grandi programmi di intervento pubblico. La ricaduta decisionale di questo tipo di valutazione non è immediata ed assume prevalentemente una valenza “comunicativa”. I termini chiave sono: trasparenza, responsabilità e legittimazione. I destinatari di questa valutazione possono essere i cosiddetti stakeholders, organi o organizzazioni sovraordinate, oppure, più generalmente, tutti i cittadini.
Alla base di un rapporto di accountability sta fondamentalmente un impegno a fare qualcosa per qualcun altro. Questo impegno può essere imposto dal soggetto esterno, concordato o contrattato tra le parti, od offerto volontariamente dal soggetto delegato in cambio dell'attribuzione di responsabilità. L'informazione rilevata ed elaborata a supporto di questa funzione quindi deve essenzialmente controllare che “le cose promesse siano state fatte, fatte in tempo e fatte bene”.
Gli autori sottolineano l'ambiguità del termine obiettivo, che può assumere due valenze:
- Obiettivo come perseguimento di un target stabilito e quantificato (o quantificabile) a priori. Il target può essere un certo volume di produzione, il completamento di un progetto, il raggiungimento di livelli qualitativi di un servizio. Verificare se l'obiettivo è stato raggiunto significa in questo caso essenzialmente “confrontare il target prestabilito con ciò che è stato ottenuto/fatto/prodotto”, e questa è l'essenza dell'informazione prodotta a supporto dell’accountability.
- Obiettivo come modifica di una situazione ritenuta non desiderabile mediante l'uso di strumenti di intervento pubblico (ad esempio, la riduzione delle tossicodipendenze, l'aumento della concorrenza nei mercati, la riduzione dell'inquinamento, ecc.). In questo caso “verificare se gli obiettivi sono stati raggiunti” significa molto di più rispetto ad una verifica delle “cose fatte”, al raggiungimento di un target prestabilito. Qui sorge essenzialmente un problema di attribuzione di causalità, e in seconda battuta di identificazione delle ragioni (organizzative, di contesto) per cui il cambiamento si è o non si è verificato. Qui non ci si trova più di fronte ad un'esigenza di accountability, ma di learning (vedi supra).
La raccolta e l'interpretazione dell'informazione per sostenere la funzione di accountability è tutt'altro che banale, pur esulando dal problema di attribuzione di causalità. Raccogliere ed interpretare le informazioni necessarie affinché qualcuno realmente arrivi a rendere conto delle proprie azioni non è cosa facile. La maggior sfida viene nel momento finale, quello che consiste nell'emettere un giudizio sulla performance del soggetto che deve rendere conto delle proprie azioni. Diversamente dall'attribuzione di causalità, che può essere fatta con strumenti relativamente formalizzati e rigorosi delle scienze sociali, qui si tratta di fare una più informale attribuzione di responsabilità.
La valutazione come strumento di analisi critica dei processi di attuazione di una politica
L'oggetto dell'analisi in questo caso non è né giudicare la performance né rendere conto delle realizzazioni. L'oggetto della valutazione è in questo caso la cosiddetta black box, ovvero la fase del processo di una policy in cui le idee e i programmi vengono trasformati in azioni e pratiche amministrative. In altre parole, attraverso strumenti prevalentemente di tipo qualitativo, vengono studiati i processi attuativi della politica pubblica (implementation research).
Alcune pratiche riferibili a questo filone:
- descrizione di ciò che è stato fatto (monitoraggio)
- confronto tra ciò che è stato realizzato e il disegno originario
- esame sistematico dei punti di forza e di debolezza.
La valutazione come stima degli effetti prodotti da una politica
È la valutazione in senso stretto. Rappresenta uno strumento che aiuta a capire se un intervento pubblico produce gli effetti desiderati. Pur trattandosi di una valutazione ex post, essa è una valutazione prospettica, nella misura in cui aiuta i decisori a riorientare il disegno delle politiche sulla base delle stime prodotte. Si tratta di una valutazione da tenere nettamente distinta dalla rendiconto valutativa. I due tipi di valutazione, come già detto, rispondono ad esigenze cognitive differenti e utilizzano, quindi, propri metodi e strumenti di raccolta dati, analisi e comunicazione. La valutazione, intesa come learning, rientra appieno nel filone della evaluation research/program evaluation americana (vedi Rossi, Freeman e Lipsey). È mirata ad un intervento preciso, mentre l’accountability è generale; le informazioni prodotte dalla valutazione intesa come learning sono approfondite e circoscritte mentre quelle prodotte dall’accountability sono periodiche, descrittive e semplificate; ancora, questo tipo di valutazione utilizza metodi quantitativi e qualitativi delle scienze sociali (basati sull'approccio controfattuale), mentre l’accountability mantiene prevalentemente un'impostazione tipica della logica di controllo.
Remove ads
Remove ads
Remove ads
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
Remove ads