Misurazione, controfattuali e verifica
NON BASTA CONTARE: BISOGNA POTER SMENTIRE
Misurare bene è un’attività meno fotogenica di quanto l’industria dell’impatto preferisca ammettere. Significa definire prima l’evento, verificare da dove arriva il dato, accettare una zona di incertezza e pubblicare anche ciò che non ha funzionato. Un indicatore senza base iniziale è una bella cifra sola; due cifre senza controfattuale possono essere una coincidenza ben presentata.
Perché ogni risultato ha bisogno di un confronto
La gerarchia della prova è una scelta gestionale
Non ogni progetto richiede uno studio randomizzato. Per il completamento di un dataset può bastare la verifica documentale; per sostenere che un servizio riduca i danni di un’alluvione occorre una prova di qualità ben superiore. Il livello di rigore deve crescere con la materialità dell’affermazione, l’entità delle risorse impiegate, l’esposizione di persone vulnerabili e l’irreversibilità delle conseguenze. La review di Busch e coautori suggerisce prudenza nel passare dall’esistenza di un meccanismo alla sua efficacia accertata.
La questione del controfattuale si sdoppia
Prima domanda: senza la soluzione dell’impresa, che cosa sarebbe successo ai destinatari? Seconda domanda: senza questo specifico investitore o fondatore, che cosa avrebbe fatto l’impresa? La prima riguarda l’enterprise contribution; la seconda l’investor contribution. Un sensore può evitare un guasto che non si sarebbe prevenuto con una soluzione tradizionale, ma l’impresa avrebbe potuto svilupparlo comunque con una linea di credito ordinaria. Viceversa, un capitale paziente può finanziare l’accessibilità in territori marginali anche quando l’efficacia del servizio resta ancora da dimostrare. I due giudizi non devono essere fusi. Fonti: Operating Principles
La valutazione deve annotare le alternative effettivamente disponibili al momento della decisione: offerte bancarie, ricavi prospettici, budget pubblici, fornitori concorrenti, progetti già programmati e diritti degli azionisti esistenti. Ricostruire l’alternativa soltanto dopo l’esito positivo è esposto a bias retrospettivo. La disciplina minima è un documento datato prima del finanziamento, aggiornato quando cambiano le condizioni.
Indicatori che possono ingannare
- Numero di immagini elaborate: documenta capacità produttiva, non utilità per chi decide.
- Ettari monitorati: misura la copertura territoriale, non la riduzione del degrado o il miglioramento dei redditi.
- Capitale mobilitato: documenta partecipazioni finanziarie, non addizionalità né beneficio finale.
- Utenti registrati: non equivale a uso significativo o a decisioni migliori.
- SDG associati a un prodotto: indicano un allineamento tematico, non un risultato conseguito.
MRV: dati orbitali, verifiche a terra, decisioni
Indicator dictionary: dieci campi minimi
Misurare significa definire prima di osservare. Ogni indicatore deve contenere: nome univoco; unità; evento o condizione osservata; perimetro geografico e temporale; baseline; target e soglia di allarme; fonte e responsabile; frequenza; disaggregazione dei destinatari; limiti e metodo di verifica. L’obiettivo è impedire che due report usino “beneficiari” come sinonimo di popolazione teoricamente esposta al prodotto, numero di account, utenti attivi e persone che hanno effettivamente migliorato una condizione.
Qualità del dato orbitale e qualità della decisione
La disponibilità di immagini satellitari non elimina limiti legati a nuvolosità, risoluzione temporale, taratura degli algoritmi, qualità della ground truth, ritardi di elaborazione, eterogeneità territoriale e alterazione intenzionale di dati o segnali. Una precisione media elevata può nascondere errori sistematici sui territori meno campionati; una riduzione dei falsi positivi può aumentare i falsi negativi proprio dove l’evento è raro ma il danno atteso è elevato. Gli investitori dovrebbero esigere analisi delle condizioni in cui la tecnologia fallisce, non soltanto il miglior benchmark di laboratorio.
Il principio di proporzionalità
Una sperimentazione di piccola dimensione può iniziare con un registro decisionale e interviste strutturate; una piattaforma usata per orientare evacuazioni o tutela di comunità vulnerabili esige sistemi più robusti e, quando opportuno, valutazione indipendente. Il costo dell’assurance deve essere messo nel budget originario, non cercato a fine progetto. Si può adottare una scala progressiva: livello 1, verifica output; livello 2, outcome osservato; livello 3, contributo plausibile verificato da fonti plurime; livello 4, identificazione causale con disegno appropriato. La classificazione è una proposta operativa del dossier, non una certificazione. Fonti: Investor Contribution · Impact Frontiers
Indicatori essenziali, non pareti di dashboard
Un impact dashboard credibile deve evitare l’accumulo di numeri che non parlano fra loro. Serve un piccolo numero di indicatori legati a una teoria del cambiamento e verificati in punti di decisione. Conviene distinguere indicatori di impresa, di utente, di sistema e di contributo del finanziatore. Per ogni metrica il dossier raccomanda: definizione esatta; baseline; periodo; proprietario del dato; fonte; qualità; disaggregazione; ipotesi controfattuale; limiti; soglia di correzione.
Nel mondo spaziale la validazione tecnica non basta. Una buona accuratezza del modello o un’elevata risoluzione del dato costituiscono condizioni per un beneficio, ma non il beneficio. È essenziale documentare adozione, continuità operativa, decisioni modificate e risultati finali; e verificare se il servizio migliori o peggiori l’accesso dei gruppi meno forti.
Qual è il bisogno concreto e chi lo ha qualificato come prioritario?
Chi riceve il beneficio e chi può essere escluso o danneggiato?
Qual è la catena completa dal capitale al risultato finale?
Quali alternative tecniche e finanziarie sarebbero state disponibili?
Che cosa cambierà per l’impresa grazie a questo investitore?
Quali metriche sono output, quali outcome e quali stime controfattuali?
Chi possiede dati, diritti di accesso, proprietà intellettuale e modelli?
Esistono rischi dual use, privacy, cybersecurity, export control o sorveglianza?
Il progetto è finanziariamente sostenibile e per quale soggetto pagatore?
Quale qualità di evidenza supporta ogni claim e quali lacune restano?
Quali condizioni farebbero ridimensionare, correggere o interrompere l’intervento?
Chi verifica ex post, chi paga la verifica e chi può pubblicare risultati negativi?
La scorecard è un framework proposto dal dossier, non una metodologia certificata né un rating di terza parte.
Il costo del non intervento e quello di intervenire male
Una stima del beneficio atteso può partire dal danno medio annuo in un territorio, dalla popolazione esposta e dal costo delle misure di risposta. Ma nessuna di queste cifre misura, da sola, la quota evitata grazie a un nuovo sistema informativo. Fra previsione e beneficio entrano la sensibilità degli allarmi, la capacità di mobilitare persone e mezzi, il tempo di anticipo, la copertura territoriale e il comportamento dei destinatari.
Si consideri un servizio che, in uno scenario ipotetico, riduca di un'ora il tempo per rendere disponibili informazioni operative. L'ora guadagnata è un miglioramento del processo, verificabile confrontando registri e timestamp. Stimare il valore monetario del beneficio richiede ulteriori passaggi: quali decisioni sono cambiate in quell'ora, quali asset erano a rischio, quanta parte del danno era evitabile e quali risorse sono state effettivamente impiegate. Se il sistema produce anche falsi allarmi, occorre contabilizzare costi inutili, perdita di fiducia e opportunità sottratte ad altre attività.
L'economics dell'impatto non è dunque una tabella che moltiplica automaticamente popolazione raggiunta e beneficio unitario. È un modello con distribuzioni, variabili sensibili, scenari e verifica degli scostamenti. Le istituzioni e gli investitori possono preferire un range robusto di beneficio plausibile a una cifra singola straordinariamente precisa ma fondata su ipotesi inverificabili.
Questa disciplina cambia il modo di interpretare anche il costo del non intervento. Dire che un pericolo esiste non dimostra che una specifica tecnologia sia l'acquisto migliore per affrontarlo. Occorre confrontarla con interventi non spaziali, dall'aggiornamento delle procedure locali alle opere infrastrutturali, e chiarire complementarità e sostituibilità. L'impatto non si ottiene vincendo una gara di superiorità tecnologica, ma scegliendo il mix che produce i risultati più solidi per euro speso.
Il controfattuale deve essere una storia migliore, non una fantasia peggiore
Uno dei modi più facili per costruire un grande impatto è descrivere un mondo senza intervento come un deserto di inefficienza e disinteresse. Nel mondo reale, invece, imprese concorrenti possono innovare, i bilanci pubblici cambiano, i dati diventano disponibili attraverso altre missioni, e le autorità modificano pratiche per ragioni indipendenti dal progetto. Il controfattuale è credibile solo se prende sul serio queste alternative.
Quando si osserva un comune che, dopo l'adozione di un servizio satellitare, riduce i tempi di risposta a un evento, il confronto deve considerare anche investimenti in infrastrutture, formazione degli operatori, clima effettivo e altre fonti informative. In casi semplici può bastare una valutazione documentale dei processi. In casi più ambiziosi, quando si attribuiscono danni evitati o benefici economici, servono disegni comparativi più robusti, dati sufficienti e analisi della sensibilità delle ipotesi.
La robustezza non nasce dall'uso di un metodo sofisticato in sé. Nasce dalla congruenza fra la domanda e la prova. Non si chiede un trial randomizzato per sapere se una piattaforma è stata consegnata; non si usa una ricevuta di consegna per dire quante persone siano state salvate. Sono due errori opposti e altrettanto comodi.
C'è infine il tema degli effetti trasferiti. Un'impresa può ridurre un'emissione in una fase della filiera spostandone il costo su un fornitore; una piattaforma può rendere più efficiente il monitoraggio dei territori solvibili lasciando più scoperti quelli poveri; un algoritmo può ridurre il tempo medio di decisione peggiorando la qualità per una minoranza. Un sistema di MRV responsabile deve cercare anche questi spostamenti, non soltanto le curve che salgono.
Una matrice minima della prova
| Unità di osservazione | Che cosa prova | Che cosa NON prova |
|---|---|---|
| Satellite, scena, segnale | Capacità fisica e disponibilità tecnica | Uso efficace o beneficio finale |
| Mappa consegnata | Prodotto informativo reso disponibile | Decisione effettivamente modificata |
| Decisione anticipata | Cambiamento nel processo decisionale | Danno evitato in misura esatta |
| Servizio adottato da enti | Penetrazione e sostenibilità organizzativa | Addizionalità specifica del finanziatore |
| Beneficio stimato con controfattuale | Evidenza ragionata di outcome/impact | Certezza assoluta, validità universale |
Cosa pubblicare quando la prova è ancora incompleta
Pubblicare una limitazione non è un’autodenuncia: è un segnale di qualità. Un rapporto che espone assunzioni, campioni, limiti geografici, modifiche dei protocolli e date di acquisizione dei dati permette a un lettore competente di contestarlo. E un dossier che può essere contestato è infinitamente più utile di una brochure che pretende di essere ammirata. La trasparenza dovrebbe riguardare anche effetti negativi, controversie e gruppi non raggiunti.
Chi verifica l’impatto del verificatore?
La validazione esterna è utile ma non miracolosa. Occorre osservare che cosa ha verificato: correttezza del processo di raccolta, presenza di un sistema di gestione, accuratezza di singoli indicatori o identificazione causale di benefici finali. Sono quattro incarichi diversi. Anche gli Operating Principles distinguono disclosure e verifica periodica dei sistemi di gestione da una presunta certificazione universale del beneficio.