La ricerca Policy Delphi di LAPS con IdSurvey

Il Laboratorio Analisi Politiche e Sociali (LAPS – website: www.laps.unisi.it) è un centro d’eccellenza per l’opinione pubblica. Fornisce strumenti e esperienza per lo sviluppo di indagini face-to face, telefoniche, online e mixed-mode, per analisi di alto livello e per la preparazione di report su questioni sociali, politiche ed economiche. LAPS offre la sua esperienza nella creazione e valutazione di questionari, nella raccolta dati e nell’analisi dei dati.
Il nostro team di ricerca ha offerto consulenza scientifica per diversi progetti internazionali come il Transatlantic Trend Survey, Transatlantic Trends Survey on Immigration e European Elite Survey.
Il team di ricerca è composto dal Prof. Pierangelo Isernia, Direttore e senior advisor, Dr. Francesco Olmastroni, Dr. Rossella Borri e Manuela Maltese.
Il range di attività di ricerca portate avanti dal LAPS va da questioni locali a politica e società (inter)nazionale.

Per le proprie attività di ricerca sociale il LAPS utilizza il software IdSurvey.

IdSurvey permette estrema flessibilità nella programmazione di questionari complessi e design sperimentali portati avanti con CATI, CAWI, CAPI o mixed mode. In particolare, troviamo le seguenti funzionalità molto utili:

• L’organizzazione di strutture campionarie random e stratificate basate su un numero illimitato di parametri così come sull’aggiornamento automatico di quote basate su informazioni del campione, risposte date a specifiche domande del questionario o una combinazione delle due.
• La possibilità di creare filtri specifici o generici per intervistatori, contatti, domande e opzioni di risposta.
• L’ampio raggio di domande che possono essere create.
  La possibilità di randomizzare tutti gli elementi del questionario: singole pagine o gruppi/blocchi di pagine, domande, opzioni di risposta, etc.
• La possibilità di visualizzare risposte o informazioni sui contatti nel corso del questionario.
• La possibilità di esportare i dati raccolti in diversi formati: SPSS, CSV, Access e Excel.

Policy Delphi

Uno dei progetti più impegnativi in cui siamo stati coinvolti è stato il Policy Delphi. Svolto come parte del progetto TRANSWORLD (Project no. 290454), finanziato dall’EU sotto il 7th Framework Programme. Si focalizzava sull’analisi delle relazioni transatlantiche e sul futuro del governo globale. All’interno di questo framework, il Delphi è stato creato per esplorare primariamente I seguenti aspetti:

• Se e fino a che punto un insieme di sfide globali hanno probabilità di emergere nelle quattro aree a cui si rivolgeva il progetto (sicurezza internazionale, economia globale, ambiente globale e cambiamento climatico, diritti umane e promozione della democrazia) e quale sarebbe stato il loro impatto, se fossero avvenute.
• Quali risposte politiche a tali sfide sono opportune e/o possibili.
• Qual è lo stato di governo in ognuna di queste quattro aree e come sta cambiando.

La tecnica Delphi è un “metodo per la sollecitazione sistematica di giudizi informati su un particolare argomento”. E’ uno strumento per l’analisi di questioni politiche complesse e fornisce giudizi informati sull’impatto stimato di decisioni politiche.
Il TRANSWORLD Policy Delphi è stato creato e portato avanti dal team di ricerca del Dipartimento di Scienze Politiche, Sociali e Cognitive dell’Università di Siena, che è stato anche responsabile della raccolta dati e dell’analisi.
IdSurvey è stato usato per l’implementazione dell’intero processo che è stato sviluppato in diverse fasi:
Selezione degli esperti e reclutamento (Aprile – Giugno 2014)
Round 1 (Ottobre 2014-Gennaio 2015): “Esplorazione delle sfide e soluzioni”
Round 2 (Gennaio 2015- Marzo 2015): “Raccogliere consensi e identificare le aree di polarizzazione”
Round 3 (Maggio 2015- Luglio 2015): “Verso consigli politici”

Selezione degli esperti e reclutamento (Aprile – Giugno 2014)

Il TRANSWORLD Delphi è stato creato per intervistare circa 30 esperti per ognuna delle quattro aree di ricerca, ossia sicurezza internazionale, economia globale, ambiente globale e cambiamento climatico, diritti umane e promozione della democrazia.
A partire da Aprile 2014 è stata raccolta una lista di circa 300 nomi di esperti dall’EU, US, Canada, Brasile, Russia, India e Cina. Sono stati poi classificati a seconda di una serie di criteri come:
a) ambito della loro competenza (approccio internazionale/regionale vs. nazionale, con preferenza data al primo);

b) anzianità (con preferenza data agli esperti senior, dove per ‘senior’ si intende un’esperienza superiore ai 17 anni, iniziando a contare dal primo lavoro post-laurea o post-dottorato);

c) numero e qualità delle pubblicazioni (con preferenza data a quelli che hanno pubblicato articoli di rilevanza nell’area politica di competenza).

Gli esperti sono stati poi ulteriormente classificati a seconda del loro ruolo, che poteva essere: accademici, membri di gruppi di esperti, membri di organizzazioni non-governative (NGO), professionisti.

Lo studio è stato creato per essere rappresentativo per nazione e ruolo.
Conseguentemente, sono stati selezionati 266 esperti (da 53 a 77 per ogni area) e invitati formalmente a partecipare all’esercitazione tra Luglio e Ottobre 2014. Table 1 mostra il tasso di risposta (il numero di esperti che ha accettato diviso il numero totale delle persone invitate) in ognuna delle quattro aree.

Round 1 (Ottobre 2014-Gennaio 2015): “Esplorazione delle sfide e soluzioni”

Il primo round ha esplorato le opinioni degli esperti sulle sfide primarie e le situazioni politiche nelle quattro aree di studio.
Agli esperti è stato chiesto:
1) di elencare le principali sfide nel loro campo di competenza sia in termini di impatto che di probabilità, su una scala da 0 a 100;
2) di esprimere la loro opinione sulla desirabilità e la fattibilità di una lista di soluzioni politiche da sottoporgli, in una scala da 1 a 10;
3) di esprimere le loro opinioni su un gruppo di domande finalizzate a raccogliere informazioni su questioni salienti nell’area di interesse, in una scala likert (opzioni d’accordo/non d’accordo);
4) di suggerire ulteriori sfide e soluzioni non incluse nel questionario tramite commenti.

I quattro questionari per il primo round (uno per ogni ambito politico) sono stati preparati basandosi sulla prova di ricerca condotta sotto il più ampio progetto TRANSWORLD.
Ogni questionario è stato discusso preliminarmente con consulenti scientifici e sono state consegnate versioni pilota dei questionari a un gruppo di accademici per valutarne la lunghezza, la comprensibilità e la chiarezza.

La versione finale del questionario Round 1 è stata somministrata agli esperti alla fine di Ottobre 2014 tramite modalità CAWI (Computer Assisted Web Interview). Ogni esperto ha ricevuto un link univoco e personale al questionario collegato al suo campo di competenza. Gli è stata data una scadenza di due settimane per completare il questionario; quando necessario, sono stati inviati solleciti dopo la data di scadenza per aumentare il tasso di risposta. Il tasso di risposta del Round 1, considerando quelli che hanno riempito il questionario, è stato tra il 70% per Economia Globale e il 90% per Ambiente Globale e Cambiamento climatico.

Round 2 (Gennaio 2015- Marzo 2015): “Raccogliere consensi e identificare le aree di polarizzazione”

Il secondo round ha identificato le aree di consenso e quelle in cui il dissenso prevaleva sulle sfide principali e le soluzioni. Nel questionario del Round 2 gli item sono stati raggruppati in gruppi tematici, basati su analisi fattoriale e basata su letteratura teorica rilevante. Sono stati poi presentati ad ognuno degli esperti i risultati del round precedente riportati come valori medi e deviazioni standard e introdotti da un breve commento. In questo modo, agli esperti sono state fornite le informazioni per valutare la quantità di consenso o dissenso all’interno del gruppo per ogni item. Hanno anche potuto visualizzare le loro risposte per ogni round. Poi, alla luce delle risposte del gruppo, sono stati invitati a confermare o rivedere le loro valutazioni. Sono stati anche fortemente incoraggiati a commentare le loro personali valutazioni. Inoltre, basandosi sui commenti dei panelisti del Round 1, sono stati introdotti nuovi item e/o modificati alcuni vecchi nel questionario del secondo round.
A marzo 2015 i quattro questionari sono stati inviati agli esperti con una scadenza di due settimane per il completamento. Dopo 3 settimane abbiamo raggiunto un tasso di risposta del 90-100% in tutte e quattro le aree.

Round 3 (Maggio 2015- Luglio 2015): “Verso consigli politici”

Questo round è stato creato per trarre conclusioni su sfide future a breve e lungo termine per la sicurezza internazionale, l’economia globale, l’ambiente globale e il cambiamento climatico, i diritti umani e la promozione della democrazia, e le soluzioni a disposizione per affrontarle.
Gli esperti hanno ricevuto un breve report riassuntivo sulle scoperte e i grafici principali, basati su dati del round precedente, e gli è stato chiesto di fornire un commento sulle stime del proprio panel.
Solo per quegli item in cui rimaneva un largo dissenso, è stato chiesto di nuovo di confermare o rivedere i giudizi e di specificare le ragioni delle loro posizioni.
Sono state introdotte alcune nuove domande per verificare i risultati, spiegare questioni controverse e testare i concetti generali in scenari più concreti.
Sotto c’è un esempio di un output visibile a schermo preso dal terzo round. In Figure 1 c’è l’introduzione all’indagine dove è brevemente spiegato il compito.
Le seguenti immagini mostrano il caso di domande reiterate: agli esperti è stato inizialmente mostrato un riassunto delle risposte del loro panel in round precedenti (Figure 2). Poi, l’item dove non si è raggiunto il consenso è stato chiesto di nuovo, mentre gli esperti potevano visualizzare la risposta media e la deviazione standard (in verde). Nel box sotto, il rispondente poteva visualizzare le sue risposte precedenti e cambiarle o confermarle. Nel Round 3 i commenti alle nuove risposte erano obbligatori.

Figura 1. Esempio di introduzione all’indagine nel Round 3

Figura 2. Riassunto delle risposte del round precedente

Figura 3. Nuove risposte ad item controversi