Questionari: gli errori da evitare

I questionari sono strumenti molto utili per fare ricerca. Sia ricerca scientifica, che ricerca qualitativa e quantitativa, ad esempio nell'ambito delle scienze sociali, della psicologia, delle ricerche di mercato, nella fase di ricerca dell'UX.

Per evitare di incorrere in errori sistematici (bias), è però necessario adottare una serie di accorgimenti.

Gli errori

Quali sono gli errori in cui si può incorrere nella creazione di un questionario? Podsakoff et al. (2003) e Choi e al (2005) elencono una serie di possibili problemi di cui è fondamentale essere consapevoli, per cercare di prevenire (o di correggere).

Self-report bias

può avvenire se la persona che risponde al questionario è la stessa le cui caratteristiche sono oggetto di indagine. Questo bias può essere causato da numerosi fattori:

• bisogno di consistenza: le persone sentono il bisogno di sentirsi coerenti e razionali, e dunque a volte possono involontariamente - e inconsciamente - modificare le risposte per mantenere questa forma di coerenza
• teorie implicite: a volte chi risponde ha delle teorie ingenue sull'argomento oggetto di indagine, e le risposte possono venire condizionate da queste teorie
• desiderabilità sociale: ovvero il bisogno di approvazione ed accettazione, e la credenza che questo bisogno possa essere soddisfatto attraverso comportamenti ed attitudini socialmente e culturalmente accettabili
• il bias di benevolenza, o leniency bias: può aver luogo se la persona che risponde nutre una simpatia nei confronti dell'oggetto dell'indagine
• il bias di condiscendenza, o acquiescence bias: ha luogo quando il partecipante assume un atteggiamento passivo, e risponde sempre di sì (o sempre di no); questo genere di risposte a caso è più frequente se il questionario è molto lungo, o se viene vissuto come una inutile perdita di tempo, o se viene ritenuto intrusivo e poco rispettoso della privacy
• bias dovuti allo stato emotivo del partecipante: se il partecipante vive uno stato emotivo particolarmente negativo (o positivo) questo può condizionare in un senso o nell'altro le risposte, soprattutto nelle indagini che misurano attitudini o valutazioni soggettive

False dichiarazioni

Vi sono circostanze in cui i partecipanti hanno interesse a mentire, o a rispondere in maniera non appropriata. In circostanze legali, ad esempio (tipico caso, risarcimenti assicurativi), o nella selezione del personale. Nel primo caso l'intervistato ha interesse ad accentuare - o simulare - problemi o patologie. Nel secondo caso, a minimizzare evetuali problemi, ed accentuare o simulare competenze e qualità positive.

Altra circostanza sono quei comportamenti o quelle patologie socialmente inaccettabili o soggette a stigma sociale. Basti pensare all'AIDS, nell'ambito delle patologie.

Errori nelle domande

Nello scrivere le domande, è opportuno porre attenzione a potenziali problemi nella loro formulazione:

• domande che inducono effetti di desiderabilità sociale
• domande ambigue
• domande che implicano più risposte in una
• domande che usano termini che possono avere significati multipli
• uso di termini tecnici, o gergali, termini poco frequenti
• uso di termini o valori poco specifici
• domande formulate in termini negativi
• domande complesse, nel costrutto, nella sintassi, nel lessico
• domande poco esplicative, magari perché troppo corte
• framing effect: Come dimostrato da Tversky e Kahneman, il modo in cui una domanda è posta può influenzare la risposta

Errori nelle possibili risposte

Se le domande sono a risposta multipla, è necessario evitare che le possibili risposte generino errori o difficoltà. Possibili errori nelle risposte chiuse:

• categorie insufficienti, ad esempio una risposta sì - no quando una scala nominale sarebbe più appropriata, oppure usare una scala likert con troppo pochi (o con troppi) intervalli
• forzare il partecipante a rispondere (magari rendendo la risposta obbligatoria) senza offrire le opzioni non so o non voglio rispondere
• proporre una lista di scelte incompleta, senza dare al partecipante la possibilità di integrare con una risposta aperta
• elencare intervalli che si sovrappongono
• la presenza di valori ancora

Errori che emergono dal contesto

• effetto priming: quando una domanda condiziona la risposta a domande successive, ad esempio rendendo più salienti alcuni aspetti del fenomeno indagato
• questionari in cui vengono mescolate domande relative a costrutti diversi
• il luogo ed il momento della somministrazione

Atteggiamento dell'intervistatore

Nei questionari somministrati di persona, a voce, è possibile che l'intervistatore introduca, inconsapevolmente, degli errori

Possibili soluzioni

• quando possibile, ottenere informazioni da fonti terze, o confrontare i self-report con fonti informative differenti
• proteggere l'anonimato di chi risponde; se possibile rendere anonimo il partecipante anche nei confronti del ricercatore
• valutare l'ordine delle domande e, quando opportuno, randomizzarne l'ordine
• correggere le domande problematiche, attraverso alcuni accorgimenti:
  1. dare una definizione dei termini potenzialmente ambigui o vaghi (oppure trovare un sinonimo)
  2. evitare concetti vaghi, oppure dare degli esempi neutrali
  3. fare domande semplici, concise, e specifiche
  4. evitare domande che implicano più di una risposta
  5. scomporre le domande che si riferiscono a più dimensioni o aspetti
  6. evitare l'uso di forme sintattiche complesse

Suggerimenti metodologici

La consapevolezza dei potenziali problemi, e le soluzioni proposte, aiutano ad evitare gli errori più grossolani. Ciononostante, da un punto di vista metodologico, è opportuno che, prima della formulazione e somministrazione dei questionari, si usino altri strumenti, di tipo qualitativo, per mappare il dominio di ricerca.

Dunque, prima ancora di iniziare a formulare il questionario, è utile fare delle indagini esplorative, magari usando strumenti come le interviste in profondità, il laddering, il free listing, il confronto triadico, l'osservazione.

Inoltre, una volta formulata una prima bozza del questionario, è opportuno fare una somministrazione pilota, ad un numero limitato di persone, finalizzata proprio a testare il questionario.
In questo genere di somministrazione, è opportuno non solo analizzare con occhio critico le risposte, ma chiedere esplicitamente ai partecipanti un feedback sulle domande.

Infine, dopo la somministrazione, l'uso di statistiche descrittive (la presenza, ad esempio, di outlier negli item, o nelle risposte dei partecipanti) può permettere di diagnosticare eventuali anomalie; a questo punto, però, diventa difficile correggerle, e diventa necessario valutare quei dati anomali con la massima prudenza e con un sano scetticismo.

Conclusioni

Come tutti gli strumenti di misurazione, anche i questionari sono soggetti ad errori di misurazione, casuali o sistematici. Eliminare con certezza questi errori non è possibile. È possibile però cercare di prevenirli o di correggerli.

Bibliografia

Choi, B. C. K., & Pak, A. W. P. (2005). A Catalog of Biases in Questionnaires. Preventing Chronic Disease, 2(1), A13.

Pew Research Center: Questionnaire design

Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended remedies. Journal of applied psychology, 88(5), 879.