Questo è post è spudoratamente finalizzato a pubblicizzare il mio corso sui mixed methods (l'approccio alla ricerca che integra metodi qualitativi e quantitativi). Confesso che scriverlo non è stato facile. Perché ho dovuto litigare con una delle mie personalità, quella di ex docente di analisi dei dati alla scuola di dottorato. Che, quando parlo di metodi quantitativi in contesti applicativi (UX ma non solo), mi guarda torvo e mi ricorda l'elefante nella stanza: non puoi stimare dei parametri di una popolazione se il campionamento non è rappresentativo. Ovvero: non puoi generalizzare i risultati di una indagine quantitativa (ad esempio di un questionario) se le persone che hanno risposto sono state reclutate con un campionamento "di convenienza", tipo mettendo un link sui social, o pubblicizzandolo su una newsletter. E chi lavora in ambito applicativo raramente ha la possibilità di fare un campionamento rappresentativo.
Per spiegarmi meglio ti faccio un esempio. Nel novembre 2020, ancora nel pieno della pandemia, misi online un questionario sul telelavoro, a cui risposero 119 persone. Nella prima domanda chiesi ai partecipanti se avessero esperienza di lavoro a distanza. 66 risposero "sì, anche prima della pandemia, 43 "è iniziata con il lockdown ed è continuata", 10 "sì, ma solo durante il lockdown" e 0 (zero) hanno selezionato "No, mai". Ora, quel zero è l'esempio più perfetto del concetto di "autoselezione": le persone che non avevano esperienza di telelavoro o non hanno nemmeno iniziato il questionario oppure lo hanno abbandonato senza inviare. E dunque appare evidente che quelle cifre non ci dicono nulla delle percentuali di una qualsiasi popolazione italiana.
Naturalmente ho chiesto anche l'opinione dell'intelligenza artificiale. Ho fornito lo stesso prompt (Provide examples illustrating the utility of quantitative approaches in UX research) a differenti modelli: claude-3-7-sonnet-20250219, o3-mini-2025-01-31, mistral-large, deepseek-chat. È interessante notare che tutti hanno citato una serie di metodi, ma nessuno ha posto l'accento sul problema del campionamento.
Se però sono io a sottolineare il problema della difficoltà ad usare un campionamento rappresentativo, ecco che i modelli diventano più severi del data scientist che c'è in me: eh sì, dicono, se non fai "random sampling" di quei dati puoi farci poco, manca la validità esterna.
Esiste una posizione più morbida fra i due estremi di ignorare il problema del campionamento e rassegnarsi a non usare metodi quantitativi? Sì, esiste, e consiste nel considerare questi dati "quantitativi" come un'estensione della ricerca qualitativa.
Anche se il campione non è rappresentativo, i dati possono raccontarci delle tendenze, che non vanno tanto misurate, quanto interpretate. Soprattutto, se abbiamo più variabili numeriche, possiamo cercare di capire - con strumenti di statistica descrittiva - se fra queste variabili vi sono delle relazioni.
Torno all'esempio del breve questionario sul telelavoro. La prima domanda, come abbiamo visto, era sull'esperienza con il telelavoro. La seconda domanda chiedeva, su una scala likert da 1 a 7: "Preferisci lavorare in presenza o a distanza?" dove 1 era in presenza e 7 a distanza. La terza e la quarta erano domande aperte, dunque squisitamente qualitative: "cosa ti piace del lavoro in presenza" e "cosa ti piace del lavoro a distanza".
Poi ho chiesto "Se tu potessi scegliere, quale preferisci fra queste opzioni?":
- Sempre e solo in presenza
- 3 o 4 giorni a settimana in presenza, 1 o 2 a distanza
- 1 o 2 giorni a settimana in presenza, 3 o 4 a distanza
- Un paio di volte al mese in presenza, il resto a distanza
- Sempre e solo a distanza
Le due domande successive, aperte, erano "quali attività preferiresti fare in presenza?" e "quali attività preferiresti fare a distanza?". Infine una domanda conclusiva: "C'è qualcos'altro che vuoi dirci sul telelavoro?"
L'analisi dei dati
Qui vorrei riportare una breve analisi statistica dei dati quantitativi.
119 persone hanno risposto al questionario.
Esperienza
Alla domanda Hai esperienza di lavoro a distanza - wfh? 66 persone hanno risposto Sì, anche prima della pandemia, 43 persone hanno risposto Sì, è iniziata con il lockdown ed è continuata, 10 persone hanno risposto Sì, ma solo durante il lockdown. È interessante notare che nessuno dei partecipanti ha risposto No, mai. Questo lascia intendere una autoselezione del campione (chi non ha fatto telelavoro non ha risposto al questionario).
Preferenza
La domanda Preferisci lavorare in presenza o a distanza? offriva ai partecipanti la possibilità di rispondere ad una scala likert, dove 1 rappresentava peferenza netta per il lavoro in presenza, 7 preferenza netta per il lavoro a distanza.
Il nostro campione tende a preferire il lavoro a distanza.
Scelta
Alla domanda Se tu potessi scegliere, quale preferisci fra queste opzioni?
7 persone hanno risposto Sempre e solo in presenza, 27 persone hanno risposto 3 o 4 giorni a settimana in presenza, 1 o 2 a distanza, 56 persone hanno risposto 1 o 2 giorni a settimana in presenza, 3 o 4 a distanza, 23 persone hanno risposto Un paio di volte al mese in presenza, il resto a distanza, 4 persone hanno risposto Sempre e solo a distanza.
Dunque il nostro campione preferisce le soluzioni ibride: metà settimana in presenza, metà a distanza.
Interazione fra variabili
Esperienza e preferenza
In questo grafico mostriamo i boxplot delle preferenze espresse, distinte per esperienza. Come si può notare le persone che hanno lavorato a distanza solo durante il lockdown preferiscono il lavoro in presenza, mentre le altre apprezzano il lavoro a distanza.
Più in particolare: la mediana delle risposte delle persone che lavoravano a distanza anche prima, e quelle che hanno continuato anche dopo, era di 5/7, mentre la mediana di chi ha lavorato a distanza solo durante il lockdown era di 3/7. E, senza voler fare analisi inferenziale, in questo grafico appare un pattern: chi ha sperimentato il telelavoro solo durante il lockdown lo ha fatto perché costretto, mentre gli altri - soprattutto chi aveva esperienza precedente - perché lo apprezza.
Preferenza e scelta
Non è ovviamente sorprendente notare che chi preferisce lavorare sempre in presenza non ama il lavoro a distanza, e viceversa, e dunque il grafico sottostante è piuttosto prevedibile.
Esperienza e scelta
Meno banale l'interazione fra esperienza e scelta. Dall'analisi esplorativa grafica si evince che le persone che hanno fatto WFH solo durante il lockdown sono anche quelle che amano meno il lavoro a distanza, mentre chi ha iniziato prima e anche chi ha iniziato con il lockdown ma ha continuato tende a preferire un approccio ibrido o, nel primo gruppo, anche completamente a distanza.
Questo, per la cronaca, è un mosaic plot fatto con ggplot in r. Che conferma che buona parte di chi ha fatto il lavoro a distanza solo durante il lockdown preferisce lavorare sempre o prevalentemente in presenza, mentre chi ha iniziato prima della pandemia preferisce una soluzione ibrida e qualcuno sempre a distanza.
Mappare la relazione fra queste variabili ci permette di identificare dei pattern. Nella prospettiva UX potremmo immaginare due personaggi, che potremmo chiamare il|la riluttante e l'entusiasta.
E le risposte alle domande aperte ci permettono di farci un'idea delle loro motivazioni.
Dunque, abbiamo fatto delle analisi quantitative e abbiamo disegnato dei grafici, ma la chiave di lettura è più qualitativa. Potremmo identificare dei temi in base alle risposte aperte, e quelle più frequenti potrebbero essere usate per un test su scala likert finalizzato a misurare le motivazioni. Avrei potuto somministrare questo test ad un nuovo campione, e con i dati raccolti avrei potuto fare una cluster analysis che avrebbe potuto confermare (o smentire) la segmentazione ipotizzata in precedenza.
Avrei potuto farlo, ma non l'ho fatto, che sono un incorreggibile perditempo.
E dunque la mia personalità datanazi (e gli LLM, se glie lo chiedi) hanno ragione a metterci in guardia sui limiti di un campionamento di convenienza. Ma, se siamo consapevoli dei limiti, i dati raccolti possono aiutarci ad elaborare delle ipotesi e ad integrare la ricerca qualitativa.