Durante la chiacchierata con Simone Borsci, a Radio UX, abbiamo parlato anche di intelligenza artificiale. In ambito medico, sostiene Simone, è utile soprattutto agli utenti esperti, che ne colgono i limiti e le potenzialità. Più sai, come dire, e più l'AI ti aiuta.
Qualche giorno fa, però, mi è capitato di leggere un articolo sperimentale sull'uso di GPT 4. I partecipanti erano 758 dipendenti di una società di consulenza. Prima dell'esperimento vero e proprio hanno somministrato a tutti un primo compito per misurarne le competenze (la baseline). Poi hanno diviso i partecipanti in 3 gruppi: no GPT, GPT4, GPT4 con training in prompt engineering, e hanno chiesto loro di completare 18 task tipici della società per cui lavorano. Il risultato: la prestazione dei due gruppi che usavano GPT era decisamente migliore del gruppo che non la usava (con un leggero vantaggio per chi aveva studiato prompt engineering). Il secondo dato interessante è che a beneficiare dell'AI furono soprattutto le persone che, nella baseline, erano più scarsi: non solo tutti sono migliorati, ma il gap fra gli scarsi e quelli bravi si è di molto ridotto. I risultati sembrano contraddire, dunque, l'ipotesi di Simone che anch'io sposavo. Dunque GPT è 'a livella, ma in positivo.
Ma forse c'è un aspetto da tenere in considerazione. Che racconterò non con un esperimento ma con un aneddoto personale. In questi giorni sto scrivendo un post sulla task analysis. Se chiedo a GPT cos'è, mi risponde
Task analysis is a method used in UX research and design to understand and document the steps, actions, and decisions involved in completing a task.
Ora io voglio raccontare, nel post, che la task analysis è uno dei metodi per far emergere le modalità in cui le persone portano a termine i loro compiti, e dunque i modelli mentali delle attività. E che questo ci è utile, in quanto il comportamento delle persone (e dunque degli utenti) è orientato a degli scopi (goal-oriented behavior), e capire quali siano gli scopi e come intendono realizzarli è dunque fondamentale.
Infatti, se io chiedo a GPT
Can we use the task analysis to discover the goal-oriented behavior of the users?
il modello risponde:
Yes, task analysis can be used to discover the goal-oriented behavior of users. By breaking down a task into its individual steps, you can gain insight into the user's thought process, their goals, and the strategies they use to achieve those goals. This can help you design a more intuitive and user-friendly product or service.
Infatti se chiedo
Which methods can be used to discover how the users try to achieve their goals?
GPT risponde con questo elenco (e una breve descrizione, che ometto)
User Interviews, Surveys, Observational Studies, Usability Testing, Diary Studies, Task Analysis, Analytics and Data Analysis
Se però io chiedo
Which methods can be used to discover the goals of the users?
Il sistema risponde con un elenco parzialmente differente:
User Interviews, Surveys, Observational Studies, Contextual Inquiry, Persona Development, User Testing, Analytics and Data Analysis
Tutto molto interessante, ma qui la task analysis non c'è. E no, non è un errore di GPT. Le due domande hanno una piccola ma significativa differenza: nella prima io chiedo "discover how the users try". Nella seconda chiedo "discover the goals of the users". La differenza è significativa, e qui non è questione di prompt engineering. È saperne abbastanza di psicologia delle motivazioni per avere chiaro che, nel definire uno scopo, le persone innescano due processi diversi: goal setting, per decidere quali scopi perseguire, e goal striving, ovvero il processo e le strategie messe in atto per raggiungere lo scopo, l'impegnarsi per realizzarlo. Goal setting è il cosa voglio, goal striving è il come. La task anaysis serve per comprendere il come, non il cosa. GPT ha risposto correttamente in entrambi i casi. Sta all'utente sapere cosa sta cercando (cosa vuole e come ottenerlo ;) ).
Potrei continuare con altri esempi, ma non voglio tediarti.
Nel mio caso io ho usato GPT per approfondire - e aiutarmi a scrivere - una mia idea sul rapporto fra comportamento orientato agli scopi e task analysis. Il sistema ha fatto un lavoro molto utile, scrivendo una serie di pezzettini e, infine, mettendoli assieme. GPT mi sta aiutando a scrivere una cosa mia, ma se io non avessi avuto l'idea iniziale ("possiamo vedere un legame fra comportamento orientato agli scopi e task analysis?") il sistema, da solo, non l'avrebbe generato.
Ma torniamo all'articolo. I ricercatori hanno fatto un secondo esperimento. Hanno costruito un compito in cui GPT dava una risposta plausibile ma sbagliata. Di nuovo, l'hanno data ai consulenti (da quello che ho capito un gruppo diverso da quello dell'esperimento precedente). Le condizioni erano simili: no GPT, GPT, GPT + training. In questo caso la situazione si è rovesciata. Il gruppo senza GPT è andato meglio degli altri due: la risposta corretta è stata identificata dall'84% dei consulenti, mentre nel gruppo GPT + training dal 70 e dal gruppo GPT senza training dal 60%. E questo è decisamente in linea con quello che ci raccontava Simone.
Dunque GPT ti aiuta se sai cosa chiedere (il mio aneddoto) e se riesci a capire le risposte che ottieni: una leva per "moltiplicare" le tue competenze. Può comunque essere molto utile anche se la tua competenza non è elevata, e in molti casi permette alle persone meno competenti di avvicinarsi a quelli bravi (la livella). A patto di prendersi il tempo di verificarne le risposte, altrimenti diventa una trappola.
Tanto per restare in tema, immagine generata con dall-e