UX Research : méthodes et questions pour améliorer la collecte des insights

La question du nombre de personnes

Une question qui revient souvent lors de l’organisation d’une recherche utilisateur en phase de discovery est celle du nombre de personnes à interviewer. Souvent c’est le chiffre 5 que les personnes qui posent la question ont en tête. S’il était à l’origine utilisé pour définir le nombre de personnes à rencontrer dans un test d’utilisabilité, il semble – malheureusement – sortir de son périmètre initial pour s‘appliquer librement à tout type d’étude qualitative.

‍

Si cette question est toujours au centre des préoccupations, ce n’est pas un hasard. Elle concerne les aspects financiers et politiques :

‍

• Organiser une étude avec 3 ou 12 personnes n’a pas le même coût ni le même impact sur le planning. Si vous pensez que c’est le cas, on se retrouve plus bas dans cet article.

• Dans le cadre d’un projet de transformation, le nombre de personnes rencontrées au sein de chaque entité doit être “représentatif” pour ne pas froisser les égos des différentes directions.

‍

Il y a quelques années, Jared Spool alertait déjà sur le problème que pose cette question : elle masque le bénéfice réel de la recherche utilisateur.

‍

Cette idée que cinq à huit personnes vont révéler 85% des tous les problèmes d'utilisabilité est un vieux mythe. Ce n'est pas vrai. Ça n'a jamais été vrai... La véritable valeur de la recherche utilisateur est qu'elle améliore notre compréhension de qui sont nos utilisateurs.

^{Jared Spool - A Fundamental Mind Shift For Usability Testing - Medium - Jul 31, 2019}

‍

Dans le cas des tests d’utilisabilité c’est donc la connaissance accumulée à chaque session qui apporterait de la valeur à l’organisation sur le long terme, plus encore que les problèmes identifiés.

Continuous Discovery et passage à l’échelle de l'UX Research

Quelques années plus tard, l’atomic research et les research repositories commencent à trouver leur place dans les organisations. En misant sur la collecte et le partage d’insights à grande échelle, ils doivent permettre de consolider et diffuser la connaissance client grâce à l’implication d’un maximum de personnes dans l’entreprise, encadrées par des profils plus experts. Avec l’objectif de décloisonner la recherche pour la faire infuser dans l’organisation, plusieurs axes émergent :

‍

• Moins d’expertise opérationnelle pour un plus gros volume de couverture,

• Les spécialistes deviennent des coachs qui accompagnent dans la réalisation des études.

‍

Dans leur quête de “diffusion de la connaissance” et dans un contexte de passage à l’échelle des activité de design, les UX Researchers – autrefois experts – se transforment donc en formateurs ou coachs d’entités. Cette approche est soutenue par l’apparition et l’arrivée à maturité d’outils qui simplifient la recherche, de son organisation jusqu’a sa consommation :

‍

• Il est désormais possible d’obtenir plusieurs centaines de résultats en quelques jours grâce à des formats qui hybrident qualitatif et quantitatif (Maze, Userzoom)

• Des outils comme Dovetail, Airtable ou même Coda, permettent d’alimenter les bases de connaissances en facilitant l’analyse de la recherche et son partage au sein de toute l’organisation.

‍

Le passage à l’échelle de la recherche utilisateur répond donc largement à la question du nombre de personnes à solliciter : les études sont menées par plusieurs dizaines de personnes en continu et à tous les niveaux de l’organisation pour générer un maximum d’enseignements. Mais si cette approche permet aussi d’acculturer l’organisation par la pratique, elle présente des risques au niveau de la qualité, de l’efficience et donc du retour sur investissement. Les personnes les plus mesurées rappellent bien que c’est en associant les pôles d’expertise à d’autres entités que cette nouvelle transformation pourra se dérouler correctement :

‍

Démocratiser la recherche ne veut pas dire que n'importe qui peut faire n'importe quel type de recherche. Vous aurez besoin d'avoir les bons critères de validation pour vous assurer que les partie-prenantes peuvent collecter et accéder aux informations dont elles ont besoin, quand elles en ont besoin, mais qu'elles le font d'une manière efficace et responsable pour que la recherche reste à un haut niveau de qualité et de pratique.

^{Maze - The UX Leadership Playbook}

‍

Mais avec les évolutions récentes de notre industrie et l’apparition de formations qui promettent une autonomie en quelques mois, il semble important de rester vigilants et rappeler quelques éléments importants...

Objectifs et méthodes de recherche

Les études qualitatives ne reposent pas sur les intervalles de confiance ou la représentativité des données. Vous n’avez pas besoin d’entendre le même enseignement de 5 personnes différentes pour le considérer comme valable. Ces études permettent de générer un matériau brut qu’il faudra analyser avec des méthodes quantitatives pour identifier ce qui a vraiment de la valeur pour l’organisation. C’est pour cela que les études qualitatives et quantitatives doivent être associées le plus souvent possible.

‍

Comme le rappelle Nicolas Klotz, Lead UX Researcher à la Société Générale, d’autres manières d’associer les deux types d’études existent :

‍

Organiser une étude quantitative en amont d’une étude qualitative peut aussi permettre de mieux définir le profil des personnes à rencontrer et générer de nouvelles questions auxquelles répondre lors des tests ou des interviews.

‍

Avec la bonne méthode et la bonne animation : 1 interview de 1h peut générer entre 50 et 200 opportunités, 1 session de 5 tests d’utilisabilité permet d’identifier 85% des problèmes. Pour atteindre ces résultats, il faut suivre des étapes simples à comprendre mais difficiles à maitriser. Entendez qu’après une formation, il faudra – au grand minimum – plusieurs dizaines d’heures pour les mettre en pratique correctement.

‍

• Avant l’étude : définir le domaine à explorer et les bonnes questions de recherche pour sélectionner la bonne méthode. Cette partie est généralement bien comprise car elle reprend les codes classiques du cadrage projet. Malheureusement elle n’est pas toujours – ou mal – réalisée. Regardez les protocoles de recherche qui circulent dans votre organisation : si les objectifs de l’étude et les questions auxquelles l’équipe espère répondre ne sont pas présents, c’est mauvais signe ! Nous parlons bien ici des questions de l’équipe pas de celles qui seront posées aux personnes rencontrées !

• Pendant l’interview : adapter l’écoute et les questions à la personne pour comprendre ses comportements et objectifs sans l’influencer. Si cela semble simple à comprendre et facile à faire, il n’en est rien. Plusieurs années sont nécessaires pour arriver à répondre aux questions de recherche tout en s’adaptant à la personne en face, sans l’influencer ou la biaiser. Si vous observez régulièrement des tests d’utilisabilité ou des interviews, vous devriez vous rendre compte que plus la personne qui anime est experte, moins elle parle. Pour creuser : 3 conseils pour réussir vos entretiens utilisateurs‍

• Après l’interview : analyser en finesse le contenu de l’interview pour collecter l’exhaustivité des enseignements en évitant les biais cognitifs. Si la question du nombre de personnes à rencontrer est souvent posée, ce n’est pas le cas du temps nécessaire à l’analyse des interviews. Pourtant, cette phase joue un rôle clé dans la génération du matériau qui alimentera toute l’organisation. Cette dernière étape mal connue et souvent mal réalisée – faute de temps – est pourtant clé dans la recherche. L’impact d’une mauvaise analyse sur le ROI des études n’est que peu discuté alors que c’est un problème majeur, d’autant plus présent que les méthodes s’ouvrent à des profils non experts.

L’importance de l’analyse

On peut réaliser une excellente interview mais si le temps dédié à son analyse est insuffisant ou la méthode retenue pas adaptée, on n’exploitera qu’une petite partie de son potentiel réel avec plusieurs conséquences :

‍

• La perte d’opportunités. En se basant sur la simple mémoire des personnes qui assistent à l’interview, la densité d’enseignements collectés réduit mécaniquement. Indi Young dans son livre Practical Empathy estime cette perte de 70 à 75%.

• L’exposition aux biais coginitifs. Le manque de temps renforce aussi les effets négatifs des biais cognitifs : on aura donc tendance à mémoriser ce qui renforce nos convictions. Ce qui signifie qu’en plus de perdre un grand nombre d’opportunités, on risque de favoriser celles qui sont déjà anticipées par l’organisation.

• La perte de qualité et de temps. Un travail précipité sur l’analyse d’une interview induit un manque de formalisme dans la création des enseignements. Le temps que l’on pense gagner en allant trop vite à cette étape se ressentira au moment de l’analyse globale.

‍

Ces facteurs, bien plus que le nombre de participant·e·s à votre étude, risquent de vous faire manquer des opportunités qui pourraient vous permettre de vous différencier sur le marché ou réduire vos coûts de développement.

Comment organiser votre prochaine étude ?

Conscient que ce discours peut sembler loin de la réalité terrain – surtout dans les organisations ou la course à la quantité et la rapidité semble avoir déjà fait ses preuves et qu’un changement d’approche peut ressembler à une nage à contre-courant – je vous propose quelques pistes qui semblent évidentes mais qu’il n’est pas toujours simple de mettre en place. L’idée n’est pas d’abandonner une façon de faire mais plutôt d’enrichir votre boîte à outils pour changer de mode en fonction de vos besoins. Gardons en tête que l’enjeu reste d’identifier un maximum d’enseignements à moindre coût, dans le respect du planning et en misant sur la qualité d’analyse plutôt que le nombre de personnes rencontrées.

‍

• La personne qui anime se concentre sur la personne rencontrée pour relancer ou creuser sur les sujets abordés et assurer une collecte adaptée aux questions de recherche de l’étude. Elle n’essaye pas de noter ce que la personne raconte. Si cela donne l’impression de gagner du temps sur l’analyse, ce n'est pas le cas : écouter et noter en même temps est contre-productif car cela dégrade la qualité de l’animation et donc le nombre d’opportunités générées. Tant que l’on reste dans le bon domaine d’exploration, laissons la personne nous surprendre, mener l’échange et nous raconter ce qui la fait vibrer positivement ou négativement. Cela permet de passer outre nos biais cognitifs et challenger les croyances de l’organisation.

• Analyser l’entretien en finesse. Se fier à sa mémoire, ce n’est collecter qu’une petite partie du potentiel réel d’une interview ou d’un test. Une lecture à froid du transcript complet d’une interview permet de collecter l’ensemble des opportunités exprimées par la personne. Si cela représentait un coût non négligeable il y a encore 2 ans, ce n’est plus le cas aujourd’hui. Les outils d’analyse automatisés permettent d’obtenir le transcript “propre” d’une interview en quelques minutes. Comptez tout de même du temps pour son nettoyage et sa relecture.

• L’analyse du transcript doit se faire avec méthode pour standardiser les enseignements entre participant·e·s tout en conservant l’essence de leur propos. Pour 1h d’interview, n’ayez pas honte de compter 4 à 5 heures d’analyse. À cette étape, vous définissez les pièces du puzzle à assembler. Plus elles seront propres et homogènes, plus vous serez efficace au moment de le recomposer.

• Les enseignements doivent ensuite être groupés pour être analysés et restitués. La plupart du temps les gens imaginent que cette étape prend du temps mais en réalité elle peut être très rapide, si la matière issue des analyses individuelles est propre.

Deux questions pour préparer votre prochaine étude

Pour conclure, je vous invite à inverser votre prisme : prioriser le temps d’analyse plutôt que le nombre de personnes intégrées à votre étude. À optimiser votre capacité et votre qualité d’extraction plutôt que le volume de votre réservoir avec ces deux questions :

‍

• Combien de temps pouvons-nous allouer à l’analyse des interviews ? Ce propos n’engage que moi mais la réponse à cette question pourrait même vous aider à définir le nombre de personnes à rencontrer. Si vous n’avez que 2 jours : ne vaut-il pas mieux faire une interview particulièrement intéressante et analysée en profondeur que cinq bâclées avec trop peu de temps d’analyse ?

• ‍Les personnes que nous allons rencontrer ont-elles vraiment des perspectives différentes sur le domaine que nous souhaitons explorer ? Si vous rencontrez 12 personnes mais que la moitié risque de vous raconter la même chose, n’hésitez pas à réduire la voilure pour ne retenir que celles qui contrastent le plus.

Le sujet vous intéresse ?

Voici quelques personnes et ressources qui m’inspirent sur le sujet :

‍

• Indi Young -> “Practical Empathy” pour apprendre à écouter et vibrer avec une personne sur les sujets qui l’intéressent plutôt que de lui faire répondre à des questions pré-déterminées.

• Teresa Torres -> “Continuous Discovery” pour comprendre l’intérêt de rencontrer 1 personne toutes les semaines

• Tony Ulwick -> “What customers want” pour garder en tête qu’une interview génère en moyenne 50 à 150 opportunités d’innovation.

• Kim Goodwin & Alan Cooper -> "About Face 3" et "Designing for the Digital Age: How to Create Human-Centered Products and Services" sur le Goal Directed Design. Au delà des interviews c’est le processus de modélisation qui prend du temps et demande un haut niveau d’expertise.

• Maze - PLaybook : "Democratizing Research to deliver impact at scale" avec des conseils pratiques pour passer la recherche à l’échelle dans votre organisation.

‍

‍N’hésitez pas à me contacter pour échanger sur le sujet ou le mettre en application !

‍