A/B Testing : prendre en compte le comportement de vos utilisateurs

Par Corentin Huard, le 05.09.2016

Il y a plus de 1,5 million d’applications sur le Play Store et un nombre similaire sur l’App Store. Il est donc nécessaire de comprendre ce qu’attendent vos utilisateurs, de leur offrir un service qu’ils veulent utiliser, et de vous différencier par rapport aux autres acteurs du domaine pour gagner en popularité. La première minute passée sur une application est déterminante pour savoir si l’utilisateur va la garder ou pas.

Dans cette optique vous avez donc décidé de modifier un peu votre application en soignant bien votre UX, pour augmenter votre taux de conversion. Vous avez passé des heures à retravailler l’apparence de ce bouton, à réfléchir à un nouveau titre et, vous en étiez sûr, les utilisateurs ne pourraient rien faire d’autre maintenant que de suivre ce beau parcours que vous leur aviez préparé. Et pourtant cela ne se passe pas comme prévu. Non seulement votre taux de conversion n’augmente pas, mais pire, les utilisateurs semblent désormais fuir votre application !

Le constat est simple, vous n’avez pas réussi à répondre à l’attente de vos utilisateurs, et pour cause, il est pratiquement impossible de prédire l’efficacité d’une solution avant de l’avoir testée. Plongé dans son projet, il est difficile de réussir à en sortir et de se confronter à l’utilisateur et à sa manière d’interagir avec votre application.

Pourtant, acquérir un trafic conséquent sur votre application représente un travail lourd voire onéreux, il est donc essentiel de savoir réaliser les bonnes actions pour fidéliser vos utilisateurs et bien comprendre leur comportement. Vous avez donc besoin de pouvoir tester facilement vos nouvelles features et les changements que vous voulez mettre en place. La solution existe : l’A/B Testing.

Qu’est ce que l’A/B Testing ?

Comme son nom l’indique, cette solution consiste à créer et à présenter une (ou plusieurs) variante(s) à la version déjà en place et à l’assigner à un panel d’utilisateurs qui servira d’échantillon test pour voir si elle plaît.

Cette méthode permet de tester de manière scientifique tous les éléments mis en place dans votre application, et elle est utile à tous les endroits où vous proposez une action à l’utilisateur. La version qui procure le plus grand taux de conversion « gagne ». Celui-ci est défini en fonction de l’objectif de votre application :

  • abonnement
  • mise au panier
  • simple clic

Pourquoi faire de l’A/B Testing ?

L’A/B Testing est une manière simple et rapide de tester différentes possibilités. Quand vous vous demandez si une version est meilleure qu’une autre vous ne pouvez pas choisir au hasard laquelle retenir et il est dangereux d’en imposer une aux utilisateurs sans savoir comment ils vont réagir. Faire de l’A/B Testing vous permettra de tester une nouvelle idée sur un panel limité et de prendre en compte les actions des utilisateurs face à votre proposition pour décider s’il est intéressant de poursuivre dans cette direction.

Ce besoin de tester des nouvelles idées est récurrent puisqu’il est intéressant de toujours challenger ce que vous avez développé. C’est donc un atout de savoir mettre en place un outil permettant de le faire rapidement (le plus souvent sans avoir à resoumettre l’application) et de l’utiliser fréquemment et sur différentes fonctionnalités. N’importe quel changement peut impliquer une modification importante de comportement des utilisateurs et mérite d’être testé.

Vous pourriez choisir de développer deux versions de votre application et de décider depuis votre serveur quelle version afficher à quels utilisateurs. Mais ce processus serait lourd et très peu flexible là où un outil d’A/B Testing vous permettrait de tester des multitudes de changements très simplement.

Les outils d’A/B Testing vous permettront aussi de :

  • voir comment augmenter le taux de conversion
  • récolter des données
  • mieux connaître votre audience

S’il fallait finir de vous convaincre, sachez que tous les « grands » du domaine (Facebook, Google, Instagram,…) l’utilisent en continu pour rendre l’expérience qu’ils proposent toujours plus complète.

Les règles à suivre

Maintenant que vous voyez mieux l’intérêt de mettre en place un outil d’A/B Testing, voici quelques règles qu’il nous semble important de suivre afin d’utiliser cette méthode le mieux possible.

Règle n°1 : Avoir une taille d’échantillon suffisante

Pour avoir un résultat interprétable il faut que la base de vos utilisateurs soit suffisamment importante, et que la part de ceux qui verront la variante de votre application soit représentative.

Règle n°2 : Bien planifier vos tests

Comme dans tout projet un planning est primordial pour bien gérer vos tests. Fixez le temps que doivent durer les périodes de test et à partir de quand vous voulez les mettre en place.

Clarifiez également les objectifs que vous voulez atteindre (votre taux de conversion : augmenter l’utilisation d’une feature, le nombre de vues, d’achats,…) et chiffrez-les.

Gardez en tête que le but principal est de faire des progrès sur le long terme et que la transformation ne se fera peut-être pas immédiatement (sur mobile, nous sommes habitués à ce que tout aille très vite et que les changements s’opèrent rapidement, mais il peut être parfois nécessaire d’attendre pour observer des modifications dans le comportement de vos utilisateurs).

Règle n°3 : Être clair sur les éléments que vous voulez tester

Posez vous les bonnes questions, formulez des hypothèses (en vous basant sur les données récoltées) et définissez quels sont les éléments qui vont connaître des variantes et produisez les versions qui vont être testées.

Afin de mieux appréhender ce que vos utilisateurs désirent, ce qu’ils essayent de faire ou aimeraient réaliser au sein de votre application il existe d’autres outils qui analysent l’expérience utilisateur au cours de sa navigation (IBM Tealeaf, UserReplay,…). Ou bien vous pouvez tout simplement rencontrer vos utilisateurs, les interviewer et les observer.

Règle n°4 : Définir votre panel d’utilisateurs

Vous aurez besoin de bien définir la cible sur laquelle vous voulez tester vos variantes (par exemple les utilisateurs de tablettes résidant en France). Vous devrez aussi étudier vos analytics afin de bien connaître la situation actuelle et de pouvoir la comparer avec la nouvelle version testée. La plupart des solutions d’A/B Testing vous procurent ces données.

Règle n°5 : Faites simple

Commencez en testant des choses simples dans votre application (une couleur, un titre), et ne testez qu’une seule chose à la fois (vous pouvez mener plusieurs tests de front mais chacun d’entre eux ne doit concerner qu’une variable). Cela vous aidera à savoir quel est le changement qui a vraiment été efficace.

Testez les éléments qui ont réellement du sens (ceux qui peuvent tout changer, pas un obscur paragraphe).

Règle n°6 : Choisissez la bonne version à garder :

Les outils d’A/B Testing fournissent en général des éléments d’analytics et de statistiques que vous pouvez utiliser pour décider de la variante à garder. L’indice de confiance statistique est un bon indicateur pour faire ce choix.

Les éléments à tester

Vous pouvez réellement tout éprouver avec l’A/B Testing au sein de votre application. Les éléments les plus intéressants sont globalement tous ceux qui conduisent (directement ou pas) l’utilisateur à réaliser une action. De manière non exhaustive on retrouve :

  • Les titres et les sous titres
  • Les paragraphes
  • Les catchphrases
  • Les textes invitant à réaliser une action
  • Les boutons (en particulier le passage à l’achat)
  • Les images
  • La navigation
  • Les push
  • La passerelle de paiement (quel prestataire)
  • Le pricing
  • La description sur le store

Les outils pour faire de l’A/B Testing

Nom User-Friendly Facile à mettre en place Plateforme dédiée Éditeur visuel Gratuit Website
Taplytics oui oui oui oui non https://taplytics.com/
Apptimize oui oui oui oui non https://apptimize.com/
Leanplum oui oui oui oui non https://leanplum.com/
Optimizely oui oui oui oui non https://optimizely.com/mobile/
Mixpanel oui oui oui oui non https://mixpanel.com/mobile-ab-testing
Azetone oui oui oui oui non https://www.azetone.com/
Splitforce moyen moyen oui non non https://splitforce.com/
Kii moyen moyen oui non non https://en.kii.com/platform/features/ab-testing/
Clutch.io non moyen non non oui http://clutchio.github.io/ab-testing.html
Switchboards non non non non oui https://github.com/KeepSafe/Switchboard
Abba non non non non oui https://github.com/maccman/abba

Et d’autres comme AB Tasty, VWO, Fliptest, Vanity, Tune, SWRVE que nous n’avons pas encore testés.

Comment choisir le bon outil ?

Comme vous le constatez il existe une multitude d’outils pour faire de l’A/B Testing présentant des fonctionnalités et des caractéristiques différentes. Pour vous aider à choisir, réfléchissez aux besoins que vous avez en termes de features et penchez vous sur la question du budget que vous souhaitez allouer à cette méthode. Le retour sur investissement peut être massif en comparaison avec des solutions d’acquisition de trafic.

Utilisez ces différents critères pour guider votre choix :

  • Est-ce compatible avec toutes les plateformes que vous utilisez ?
  • Est-ce facile à mettre en place (installation, définition des variables,…) ?
  • Est-ce rapide à utiliser (y a-t-il besoin de resoumettre l’application) ?
  • Y-a-t-il une plateforme dédiée pour visualiser les tests en cours ou pour en créer des nouveaux ?
  • Y-a-t-il un éditeur visuel (qui permet de faire des changements rapides, sans ligne de code et sans avoir prévu à l’avance quel élément faire varier) ?
  • Est-il possible de faire de la segmentation ?
  • L’outil offre-t-il des features additionnelles (analytics, push, heatmaps,…) ?
  • Qui va utiliser l’outil dans votre équipe (le chef de produit, le marketing ou un développeur ?)
  • L’outil permet-il un travail collaboratif ?
  • L’équipe qui fournit la solution assure-t-elle un bon support ?

Certaines des solutions présentées dans le tableau précédent (la plupart des solutions gratuites) sont moins abouties que les autres, néanmoins elles présentent l’avantage d’être open source et peuvent donc servir de base si vous souhaitez développer votre propre solution d’A/B Testing.

Conclusion

À l’heure où il devient nécessaire de comprendre l’expérience client, de soigner ses parcours, et d’offrir à ses utilisateurs ce qu’ils sont venus chercher pour réussir à se démarquer de la concurrence un outil comme l’A/B Testing est un réel avantage pour quiconque veut développer une application mobile. Il est même pratiquement essentiel si vous cherchez à améliorer en continu le service que vous proposez et à augmenter votre taux de conversion. Applidium peut vous accompagner dans l’implémentation de l’une de ces solutions au cœur de votre projet d’application mobile, voire pourquoi pas vous aider à développer votre propre outil.