Cette page explique comment surveiller le trafic des tests A/B et comparer les métriques clés de votre activité pour la recherche dans la console "Recherche pour le commerce".
Présentation
Vous pouvez effectuer un test A/B pour comparer les métriques commerciales clés entre votre implémentation de recherche existante et Vertex AI Search pour le commerce.
Après avoir configuré le test et la répartition du trafic, vous pouvez surveiller le trafic du test et afficher les métriques commerciales sur la page Test de la console Search for Commerce.
Pour configurer la surveillance des tests A/B dans la console, vous devez saisir des informations sur votre test A/B, comme son nom, sa plage de dates et des informations sur les bras de test. Chaque bras de variante de test correspond à un groupe de test que vous avez créé pour le test A/B, où le premier bras que vous configurez dans la console est traité comme le contrôle de référence.
Chaque test comporte un onglet Surveillance qui affiche des métriques de répartition du trafic. Ces métriques peuvent vous aider à déterminer si le test A/B est correctement configuré. Cette étape est importante pour vérifier si un biais a été introduit dans le test A/B. Par exemple, un problème typique à surveiller est de savoir si certaines requêtes ou catégories sont diffusées par un bras de test, mais pas par d'autres.
Chaque test comporte également un onglet Données analytiques dans lequel vous pouvez comparer les métriques commerciales clés. Deux catégories de métriques d'activité sont incluses :
- Métriques par recherche ou par navigation, comme les clics par recherche.
- Métriques par visite de recherche ou de navigation, comme le revenu par visite de navigation.
Pour obtenir la liste complète des métriques, consultez la page Liste des métriques.
Chaque métrique commerciale fournit des valeurs brutes, une augmentation relative par rapport au groupe de contrôle de référence et un intervalle de confiance de 95 %. Vous pouvez afficher à la fois les métriques agrégées et les métriques par date.
L'onglet "Surveillance du trafic" indique si des répartitions du trafic inattendues se sont produites et les dates auxquelles elles ont eu lieu. Une répartition du trafic inattendue est déterminée en comparant le pourcentage de répartition du trafic réel avec le pourcentage de répartition prévu que vous avez saisi lors de la configuration de la surveillance. La répartition du trafic est considérée comme correcte si la différence relative est inférieure ou égale à 10 %. Par exemple, si le trafic est censé être réparti de manière égale entre deux bras, une répartition réelle de 45 % à 55 % se situe juste dans la plage prévue.
Vous pouvez utiliser la console pour surveiller plusieurs tests simultanément.
La date du test et les métriques segmentées par date utilisent le fuseau horaire America/Los_Angeles et l'heure 00h00 America/Los_Angeles pour les dates de début et de fin.
Vous pouvez modifier à tout moment les détails d'un test dans la console (dates de début et de fin, nombre de bras de variante, ID de test et pourcentage de répartition du trafic prévu, par exemple), qu'il soit en cours, terminé ou en attente. Les données sont mises à jour de manière rétroactive.
La surveillance et l'analyse des tests A/B sont soumises aux exigences/limitations suivantes :
La période maximale pour laquelle vous pouvez suivre les données de test est de 180 jours. Si un test a commencé il y a plus de 180 jours, les métriques antérieures ne sont pas enregistrées.
La surveillance du trafic par requête ou par catégorie ne renvoie que les 100 requêtes ou catégories les plus performantes de tous les bras de variante du test.
Avant de commencer
Avant de configurer la surveillance dans la console Recherche pour le commerce pour un test A/B :
Configurez l'ingestion des événements utilisateur pour les événements diffusés par votre implémentation de recherche existante et par Vertex AI Search pour le commerce.
Consultez les bonnes pratiques pour les tests A/B.
Configurez le test avec une plate-forme tierce, telle que Google Optimize ou Optimizely.
Configurez et notez l'événement utilisateur
experimentIdspour chaque groupe de test. Lorsque vous configurez la surveillance des tests, vous devez spécifier les ID de test pour chaque bras de variante.
Ajouter un test dans la console
Suivez les procédures ci-dessous pour ajouter une expérience à surveiller dans la console Search for Commerce :
Dans cette procédure, vous allez créer des bras de variante dans la console "Recherche pour le commerce" qui correspondent aux groupes de test existants que vous avez créés dans votre plate-forme de test tierce. Pour obtenir des exemples de mappage des bras de variantes aux groupes de tests existants, consultez Exemples de configurations de tests.
Ajouter des détails sur le test
Ajoutez un test dans la console et saisissez ses détails.
Accédez à la page Tests dans la console Search for Commerce.
Accéder à la page "Tests"Cliquez sur Ajouter un test.
La page Nouveau test s'ouvre.
Attribuez un nom à votre test.
Sélectionnez les dates de début et de fin de votre test.
Si le trafic de votre test est défini pour augmenter progressivement, définissez la date de début sur une date à laquelle l'augmentation est terminée et la répartition du trafic est stabilisée.
Sélectionnez le type d'activité que ce test suit :
Parcourir : navigation sur votre site par catégorie de page. L'activité de navigation est indiquée par une requête vide dans la réponse de recherche.
Recherche : recherches par requête textuelle sur votre site.
Ensuite, créez des bras de test pour votre test.
Ajouter des variantes
Après avoir ajouté les détails du test dans la console, créez des bras de variantes correspondant à chaque groupe de test.
La première variante que vous configurez est la variante de référence. La référence représente généralement votre solution existante.
Avant de commencer, assurez-vous d'avoir l'événement utilisateur experimentIds pour chaque groupe de test.
Cliquez sur Ajouter un bras de variante.
Le panneau Créer un bras de variante s'ouvre.
Saisissez l'événement utilisateur
experimentIdassocié à la configuration du test que ce bras de variante surveillera :Si vous configurez votre bras de variante pour la première fois : saisissez l'événement utilisateur
experimentIdassocié au groupe de référence qui servira de référence.Si vous avez déjà configuré le bras de variante de référence : saisissez l'événement utilisateur
experimentIdassocié au prochain groupe de test.
Attribuez un nom lisible à ce bras de variante.
Ce nom s'affiche dans les tableaux de bord de surveillance de la console.
(Facultatif) Fournissez une description pour ce bras de variante.
Sélectionnez une destination de trafic de diffusion :
API Google Vertex AI Search pour le commerce : ce bras de variante surveille le trafic pour les résultats Vertex AI Search pour le commerce.
Externe : si ce bras de variante surveille le trafic pour obtenir les résultats d'un service externe. Par exemple, le bras de variante de référence (ou de contrôle) représente probablement une destination externe si le test compare le trafic d'un service existant à Vertex AI Search pour le trafic commercial.
Cliquez sur Créer pour finaliser la création de ce bras de variante.
Le bras de variante s'affiche sur la page Nouveau test.
Répétez les étapes précédentes pour créer des bras de variantes associés à chaque groupe de test que vous prévoyez de surveiller.
Vous devez disposer d'au moins un bras Externe et un bras API Google Vertex AI Search for Retail.
(Facultatif) Par défaut, le pourcentage de trafic prévu est réparti de manière égale entre tous les bras de variantes. Pour personnaliser les pourcentages de trafic prévus :
Dans la section Ajouter des variantes, cliquez sur une valeur de pourcentage de trafic dans la colonne Trafic %.
Le panneau Pourcentage du trafic s'ouvre.
Dans le champ Répartition du poids, sélectionnez Pourcentages personnalisés.
Dans la colonne % de trafic de chaque bras de variante, saisissez le pourcentage de trafic prévu.
Le pourcentage total du trafic pour tous les bras de variantes doit être égal à 100 %.
Cliquez sur OK.
Le panneau Pourcentage de trafic se ferme.
Cliquez sur Créer sur la page Nouveau test pour terminer la création de votre test.
Le test s'affiche sur la page Tests d'intégration.
Exemples de configurations de tests
Cette section présente deux exemples de configurations de tests.
L'exemple 1 montre un groupe de contrôle de référence et un groupe de test Vertex AI Search pour le commerce.
L'exemple 2 montre comment comparer un groupe de contrôle de référence avec deux groupes de test Vertex AI Search pour le commerce.
Exemple 1 : Deux bras de variante
Dans cet exemple, supposons que vous prévoyez de configurer un test A/B avec :
- 20 % des requêtes de recherche envoyées aux moteurs de recherche internes comme groupe de contrôle de référence
- 20 % des requêtes de recherche envoyées à l'API Google Vertex AI Search pour le commerce en tant que groupe de test
- 60 % en tant que groupe de validation qui n'est pas inclus dans le test A/B
La configuration de la requête et de l'événement utilisateur serait la suivante :
| Type de trafic | Moteur de découverte | 60 % | event.experimentIds |
event.attributionToken |
% du trafic |
|---|---|---|---|---|---|
| Contrôler le trafic | En interne | CONTROL |
N/A | 20 % | |
| Trafic de test | API Google Vertex AI Search pour le commerce | EXPERIMENT |
Jeton d'attribution provenant de la réponse de recherche | 20 % | |
| Trafic de validation | L'un ou l'autre / Les deux | N/A | Selon le moteur de découverte | 60 % |
Le trafic de validation peut être diffusé par un moteur de recherche interne, Vertex AI Search pour le commerce ou les deux. Comme ils ne font pas partie du test A/B, ils n'ont pas d'ID de test. Pour indiquer quels événements utilisateur font partie du test A/B, veillez à fournir des informations sur experimentIds et attributionToken. Vos chaînes experimentId peuvent être différentes de celles fournies dans cet exemple. Assurez-vous que les ID que vous utilisez sont cohérents entre vos tests et vos événements utilisateur.
Lorsque vous créez le test correspondant dans la console, vous ne créez que deux bras de variante, car le groupe de validation n'en fait pas partie. La répartition du trafic prévue entre les deux bras de variante est de 50 % / 50 %.
Pour configurer la surveillance de cet exemple de test, vous devez créer des bras de variantes correspondants dans la console pour chaque groupe de test. Le tableau suivant présente les informations que vous devez saisir dans la console lors de la configuration du bras de variante pour cet exemple.
| Nom du groupe de variantes | Destination du trafic | ID du test d'événement utilisateur | % du trafic prévu |
|---|---|---|---|
| Exemple de bras de contrôle | Externe | CONTRÔLE | 50 % |
| Exemple de bras de test | API Google Vertex AI Search pour le commerce | EXPÉRIENCE | 50 % |
Exemple 2 : Trois bras de variante
Dans cet exemple, supposons que vous prévoyez de mener un test A/B sur les requêtes de tête (requêtes à haute fréquence) et d'inclure l'activation et la désactivation des facettes dynamiques. Les configurations des requêtes et des événements utilisateur seraient les suivantes :
| Nom du groupe de variantes | Destination du trafic | event.experimentIds | event.attributionToken | % du trafic |
|---|---|---|---|---|
| Contrôle des requêtes principales | En interne | CONTRÔLE | N/A | 50 % des requêtes génériques |
| Test "Activer les attributs dynamiques pour les requêtes de requête" | API Google Vertex AI Search pour le commerce | EXP_DF_ON | Jeton d'attribution provenant de la réponse de recherche | 25 % des requêtes génériques |
| Test "Désactiver les attributs dynamiques pour les requêtes de requête" | API Google Vertex AI Search pour le commerce | EXP_DF_OFF | Jeton d'attribution provenant de la réponse de recherche | 25 % des requêtes génériques |
| Requêtes non principales et autres échantillons de validation | API Google Vertex AI Search pour le commerce | N/A | Dépend du moteur utilisé | N/A |
Pour configurer la surveillance de cet exemple de test, vous devez créer des bras de variantes correspondants dans la console pour chaque groupe de test. Le tableau suivant présente les informations que vous devez saisir dans la console lors de la configuration du bras de variante pour cet exemple.
| Nom du groupe de variantes | Destination du trafic | ID du test d'événement utilisateur | % du trafic prévu |
|---|---|---|---|
| Exemple de bras de contrôle | Externe | CONTRÔLE | 50 % |
| Exemple de bras de test 1 | API Google Vertex AI Search pour le commerce | EXP_DF_ON | 25 % |
| Exemple de bras de test 2 | API Google Vertex AI Search pour le commerce | EXP_DF_OFF | 25 % |
Métriques sur le trafic
La page Surveillance d'un test indique s'il existe des répartitions du trafic inattendues pour les métriques suivantes :
- Nombre d'événements de recherche/navigation par date
- Rechercher/Parcourir le nombre de visiteurs par date
- Nombre d'événements de recherche/navigation par catégorie
Lorsqu'une répartition du trafic inattendue se produit pour l'une de ces métriques, la fiche correspondante en haut de la page Surveillance indique les dates auxquelles la répartition du trafic inattendue s'est produite. Cliquez sur Répartitions du trafic inattendues pour afficher un tableau filtrable listant les répartitions du trafic inattendues pour cette métrique.
Les tableaux suivants de la page Surveillance d'un test comparent les métriques de trafic entre les bras de variante en fonction de l'utilisation. Cliquez sur Afficher plus à côté du titre d'un tableau pour afficher un tableau filtrable listant toutes les répartitions du trafic pour cette métrique :
Nombre d'événements de recherche/navigation par date : nombre total de recherches ou de navigations effectuées dans un bras de variante à une date donnée.
Nombre de visiteurs par date (recherche/navigation) : nombre de visiteurs ayant effectué une requête ou parcouru un bras de variante à une date donnée.
Nombre d'événements de recherche/navigation par catégorie : nombre total de fois qu'une requête ou une catégorie donnée a été recherchée dans un bras de variante depuis la date de début de l'expérience jusqu'à sa date de fin (ou jusqu'à la date du jour, si l'expérience est en cours). Ce tableau n'affiche que les 100 premières requêtes ou catégories en termes de trafic total de tous les bras de variantes du test.
Surveiller un test
La page Tests d'intégration affiche un tableau de vos tests récents.
Pour surveiller un test :
Accédez à la page Tests dans la console Search for Commerce.
Accéder à la page "Tests"Cliquez sur le nom du test.
La page Monitoring de ce test s'ouvre.
Examinez la page pour détecter les répartitions du trafic inattendues.
Chaque métrique affiche les dates auxquelles des répartitions du trafic inattendues se sont produites.
Si vous constatez des répartitions inattendues, cliquez sur Répartitions du trafic inattendues pour afficher un tableau filtrable listant les répartitions du trafic inattendues pour cette métrique.
Corriger les répartitions du trafic inattendues
La surveillance des tests depuis la console Recherche pour le commerce peut vous aider à identifier les problèmes potentiels dans vos tests.
Si vous constatez des répartitions du trafic inattendues, assurez-vous que les événements sont tagués avec l'ID de test approprié. Par exemple, si un événement appartenant à un groupe de contrôle est tagué avec un ID de test incorrect, il peut être attribué au mauvais bras de variante.
Si le taggage d'événements fonctionne correctement, les répartitions de trafic inattendues signalées par la console Recherche pour le commerce peuvent indiquer des problèmes de répartition du trafic dans votre plate-forme de test. Dans ce cas, mettez en pause votre test A/B avant de résoudre le problème afin que votre test ne produise pas de résultats incorrects.
Métriques commerciales pour l'analyse
Deux groupes de métriques d'activité sont disponibles :
- Métriques par recherche ou par navigation
- Visite par recherche ou visite par navigation
Métriques par visite de recherche
Les définitions des métriques par visite de recherche sont listées ici. Les définitions des métriques par visite de navigation sont semblables à celles des métriques par visite de recherche, à la différence que toutes les instances de "recherche" sont remplacées par "navigation".
Dans le cas du taux de bon de commande, un bon de commande peut inclure plusieurs SKU. Chaque SKU peut avoir une quantité supérieure ou égale à un.
-->| Nom de la métrique | Définition |
|---|---|
| Nombre de visites issues de la recherche | Nombre de visites comportant au moins une recherche. |
| Bounce rate | Nombre de visites de recherche avec un seul événement utilisateur / nombre de visites de recherche |
| Taux de pages vues | Nombre de clics (pages vues) / nombre de visites issues de la recherche |
| Taux d'ajout au panier | Nombre d'unités ajoutées au panier lors des visites issues de la recherche / nombre de visites issues de la recherche |
| Taux de bons de commande | Nombre de bons de commande dans les visites issues de la recherche / nombre de visites issues de la recherche |
| Taux de revenus | Somme des revenus générés par les visites issues de la recherche / Nombre de visites issues de la recherche |
| Valeur moyenne de la commande | Somme des revenus générés par les visites issues de la recherche / Nombre de bons de commande dans les visites issues de la recherche |
Métriques par recherche
Les définitions des métriques par recherche sont listées ici. Les définitions des métriques par navigation sont semblables à celles des métriques par recherche, à la différence que toutes les instances de "recherche" sont remplacées par "navigation".
| Nom de la métrique | Définition |
|---|---|
| Nombre de recherches | Nombre d'événements de recherche |
| Taux d'absence de résultat | Nombre d'événements de recherche sans résultat / nombre de recherches |
| Taux de clics (CTR) | Nombre de clics (pages vues) générés par la recherche/nombre de recherches |
| Taux d'ajout au panier | Nombre d'ajouts au panier générés par les recherches / nombre de recherches |
| Taux d'achat | Nombre d'unités achetées générées par la recherche / nombre de recherches |
| Taux de revenus | Somme des revenus générés par la recherche / nombre de recherches |
| Valeur unitaire moyenne (VUM) | Somme des revenus générés par la recherche / Nombre d'unités achetées générées par la recherche |
Analyser les performances commerciales du test
L'onglet Analytics de chaque test affiche des tableaux de bord de métriques commerciales. Les tableaux de bord affichent des comparaisons de performances entre les bras de variantes.
Il existe deux tableaux de bord de métriques :
- Métriques par visite de recherche et par visite de navigation
- Métriques par recherche et par navigation
Les métriques de recherche ou de navigation s'affichent en fonction de l'attribut ProductType du test.
Chaque tableau de bord affiche un tableau récapitulatif des métriques, qui présente les résultats des métriques agrégés pour les dates indiquées dans le filtre de plage de dates. Les valeurs de date par défaut sont les dates de début et de fin du test.
Chaque métrique est affichée sous la forme d'un tableau de résultats agrégés et d'un graphique des valeurs quotidiennes qui fournit des informations plus détaillées.
La plage de dates du tableau agrégé utilise les dates de début et de fin du test comme valeurs de date par défaut. Si le test est en cours, la date de fin est définie sur la date actuelle. Vous pouvez modifier le filtre de plage de dates. Si userAgent est fourni avec les événements utilisateur ingérés, vous pouvez également segmenter les métriques par type d'appareil.
Cliquez sur l'icône Actualiser pour appliquer les filtres modifiés aux métriques.
Lorsque l'augmentation relative des métriques est suffisamment positive pour dépasser la bande passante de l'intervalle de confiance, un arrière-plan vert s'affiche pour cette variante. De même, si l'impact relatif est suffisamment négatif, une couleur d'arrière-plan rouge s'affiche pour cette variante. Si l'impact relatif est inférieur à la largeur de l'intervalle de confiance, un arrière-plan gris indique que le résultat n'est pas statistiquement pertinent.
Par exemple, lorsque vous comparez un bras de variante à un bras de contrôle de référence :
- Si la métrique Taux de clics par recherche est de +3,0 % et que l'intervalle de confiance, affiché sous la forme CI d'augmentation, est de [2,1 %, 4,0 %], le bras de variante est mis en évidence en vert pour indiquer qu'il s'agit d'une variante plus performante pour cette métrique par rapport au bras de contrôle de référence.
- Si la métrique Taux de revenus par visite de navigation est de -1,5 % et que l'intervalle de confiance est de [-2,6 %, -0,4 %], le bras de variante est mis en évidence en rouge pour indiquer qu'il est moins performant pour cette métrique que le bras de contrôle de référence.
- Si la métrique Valeur moyenne par unité et par recherche est de +1,0 % et que l'intervalle de confiance est de [-1,1 %, 3,0 %], le bras de variante est mis en évidence en gris pour indiquer que la différence de performances n'est pas encore statistiquement pertinente.
En général, plus il y a de points de données, plus la variance est faible. Les métriques cumulées sur plusieurs semaines auront une bande passante d'intervalle de confiance plus faible que les métriques quotidiennes et sont plus susceptibles de présenter une signification statistique.
Modifier les détails du test
Vous pouvez modifier à tout moment les détails d'un test dans la console (date de début et de fin, nombre de bras de variante, ID de test, pourcentage de répartition du trafic prévu, etc.), qu'il soit en cours, terminé ou en attente. Les données sont mises à jour de manière rétroactive.
Pour modifier les détails d'un test :
Accédez à la page Tests dans la console Search for Commerce.
Accéder à la page "Tests"Dans le tableau affichant vos tests récents, recherchez celui que vous souhaitez modifier.
Cliquez sur l'icône à trois points Actions à droite de la ligne du tableau, puis sur Modifier.
La page Modifier le test s'ouvre.
Modifiez les champs du test que vous souhaitez mettre à jour.
Cliquez sur Mettre à jour pour enregistrer vos modifications.
Supprimer un test depuis la console
Pour supprimer un test dans la console Search for Commerce :
Accédez à la page Tests dans la console Search for Commerce.
Accéder à la page "Tests"Dans le tableau affichant vos tests récents, recherchez celui que vous prévoyez de supprimer.
Cliquez sur l'icône à trois points Actions à droite de la ligne du tableau, puis sur Supprimer.
La fenêtre de confirmation Supprimer le test ? s'ouvre.
Saisissez le nom de l'expérience, puis cliquez sur Confirmer pour confirmer la suppression.
Une fois la suppression terminée, la console affiche un message indiquant que votre expérience a bien été supprimée.