Esta página descreve como pode monitorizar o tráfego da experiência A/B e comparar as principais métricas de negócio para a pesquisa na consola de pesquisa para comércio.
Vista geral
Pode realizar uma experiência A/B para comparar as principais métricas empresariais entre a sua implementação de pesquisa existente e o Vertex AI Search para comércio.
Depois de configurar a experiência e a respetiva divisão de tráfego, pode monitorizar o tráfego da experiência e ver as métricas empresariais através da página Experiência na consola de pesquisa para comércio.
Para configurar a monitorização de experiências A/B na consola, introduza informações sobre o teste A/B, como o nome, o intervalo de tempo e as informações do grupo experimental. Cada grupo experimental da variante da experiência é mapeado para um grupo experimental que criou para a experiência A/B, em que o primeiro grupo que configurar na consola é tratado como o controlo de base.
Cada experiência tem um separador Monitorização que apresenta métricas de divisão do tráfego que podem ajudar a determinar se o teste A/B está configurado corretamente. Isto é importante para validar se foi introduzido um desvio no teste A/B. Por exemplo, um problema típico a ter em atenção é se algumas consultas ou categorias são publicadas por um grupo experimental, mas não por outros.
Cada experiência também tem um separador Analytics onde pode ver comparações de métricas empresariais importantes. Estão incluídas duas categorias de métricas empresariais:
- Métricas por pesquisa ou por navegação, como cliques por pesquisa.
- Métricas por pesquisa ou por visita de navegação, como a receita por visita de navegação.
Consulte a lista de métricas para ver uma lista completa de métricas.
Cada métrica empresarial fornece valores brutos, aumento relativo em comparação com o grupo de controlo de base e um intervalo de confiança de 95%. Pode ver métricas agregadas e métricas por data.
O separador de monitorização de tráfego apresenta se ocorreram divisões de tráfego não intencionais e as datas em que ocorreram. Uma divisão de tráfego não intencional é determinada comparando a percentagem de divisão de tráfego real com a percentagem de divisão pretendida que introduz quando configura a monitorização. A divisão do tráfego é considerada correta se a diferença relativa for igual ou inferior a 10%. Por exemplo, se o tráfego se destinar a ser dividido uniformemente entre dois grupos, uma divisão real de 45% para 55% está dentro do intervalo pretendido.
Pode usar a consola para monitorizar várias experiências em simultâneo.
A data e as métricas da experiência segmentadas por data usam America/Los_Angeles como o fuso horário e 12:00 AM America/Los_Angeles para as datas de início e de fim.
Pode atualizar os detalhes da experiência na consola, como as datas de início e de fim, o número de grupos de variantes, os IDs das experiências e a percentagem de divisão de tráfego pretendida em qualquer altura, independentemente de a experiência estar em curso, concluída ou pendente. Os dados são atualizados retroativamente.
A monitorização e a análise das experiências A/B têm os seguintes requisitos/limitações:
O intervalo de tempo máximo dos dados da experiência que pode acompanhar é de 180 dias. Se uma experiência tiver sido iniciada há mais de 180 dias, as métricas anteriores a esse período não são captadas.
A monitorização do tráfego por consulta ou por categoria devolve apenas as 100 principais consultas ou categorias que recebem mais tráfego de todos os grupos de variantes na experiência.
Antes de começar
Antes de configurar a monitorização na consola de pesquisa para comércio para uma experiência de teste A/B:
Configure o carregamento de eventos de utilizadores para eventos publicados pela sua implementação de pesquisa existente e pela Vertex AI Search para comércio.
Reveja as práticas recomendadas para experiências A/B.
Configure a experiência através de uma plataforma de experiências de terceiros, como o Google Optimize ou o Optimizely.
Configure e tome nota do evento do utilizador
experimentIdspara cada grupo experimental. Quando configura a monitorização de experiências, tem de especificar os IDs das experiências para cada grupo de variantes.
Adicione uma experiência na consola
Use os procedimentos seguintes para adicionar uma nova experiência a monitorizar na consola de pesquisa para comércio:
Neste procedimento, cria grupos de variantes na consola de pesquisa para comércio que correspondem aos grupos experimentais existentes que criou na plataforma de experiências de terceiros. Para ver exemplos de como os grupos de variantes podem ser mapeados para grupos experimentais existentes, consulte os exemplos de configurações de experiências.
Adicione detalhes da experiência
Adicione uma experiência na consola e introduza os respetivos detalhes.
Aceda à página Experiências na consola do Search for commerce.
Aceda à página ExperiênciasClique em Adicionar experiência.
É apresentada a página Nova experiência.
Introduza um nome para a experiência.
Selecione as datas de início e de fim da experiência.
Se o tráfego da experiência estiver definido para aumentar gradualmente, defina a data de início para uma data em que o aumento esteja concluído e a divisão de tráfego esteja estabilizada.
Selecione o tipo de atividade que esta experiência acompanha:
Procurar: navegação no seu site por categoria de página. A atividade de navegação é indicada por uma consulta vazia na resposta de pesquisa.
Pesquisa: pesquisas de consultas de texto no seu site.
Em seguida, crie grupos de variantes para a experiência.
Adicione variantes
Depois de adicionar os detalhes da experiência na consola, crie grupos de variantes que correspondam a cada grupo experimental.
O primeiro grupo de variação que configurar é a variação de base. Normalmente, a base representa a sua solução existente.
Antes de começar, certifique-se de que tem o evento de utilizador experimentIds para cada grupo de teste.
Clique em Adicionar grupo de teste de variantes.
É aberto o painel Criar grupo de variantes.
Introduza o evento do utilizador
experimentIdassociado à configuração da experiência que este grupo da variante vai monitorizar:Se estiver a configurar o primeiro grupo de variação: introduza o evento do utilizador
experimentIdassociado ao grupo de base que vai servir de base.Se já configurou o grupo da variante de base: introduza o evento do utilizador
experimentIdassociado ao grupo de experiência seguinte.
Introduza um nome legível para este grupo da variante.
Este nome é apresentado nos painéis de controlo de monitorização na consola.
(Opcional) Indique uma descrição deste grupo de teste de variantes.
Selecione um destino de tráfego de publicação:
API Google Vertex AI Search for Retail: se este grupo de testes monitorizar o tráfego para os resultados do Vertex AI Search for commerce.
Externo: se este grupo de variantes monitorizar o tráfego para obter resultados de um serviço externo. Por exemplo, o grupo da variante de base (ou de controlo) representa provavelmente um destino externo se a experiência estiver a comparar o tráfego de um serviço existente com o Vertex AI Search para tráfego de comércio.
Clique em Criar para concluir a criação deste grupo de variação.
O grupo de variantes é apresentado na página Nova experiência.
Repita os passos anteriores para criar grupos de variantes associados a cada grupo de experiência que planeia monitorizar.
Tem de ter, pelo menos, um grupo externo e um grupo Google Vertex AI Search for Retail API.
(Opcional) Por predefinição, a percentagem de tráfego pretendida é dividida uniformemente por todos os grupos de variantes. Para personalizar as percentagens de tráfego pretendidas:
Na secção Adicionar variantes, clique num valor de percentagem de tráfego na coluna %de tráfego.
É aberto o painel Percentagem de tráfego.
No campo Distribuição de ponderação, selecione Percentagens personalizadas.
Na coluna %de tráfego para cada grupo de variantes, introduza a percentagem de tráfego pretendida.
A percentagem total de tráfego em todos os grupos de variantes tem de totalizar 100%.
Clique em Concluído.
O painel Percentagem de tráfego é fechado.
Clique em Criar na página Nova experiência para concluir a criação da experiência.
A experiência é apresentada na página Experiências de integração.
Exemplos de configurações de experiências
Esta secção apresenta dois exemplos de configurações de experiências.
O exemplo 1 mostra um controlo de base e um grupo de experiência do Vertex AI Search para comércio.
O exemplo 2 mostra a comparação de um controlo de base com dois grupos de experiência do Vertex AI Search para comércio.
Exemplo 1: dois grupos de variantes
Neste exemplo, vamos supor que planeia configurar uma experiência A/B com:
- 20% dos pedidos de pesquisa enviados para motores de pesquisa internos como grupo de controlo de base
- 20% dos pedidos de pesquisa enviados para a API Google Vertex AI Search for Retail como grupo de experiência
- 60% como um grupo de controlo que não está no teste A/B
A configuração do evento de pedido e utilizador seria:
| Tipo de tráfego | Motor de descoberta | 60% | event.experimentIds |
event.attributionToken |
% de tráfego |
|---|---|---|---|---|---|
| Controle o tráfego | Interno | CONTROL |
N/A | 20% | |
| Tráfego da experiência | Google Vertex AI Search para a API Retail | EXPERIMENT |
Token de atribuição da resposta de pesquisa | 20% | |
| Tráfego de retenção | Ambos | N/A | Depende do motor de deteção | 60% |
O tráfego de grupo de controlo pode ser publicado por um motor de pesquisa interno,
pelo Vertex AI Search for commerce ou por ambos. Como não fazem parte do teste A/B,
não têm um ID da experiência. Para indicar que eventos de utilizador fazem parte do teste A/B, certifique-se de que fornece informações experimentIds e attributionToken. As suas strings experimentId podem ser diferentes das apresentadas neste exemplo. Certifique-se de que os IDs que usa são consistentes entre as suas experiências e eventos de utilizadores.
Quando criar a experiência correspondente na consola, cria apenas dois grupos de variantes, porque o grupo de exclusão não faz parte da experiência. A percentagem de divisão de tráfego pretendida entre os dois grupos de variantes é de 50% / 50%.
Para configurar a monitorização desta experiência de exemplo, criaria grupos de variantes correspondentes na consola para cada grupo experimental. A tabela seguinte mostra as informações que introduziria na consola durante a configuração do grupo de testes da variante para este exemplo.
| Nome do grupo de variantes | Destino do tráfego | ID da experiência de evento do utilizador | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controlo | Externo | CONTROL | 50% |
| Exemplo de grupo experimental | Google Vertex AI Search para a API Retail | EXPERIÊNCIA | 50% |
Exemplo 2: três grupos de variantes
Neste exemplo, vamos assumir que planeia realizar uma experiência A/B nas consultas principais (consultas de alta frequência) e incluir a ativação e a desativação de facetas dinâmicas. As configurações de pedidos e eventos do utilizador seriam:
| Nome do grupo de variantes | Destino do tráfego | event.experimentIds | event.attributionToken | % de tráfego |
|---|---|---|---|---|
| Controlo de consultas principais | Interno | CONTROL | N/A | 50% das consultas principais |
| Head queries dynamic facets ON experiment | Google Vertex AI Search para a API Retail | EXP_DF_ON | Token de atribuição da resposta de pesquisa | 25% das consultas principais |
| Experiência de desativação dos filtros dinâmicos de consultas principais | Google Vertex AI Search para a API Retail | EXP_DF_OFF | Token de atribuição da resposta de pesquisa | 25% das consultas principais |
| Consultas não principais e outros grupos de controlo | Google Vertex AI Search para a API Retail | N/A | Depende do motor usado | N/A |
Para configurar a monitorização desta experiência de exemplo, criaria grupos de variantes correspondentes na consola para cada grupo experimental. A tabela seguinte mostra as informações que introduziria na consola durante a configuração do grupo de testes da variante para este exemplo.
| Nome do grupo de variantes | Destino do tráfego | ID da experiência de evento do utilizador | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controlo | Externo | CONTROL | 50% |
| Exemplo de grupo experimental 1 | Google Vertex AI Search para a API Retail | EXP_DF_ON | 25% |
| Exemplo de grupo experimental 2 | Google Vertex AI Search para a API Retail | EXP_DF_OFF | 25% |
Métricas de tráfego
A página Monitorização de uma experiência mostra se existem divisões de tráfego não intencionais para as seguintes métricas:
- Contagem de eventos de pesquisa/procura por data
- Número de visitantes de pesquisa/exploração por data
- Contagem de eventos de pesquisa/exploração por categoria
Quando ocorrem divisões de tráfego não intencionais para uma destas métricas, o respetivo cartão na parte superior da página Monitorização mostra as datas em que ocorreu a divisão de tráfego não intencional. Clique em Divisões de tráfego não intencionais para ver uma tabela filtrável que apresenta as divisões de tráfego não intencionais para essa métrica.
As tabelas seguintes na página Monitorização de uma experiência comparam as métricas de tráfego entre os grupos de variantes de acordo com a utilização. Clique em Ver mais junto ao título de qualquer tabela para ver uma tabela filtrável que apresenta todas as divisões de tráfego dessa métrica:
Número de eventos de pesquisa/exploração por data: o número total de pesquisas ou explorações que ocorreram num grupo de teste de uma variante numa determinada data.
Número de visitantes de pesquisa/exploração por data: o número de visitantes que fizeram uma consulta ou exploraram um grupo de variação numa determinada data.
Número de eventos de pesquisa/navegação por categoria: o número total de vezes que uma determinada consulta ou categoria foi pesquisada num grupo de teste de uma variante desde a data de início da experiência até à data de fim (ou até à data atual, se a experiência estiver em curso). Esta tabela mostra apenas as 100 principais consultas ou categorias em termos do tráfego total de todos os grupos experimentais na experiência.
Monitorize uma experiência
A página Experiências de integração apresenta uma tabela das suas experiências recentes.
Para monitorizar uma experiência:
Aceda à página Experiências na consola do Search for commerce.
Aceda à página ExperiênciasClique no nome da experiência.
É aberta a página Monitorização dessa experiência.
Reveja a página para verificar se existem divisões de tráfego não intencionais.
Cada métrica apresenta as datas em que ocorreram divisões de tráfego não intencionais.
Se vir divisões não intencionais, clique em Divisões de tráfego não intencionais para ver uma tabela filtrável que lista as divisões de tráfego não intencionais para essa métrica.
Resolva divisões de tráfego não intencionais
A monitorização de experiências a partir da consola de pesquisa para comércio pode ajudar a chamar a sua atenção para potenciais problemas na experiência.
Se encontrar divisões de tráfego não intencionais, certifique-se de que os eventos estão etiquetados com o ID da experiência correto. Por exemplo, um evento pertencente a um grupo de controlo etiquetado com o ID da experiência errado pode fazer com que o evento seja atribuído ao grupo de variação errado.
Se a etiquetagem de eventos estiver a funcionar corretamente, as divisões de tráfego não intencionais comunicadas pela consola de pesquisa para comércio podem indicar problemas de divisão de tráfego na sua plataforma de experiências. Quando for este o caso, pause os testes A/B antes de resolver o problema para que a experiência não produza resultados incorretos.
Métricas empresariais para o Analytics
Estão disponíveis dois grupos de métricas empresariais:
- Métricas por pesquisa ou por navegação
- Visita por pesquisa ou visita por navegação
Métricas por visita de pesquisa
As definições das métricas por visita de pesquisa estão listadas aqui. As definições das métricas por visita de navegação são semelhantes às das métricas por visita de pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
Na tarifa de ordem de compra, uma ordem de compra pode incluir vários SKUs. Cada SKU pode ter uma quantidade igual ou superior a um.
-->| Nome da métrica | Definição |
|---|---|
| Contagem de visitas de pesquisa | Contagem de visitas que contêm, pelo menos, uma pesquisa. |
| Taxa de rejeição | Contagem de visitas de pesquisa que só tem 1 evento de utilizador / contagem de visitas de pesquisa |
| Taxa de visualização de páginas | Contagem de cliques (visualizações de páginas) / contagem de visitas de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades adicionadas ao carrinho em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de notas de encomenda | Contagem de notas de encomenda em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de receita | Soma das receitas em visitas de pesquisa / contagem de visitas de pesquisa |
| Valor de encomenda médio (AOV) | Soma da receita em visitas de pesquisa / contagem de encomendas de compra em visitas de pesquisa |
Métricas por pesquisa
As definições das métricas por pesquisa estão listadas aqui. As definições das métricas por navegação são semelhantes às das métricas por pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
| Nome da métrica | Definição |
|---|---|
| Contagem de pesquisas | Contagem de eventos de pesquisa |
| Taxa de nenhum resultado | Contagem de eventos de pesquisa sem resultados / contagem de pesquisas |
| Taxa de cliques (CTR) | Contagem de cliques gerados pela pesquisa (visualizações de páginas) / contagem de pesquisas |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades adicionadas ao carrinho provenientes da pesquisa / contagem de pesquisas |
| Taxa de compra | Contagem de unidades compradas baseadas em pesquisas / contagem de pesquisas |
| Taxa de receita | Soma da receita gerada pelas pesquisas / contagem de pesquisas |
| Valor médio por unidade (AUV) | Soma da receita gerada pelas pesquisas / quantidade de unidades compradas geradas pelas pesquisas |
Analise o desempenho empresarial da experiência
O separador Analytics de cada experiência apresenta painéis de controlo de métricas empresariais. Os painéis de controlo mostram comparações de desempenho entre os grupos de variantes.
Existem dois painéis de controlo de métricas:
- Métricas por visita de pesquisa e por visita de navegação
- Métricas por pesquisa e por navegação
São apresentadas métricas de pesquisa ou métricas de navegação com base no atributo ProductType
da experiência.
Cada painel de controlo apresenta uma tabela de métricas de resumo que mostra os resultados das métricas agregados nas datas apresentadas no filtro de intervalo de datas. Os valores de data predefinidos são as datas de início e de fim da experiência.
Cada métrica é apresentada como uma tabela de resultados agregados, bem como um gráfico de valores diários que fornece informações mais detalhadas.
O intervalo de datas da tabela agregada usa as datas de início e de fim da experiência como os valores de data predefinidos. Se a experiência estiver em curso, a data de fim é definida para a data atual. Pode modificar o filtro de intervalo de datas. Se userAgent for
fornecido com eventos de utilizadores carregados, também pode segmentar as métricas por tipo de dispositivo.
Clique no ícone Atualizar para aplicar filtros modificados às métricas.
Quando o aumento relativo das métricas é suficientemente positivo para exceder a largura de banda do intervalo de confiança, é apresentada uma cor de fundo verde para essa variante. Da mesma forma, se o aumento relativo for suficientemente negativo, é apresentada uma cor de fundo vermelha para essa variante. Se o aumento relativo for inferior à largura do intervalo de confiança, uma cor de fundo cinzenta indica que o resultado não tem relevância estatística.
Por exemplo, quando compara um grupo de variantes com um grupo de controlo de base:
- Se uma métrica Taxa de cliques por pesquisa for +3,0% e o intervalo de confiança, apresentado como IC de aumento, for [2,1%, 4,0%], o grupo da variante é realçado a verde para indicar que é uma variante com melhor desempenho para esta métrica em comparação com o controlo de base.
- Se uma métrica Taxa de receita por visita de navegação for -1,5% e o intervalo de confiança for [-2,6%, -0,4%], o grupo da variante é realçado a vermelho para indicar que tem um desempenho pior nesta métrica em comparação com o controlo de base.
- Se uma métrica Valor médio da unidade por pesquisa for +1,0% e o intervalo de confiança for [-1,1%, 3,0%], o grupo da variante é realçado a cinzento para indicar que a diferença no desempenho ainda não tem relevância estatística.
Geralmente, quanto mais pontos de dados, menor é a variação. As métricas acumuladas ao longo de algumas semanas têm uma largura de banda do intervalo de confiança inferior à das métricas diárias e é mais provável que mostrem relevância estatística.
Modifique os detalhes da experiência
Pode atualizar os detalhes da experiência na consola, como a data de início e de fim, o número de grupos de variantes, os IDs das experiências e a percentagem de divisão do tráfego pretendida em qualquer altura, independentemente de a experiência estar em curso, concluída ou pendente. Os dados são atualizados retroativamente.
Para editar os detalhes da experiência:
Aceda à página Experiências na consola do Search for commerce.
Aceda à página ExperiênciasNa tabela que mostra as suas experiências recentes, encontre a experiência que planeia modificar.
Clique no ícone de Ações de três pontos à direita da respetiva linha da tabela e clique em Editar.
É apresentada a página Editar experiência.
Modifique os campos da experiência que quer atualizar.
Clique em Atualizar para guardar as alterações.
Elimine uma experiência da consola
Para eliminar uma experiência da consola de pesquisa para comércio:
Aceda à página Experiências na consola do Search for commerce.
Aceda à página ExperiênciasNa tabela que mostra as suas experiências recentes, encontre a experiência que planeia eliminar.
Clique no ícone de Ações de três pontos à direita da linha da tabela e clique em Eliminar.
É apresentada a janela de confirmação Eliminar a experiência?.
Escreva o nome da experiência e clique em Confirmar para confirmar a eliminação.
Quando a eliminação estiver concluída, a consola apresenta uma mensagem a indicar que a experiência foi eliminada com êxito.