Se você trabalha com bots e gasta um bom tempo ou tem dificuldade para descobrir o que precisa melhorar, quais são as novas oportunidades e qual é a prioridade da evolução… quero te contar algumas coisas sobre métricas de UX para chatbots.
Ainda hoje não conseguimos melhorar a experiência conversacional sem esforço humano. Apesar de ser uma atividade operacional e relativamente cara, o trabalho de análise da interação continua sendo um dos mais valiosos para a otimização dos serviços prestados por chatbots. Não é à toa que a startup Appen, que cresceu 2900% desde seu IPO em 2015, tem mais de 1 milhão de freelancers validando resultados de buscas para otimizar algoritmos de Machine Learning de empresas como Google e Microsoft.
A questão é: sabendo da importância da análise de interação, mas entendendo que é inviável analisar qualitativamente milhares de mensagens trocadas semanal ou diariamente, é preciso ter clareza de qual é a prioridade para direcionar os esforços.
O desafio é responder as perguntas certas
- Quais são os pontos críticos da experiência?
- Qual é a taxa de sucesso das conversas?
- Em que momento as pessoas param de conversar com seu chatbot?
- O que as pessoas estão falando que sua solução não entende?
Perguntas como estas nos ajudam a priorizar. O quão mais rápido e fácil for chegar às respostas, mais eficientes serão os esforços para melhorar a experiência.
E o problema é a dificuldade de chegar nessas respostas
Com o crescimento dos chatbots, começaram a surgir várias ferramentas de analytics voltadas para o mercado, como BotAnalytics, Dashbot e Chatbase.
Trabalho com chatbots desde 2016 e conheço de perto essas ferramentas. Para um chatbot em estágio inicial e não muito complexo, o Chatbase atende bem — até certo ponto. Assim, vou usá-lo como referência para explicar melhor aonde estamos hoje e onde podemos chegar.
Da árvore de decisão ao Convex Mindset
Começando pela arquitetura da informação, a forma mais trivial de projetar e analisar um chatbot é a partir de uma árvore de decisão.
É bem simples: para cada mensagem (ou conjunto de mensagens) enviada pelo bot, avalia-se o conteúdo da resposta dada pela pessoa que está interagindo para decidir qual é a próxima mensagem a ser enviada pelo bot.
Se a mensagem da pessoa foi interpretada, a conversa flui para o próximo passo da árvore de navegação. Caso contrário, geralmente temos algum desses tipos de fallback:
- Um atendente humano toma a conversa (aumentando o custo do canal); ou
- Enviamos uma mensagem para alinhar com a pessoa que o chatbot não conseguiu entendê-la (diminuindo percepção de eficiência do canal).
É tão óbvio que pode passar despercebido: não entender as mensagens recebidas é sempre um problema.
Já que conseguir interpretar as mensagens é um desafio relevante para qualquer chatbot, como as ferramentas de analytics podem nos ajudar nisso? O Chatbase vai nos servir de exemplo.
O Chatbase nos trouxe algumas novidades. A primeira delas foi facilitar a percepção do abandono de conversas. A sessão é automaticamente calculada com base no horário das mensagens enviadas e recebidas. Com isso, conseguimos visualizar em gráficos como o Session Flow em que momentos da conversa as pessoas pararam de interagir.
A segunda novidade (em analytics para bots) é a forma de visualizar as mensagens enviadas pelas pessoas, a partir de uma classificação prévia. Caso a mensagem seja interpretada, podemos associá-la à uma intenção. Se nenhuma intenção for identificada, classificamos a mensagem como Not Handled (não tratada). Dessa forma o gráfico Session Flow consegue:
- agrupar mensagens com intenções similares;
- exibir a frequência de mensagens não tratadas;
- facilitar a visualização dos caminhos mais frequentes;
- expor o abandono da conversa por parte dos usuários;
- exibir trechos de conversas relacionados às intenções agrupadas (através do botão view transcripts).
Outros recursos como a “clusterização” (agrupamento) de mensagens não tratadas e a construção de funis também ajudam a responder as perguntas citadas anteriormente, mas, à medida que os chatbots vão crescendo em complexidade, a simplicidade do Chatbase começa a se transformar em limitação.
Não posso negar que o Chatbase me reduziu dias de trabalho com análise de conversas, justamente por ajudar a enxergar melhor os problemas, adicionando variáveis relevantes e facilitando a priorização. No entando, a questão é que chatbots não são tão simples quanto a visão que a plataforma nos permite ter.
Convex Mindset e suas contribuições nas métricas de UX para chatbots
O que vem a seguir é a introdução de um novo modelo mental, complementar ao mindset atual das plataformas de análise de conversas, e que considera relevância, aplicabilidade e impacto no processo de evolução de chatbots.
Convex é um acrônimo para CONVersational EXperience. Um termo menos prolixo que carrega em si o coração de toda essa discussão, afinal, estamos trabalhando para melhorar experiências conversacionais.
O principal conceito da Convex é o CONTEXTO.
O contexto é importante por 2 razões principais:
- O contexto vincula a mensagem enviada pela pessoa à intenção comunicativa do chatbot, o que nos ajuda a ver se o usuário está seguindo o caminho esperado ou está tentando mudar de assunto.
- O contexto permite agrupar mensagens não interpretadas (e não esperadas), evitando que se amontoem em uma lista única e facilitando a análise de interação a partir dos pontos priorizados.
Este modelo mental nos permite observar uma nova camada de abstração na interpretação das conversas. A condição “Entendemos o que ela falou?” é especialmente relevante por explicitar a diferença entre:
- uma mensagem entendida e esperada; versus
- uma mensagem entendida e não esperada (ou seja, fora do contexto).
Conteúdos entendidos mas que não fazem parte do contexto podem ser tanto interações simples como um emoji ou interjeições (surpresa, alegria, dúvida), quanto intenções que fazem parte do escopo do chatbot, mas que não pertencem àquele contexto em específico. Entender interações “não esperadas” permite interpretar se a pessoa mudou ou não de objetivo no meio da conversa.
Imagine uma pessoa conversando com um bot no objetivo de comprar uma pizza. Ela faz suas escolhas e, no momento de confirmar o pedido, pede para adicionar sachês de maionese e ketchup. O que o bot esperava naquele momento da conversa era uma uma confirmação do pedido, o que não aconteceu. Mas, ao interpretar que a pessoa pediu ketchup e maionese (entendido mas não esperado), podemos tratar a mensagem mais adequadamente. Sabendo que adicionar ketchup e maionese é uma intenção que faz sentido dentro do objetivo de “comprar pizza”, podemos simplesmente informar à pessoa que adicionamos os itens à lista e prosseguir com a confirmação do pedido. Em suma, ter o controle do contexto permite a construção de conversas mais fluidas, com menos atritos.
Inclusive, a Bianca Pinheiro escreveu um texto bem completo explicando com mais detalhes uma arquitetura para lidar com conteúdos não esperados.
Exemplificando a análise contextual
Observe como é fácil fazer a leitura desse contexto:
- o contexto é Escolher sabor;
- este contexto faz parte do objetivo Comprar pizza;
- a orientação do contexto é Avançar (a outra possibilidade é Concluir);
- 10% das pessoas abandonaram a conversa no contexto Escolher sabor
- 65% das pessoas escolheram um sabor de pizza;
- 5% das pessoas falaram algo que entendemos (mas não era um sabor);
- 15% das interações não foram entendidas no contexto Escolher sabor.
Detalhe importante: O contexto pertence a um objetivo.
Vincular contexto e objetivo facilita a construção de funis que, por sua vez, ajudam a visualizar a entrega de valor do chatbot e a identificar pontos fracos na experiência. Desenhei para ficar mais fácil de explicar:
Observe que as 6 cores do modelo mental estão presentes nas colunas do funil.
Visualmente, observamos rapidamente alguns pontos críticos. Será que conseguimos responder aquelas perguntas do início do texto? Tentemos:
1. Quais são os pontos críticos da experiência?
As cores amarela, laranja e vermelha indicam pontos de melhoria. Olhando para o gráfico, vemos que os pontos críticos estão nas 3 primeiras colunas, onde essas cores têm maior presença. Assim, a prioridade é analisar as mensagens não entendidas dos contextos Escolher sabor e Escolher bebida, além das mensagens não esperadas do contexto Local de entrega.
2. Qual é a taxa de sucesso das conversas?
Fácil, 20%. Observe que a taxa de sucesso de uma coluna (em verde) é o limite de entrada da coluna seguinte (em branco). Ou seja, para aumentar a taxa de sucesso final do funil, precisamos trabalhar para reduzir as cores vermelhas, amarelas e laranjas de cada uma das colunas anteriores.
3. Em que momento as pessoas param de conversar com seu chatbot?
Para esse exemplo, os momentos mais críticos são os 2 contextos do início do funil. Dúvidas: Será que 10% de evasão é muito? Qual é o comportamento para outros objetivos que o bot atende?
4. O que as pessoas estão falando que sua solução não entende?
Se as mensagens não entendidas estiverem vinculadas aos seus respectivos contextos, basta analisá-las separadamente (de preferência, priorizando os pontos críticos identificados na 1ª resposta).
Acredita que conseguimos ter um bom norte para todas as perguntas? Se achou o exemplo trivial, te convido a propor um caso de uso em que o convex mindset tenha maiores desafios para entregar valor — vou adorar a discussão, de verdade.
Por entender a dificuldade de lidar com a multiplicidade de informações e perceber padrões recorrentes independente do propósito de cada chatbot, decidi documentar tais conceitos para facilitar a interpretação dessa complexidade. A consolidação desse esforço é o conceito apresentado nesse post, o Convex Mindset, uma abordagem que não se prende à tecnologias e é genérica o suficiente para se adaptar a qualquer experiência conversacional, com o propósito de:
- Dar visibilidade aos pontos frágeis da conversa;
- expor novas oportunidades; e (principalmente)
- Facilitar o processo de análise e priorização.
Essa é uma breve introdução de um assunto que ainda tem muitos desdobramentos. De toda forma, se a teoria te permitiu um novo olhar sobre o design de conversas e métricas de UX para chatbots, compartilhe com alguém que possa se interessar — agradeço demais. E se quiser continuar essa conversa, é só chamar.
Post publicado originalmente no Medium.
Adolfo Melo
UX Designer na Take
