Métricas de UX para chatbots e o Convex Mindset

Se você trabalha com bots e gasta um bom tempo ou tem dificuldade para descobrir o que precisa melhorar, quais são as novas oportunidades e qual é a prioridade da evolução… quero te contar algumas coisas sobre métricas de UX para chatbots.

Ainda hoje não conseguimos melhorar a experiência conversacional sem esforço humano. Apesar de ser uma atividade operacional e relativamente cara, o trabalho de análise da interação continua sendo um dos mais valiosos para a otimização dos serviços prestados por chatbots. Não é à toa que a startup Appen, que cresceu 2900% desde seu IPO em 2015, tem mais de 1 milhão de freelancers validando resultados de buscas para otimizar algoritmos de Machine Learning de empresas como Google e Microsoft.

A questão é: sabendo da importância da análise de interação, mas entendendo que é inviável analisar qualitativamente milhares de mensagens trocadas semanal ou diariamente, é preciso ter clareza de qual é a prioridade para direcionar os esforços.

O desafio é responder as perguntas certas

1. Quais são os pontos críticos da experiência?
2. Qual é a taxa de sucesso das conversas?
3. Em que momento as pessoas param de conversar com seu chatbot?
4. O que as pessoas estão falando que sua solução não entende?

Perguntas como estas nos ajudam a priorizar. O quão mais rápido e fácil for chegar às respostas, mais eficientes serão os esforços para melhorar a experiência.

E o problema é a dificuldade de chegar nessas respostas

Com o crescimento dos chatbots, começaram a surgir várias ferramentas de analytics voltadas para o mercado, como BotAnalytics, Dashbot e Chatbase.

Trabalho com chatbots desde 2016 e conheço de perto essas ferramentas. Para um chatbot em estágio inicial e não muito complexo, o Chatbase atende bem — até certo ponto. Assim, vou usá-lo como referência para explicar melhor aonde estamos hoje e onde podemos chegar.

Da árvore de decisão ao Convex Mindset

Começando pela arquitetura da informação, a forma mais trivial de projetar e analisar um chatbot é a partir de uma árvore de decisão.

É bem simples: para cada mensagem (ou conjunto de mensagens) enviada pelo bot, avalia-se o conteúdo da resposta dada pela pessoa que está interagindo para decidir qual é a próxima mensagem a ser enviada pelo bot.

Se a mensagem da pessoa foi interpretada, a conversa flui para o próximo passo da árvore de navegação. Caso contrário, geralmente temos algum desses tipos de fallback:

1. Um atendente humano toma a conversa (aumentando o custo do canal); ou
2. Enviamos uma mensagem para alinhar com a pessoa que o chatbot não conseguiu entendê-la (diminuindo percepção de eficiência do canal).

É tão óbvio que pode passar despercebido: não entender as mensagens recebidas é sempre um problema.

Já que conseguir interpretar as mensagens é um desafio relevante para qualquer chatbot, como as ferramentas de analytics podem nos ajudar nisso? O Chatbase vai nos servir de exemplo.

O Chatbase nos trouxe algumas novidades. A primeira delas foi facilitar a percepção do abandono de conversas. A sessão é automaticamente calculada com base no horário das mensagens enviadas e recebidas. Com isso, conseguimos visualizar em gráficos como o Session Flow em que momentos da conversa as pessoas pararam de interagir.

A segunda novidade (em analytics para bots) é a forma de visualizar as mensagens enviadas pelas pessoas, a partir de uma classificação prévia. Caso a mensagem seja interpretada, podemos associá-la à uma intenção. Se nenhuma intenção for identificada, classificamos a mensagem como Not Handled (não tratada). Dessa forma o gráfico Session Flow consegue:

• agrupar mensagens com intenções similares;
• exibir a frequência de mensagens não tratadas;
• facilitar a visualização dos caminhos mais frequentes;
• expor o abandono da conversa por parte dos usuários;
• exibir trechos de conversas relacionados às intenções agrupadas (através do botão view transcripts).

Outros recursos como a “clusterização” (agrupamento) de mensagens não tratadas e a construção de funis também ajudam a responder as perguntas citadas anteriormente, mas, à medida que os chatbots vão crescendo em complexidade, a simplicidade do Chatbase começa a se transformar em limitação.

Não posso negar que o Chatbase me reduziu dias de trabalho com análise de conversas, justamente por ajudar a enxergar melhor os problemas, adicionando variáveis relevantes e facilitando a priorização. No entando, a questão é que chatbots não são tão simples quanto a visão que a plataforma nos permite ter.

Convex Mindset e suas contribuições nas métricas de UX para chatbots

O que vem a seguir é a introdução de um novo modelo mental, complementar ao mindset atual das plataformas de análise de conversas, e que considera relevância, aplicabilidade e impacto no processo de evolução de chatbots.

Convex é um acrônimo para CONVersational EXperience. Um termo menos prolixo que carrega em si o coração de toda essa discussão, afinal, estamos trabalhando para melhorar experiências conversacionais.

O principal conceito da Convex é o CONTEXTO.

O contexto é importante por 2 razões principais:

1. O contexto vincula a mensagem enviada pela pessoa à intenção comunicativa do chatbot, o que nos ajuda a ver se o usuário está seguindo o caminho esperado ou está tentando mudar de assunto.
2. O contexto permite agrupar mensagens não interpretadas (e não esperadas), evitando que se amontoem em uma lista única e facilitando a análise de interação a partir dos pontos priorizados.

Este modelo mental nos permite observar uma nova camada de abstração na interpretação das conversas. A condição “Entendemos o que ela falou?” é especialmente relevante por explicitar a diferença entre:

• uma mensagem entendida e esperada; versus
• uma mensagem entendida e não esperada (ou seja, fora do contexto).

Conteúdos entendidos mas que não fazem parte do contexto podem ser tanto interações simples como um emoji ou interjeições (surpresa, alegria, dúvida), quanto intenções que fazem parte do escopo do chatbot, mas que não pertencem àquele contexto em específico. Entender interações “não esperadas” permite interpretar se a pessoa mudou ou não de objetivo no meio da conversa.

Imagine uma pessoa conversando com um bot no objetivo de comprar uma pizza. Ela faz suas escolhas e, no momento de confirmar o pedido, pede para adicionar sachês de maionese e ketchup. O que o bot esperava naquele momento da conversa era uma uma confirmação do pedido, o que não aconteceu. Mas, ao interpretar que a pessoa pediu ketchup e maionese (entendido mas não esperado), podemos tratar a mensagem mais adequadamente. Sabendo que adicionar ketchup e maionese é uma intenção que faz sentido dentro do objetivo de “comprar pizza”, podemos simplesmente informar à pessoa que adicionamos os itens à lista e prosseguir com a confirmação do pedido. Em suma, ter o controle do contexto permite a construção de conversas mais fluidas, com menos atritos.

Inclusive, a Bianca Pinheiro escreveu um texto bem completo explicando com mais detalhes uma arquitetura para lidar com conteúdos não esperados.

Exemplificando a análise contextual

Observe como é fácil fazer a leitura desse contexto:

• o contexto é Escolher sabor;
• este contexto faz parte do objetivo Comprar pizza;
• a orientação do contexto é Avançar (a outra possibilidade é Concluir);
• 10% das pessoas abandonaram a conversa no contexto Escolher sabor
• 65% das pessoas escolheram um sabor de pizza;
• 5% das pessoas falaram algo que entendemos (mas não era um sabor);
• 15% das interações não foram entendidas no contexto Escolher sabor.

Detalhe importante: O contexto pertence a um objetivo.

Vincular contexto e objetivo facilita a construção de funis que, por sua vez, ajudam a visualizar a entrega de valor do chatbot e a identificar pontos fracos na experiência. Desenhei para ficar mais fácil de explicar:

Observe que as 6 cores do modelo mental estão presentes nas colunas do funil.