Usei I.A. no bot, e agora?

Você identificou um processo na sua empresa que poderia ser atendido por meio de um Contato Inteligente. Para isso, projetou e disponibilizou um fluxo conversacional e aplicou uma inteligência artificial (IA) que reconhece a intenção do usuário (NLP). E agora? Como avaliar os próximos passos da IA?

Neste post vamos abordar um ciclo de vida simplificado da IA e uma proposta de análise comparativa que pode ser aplicado sem códigos. Vamos lá?

Ciclo da IA

Pesquisando na internet, em livros ou artigos científicos, existem muitas formas de explicar o ciclo de vida da IA, sendo que boa parte contém os mesmos passos. Por esse motivo, vamos apresentar um fluxo resumido e, para fins didáticos, vamos imaginar que temos uma empresa que vende gelo de vários sabores.

Dentre os possíveis objetivos que poderíamos escolher para o nosso bot (engajamento, vendas, atendimento), optamos por atender ao objetivo de “ter um bot para automatizar o nosso FAQ” (um caso de uso de atendimento clássico).

Como já temos o bot funcionando e interagindo, começamos a analisar a partir do que vem depois de colocar o bot para interagir com os usuários. 

Tentamos fazer o melhor bot de FAQ possível, a partir do momento que ele passa a interagir com os usuários é normal notar que a primeira versão ainda precisa de melhorias. Por esse motivo também é recomendado que a primeira versão disponibilizada possa ser capaz de reconhecer os erros para serem insumos das melhorias.

Por exemplo, gravar todas as expressões ou palavras que o bot não entender é uma boa fonte indicativa do que mais os usuários precisam e o bot ainda não possui. Veja mais dicas sobre construção de chatbots em: https://www.blip.ai/blog/chatbots/como-construir-chatbot

Monitoramento (começando do fim)

Como nosso bot está interagindo com os usuários, esse é o momento que devemos recolher informações. A Take disponibiliza o hub de ferramentas de analytics e caso ele não tenha todas as métricas, é possível criar métricas personalizadas. 

O portal do BLiP já possui um ferramentas que permitem o monitoramento da IA. Na aba de “Inteligência artificial”, é disponibilizada várias opções para a configuração e aprimoramento. Dentre as opções, é possível monitorar o bot pelas opções:

• Análise do modelo de IA: onde podemos acompanhar as principais métricas sobre a performance do modelo;
• Aprimoramento: neste campo é possível acompanhar as sugestões enviadas pelos provedores baseados na análise do histórico de conversas com os usuários.

Problema de negócio

Analisando as expressões não entendidas do bot, podemos notar que nossos usuários questionam frequentemente sobre o cardápio de sabores de gelo, mas ainda não existe essa resposta no nosso bot.

Mudar o bot vai envolver um novo planejamento, desenvolvimento da nova solução e a substituição do atual pelo modificado. Nada disso irá compensar se, por exemplo, ninguém perguntou pelo cardápio. Mas se eu tenho um cardápio de sabores e ele não está disponível, qual o percentual de usuários que eu passo a atingir ao acrescentar essa pergunta?

Situações em que é preciso alterar o fluxo, seja para acrescentar, remover, ou refazer o caminho, geram um novo problema de negócio pois saímos, de “ter um bot para automatizar o nosso FAQ”, para “adicionar no bot o cardápio de sabores do gelo”.

Preparação dos dados

Temos o cardápio da nossa empresa e também sabemos como os usuários escrevem ao interagir com nosso bot. Então vamos preparar nosso fluxo ou nossa IA para atender essa nova expectativa.

Nesse momento vamos selecionar frases que representam as interações dos usuários para criarmos uma base de dados que será usada para comparar o resultado que uma proposta de alteração da IA tem em relação à IA atual.

Treino e Teste do modelo

Para substituirmos a I.A. atual por uma nova, devemos garantir que a qualidade será tão boa quanto a versão atual ou melhor. Uma possível maneira, sem usar código, é analisar por uma tabela similar a esta:

• frases: a base de dados levantada que representa interações dos usuários;
• intencao_real: a intenção que desejamos ser reconhecida, dentre as intenções da IA;
• intencao_provedor (atual): a intenção que a IA atual reconheceu as frases;
• intencao_provedor (alterada): a intenção que a IA que estamos propondo reconheceu frases;
• acerto (atual): uma coluna com 1 para quando a intenção que o intencao_provedor (atual) foi corretamente reconhecida e 0 caso contrário;
• acerto (alterada): uma coluna com 1 para quando a intenção que o intencao_provedor (alterada) foi corretamente reconhecida e 0 caso contrário.

Da tabela, separamos os dados entre dados para treinar e testar o modelo. É interessante manter a proporção por intenção entre os dados de treino e teste para evitar que o modelo seja treinado com muitos dados de uma intenção e poucas de outra.

É importante de treino e teste serem diferentes para que nossa análise seja o mais representativa o possível do que irá acontecer quando o modelo for colocado de novo em contato com os usuários.

Para chegarmos à uma conclusão se a IA alterada tem uma performance melhor que atual, recomendamos fazer pelo menos 3 análises:

1. Para sabermos se a experiência dos usuários que estavam tendo as intenções corretamente reconhecidas irão permanecer com a mesma experiência ao atualizar a IA, vamos separar frases que representam esse grupo e comparar antes e depois por intenção focando nas intenções principais (em termos de volume ou de estratégica de negócio) da nossa IA.
2. Saber se os usuários que falam do assunto adicionado estão sendo entendidos, realizando ver a comparação e observando as métricas  para a nova intenção que inserimos na IA.
3. Por fim, analisamos se a experiência geral dos usuários foi impactada, esperando encontrar um resultado similar ou melhor.

Confira esse post em que abordamos a importância de analisar corretamente os dados para tomadas de decisões: https://www.blip.ai/blog/tecnologia/analise-de-dados/

Conclusão – Deploy

Se nossas análises indicam que a IA alterada será melhor que a IA atual, fazemos a alteração na base de conhecimento, treino e publicação do modelo e voltamos ao passo de monitoramento de novo, reiniciando o ciclo da análise.

Quer saber ainda mais sobre Inteligência Artificial e outras tecnologias? Continue no nosso blog!