Como integrar o ChatGPT ao seu chatbot na Blip

ChatGPT é uma aplicação desenvolvida a partir do modelo de linguagem natural avançado conhecido como GPT-3, criado pela empresa americana OpenAI.

Trata-se de um motor de inteligência artificial treinado a partir de bilhões de dados, capaz de gerar textos e diálogos com personalização, naturalidade, estrutura e estilo similares aos desenvolvidos pela inteligência humana.

As aplicações desta tecnologia são diversas. Aqui em Blip você já consegue experimentar algumas delas hoje mesmo, no seu contato inteligente 34.

Vamos mostrar como utilizar o OpenAI GPT-3 diretamente no Blip Builder. Para isso, apresentamos um caso de uso: responder perguntas a respeito de produtos. Vários outros casos de uso são possíveis de serem implementados aqui da mesma forma.

Começamos Obtendo a chave de acesso OpenAI GPT-3, e em seguida demonstramos um exemplo funcional de chatbot integrado ao GPT-3 e o testamos.

Este é um guia para iniciantes, tanto em OpenAI GPT-3 quanto em Blip Builder. Caso já seja familiarizado com OpenAI GPT-3, siga direto para a seção Mãos na massa.

Em Introdução ao OpenAI GPT-3 você encontrará um resumo dos conceitos principais para iniciar a criação dos seus próprios prompts para diferentes casos de uso.

Como integrar o ChatGPT ao seu chatbot na Blip

Obtendo a chave de acesso OpenAI GPT-3

Podemos acessar os serviços OpenAI de duas maneiras: através do Azure Cognitive Services, ou através da própria API de OpenAI.

A seguir, apresentamos as vantagens do Azure OpenAI. Porém, o restante desse tutorial segue a API de OpenAI, que apesar de ter menos recursos é mais simples e conveniente para este tutorial.

Azure OpenAI

É possível obter acesso às APIs OpenAI através da Azure Cognitive Services. Existem vantagens da Azure OpenAI, entre elas:

• Nível de serviço enterprise Azure;
• Recursos de segurança Microsoft Azure;
• Rede privada;
• Disponibilidade regional;
• Filtragem responsável de conteúdo de IA.

Existem algumas pequenas diferenças nas APIs, por exemplo, na autenticação. Para saber mais acesse Azure OpenAI 15.

OpenAI

É muito fácil obter uma chave e começar a utilizar as APIs de OpenAI. Basta criar uma conta em https://www.openai.com 56 e você obtém 18 dólares de quota para seus experimentos. A partir disso, a cobrança é conforme o uso.

Entre no site, e em seguida clique no link API, no menu superior direito. Em seguida, clique em “SIGN UP”. Crie sua conta, ou se for mais conveniente, use o single sign on de sua preferência.

Quando logado, você pode acessar “View API Keys”, no menu superior direito.

Agora, na tela “API keys” você pode criar uma nova chave da API. Usaremos ela logo mais.

Chatbot integrado com ChatGPT: mãos na massa

Aqui vamos demonstrar como construir um contato inteligente no Blip Builder.

Para esse exemplo, vamos utilizar apenas o ferramental nativo do Builder.

Caso precise de mais conveniência, agilidade e usabilidade aprimorada, recomendamos a extensão na Blip Store especializada em GPT-3, criado pela WhiteWall 22.

Exemplo: respondendo perguntas sobre de um produto

Descrição do problema

Considere a companhia fictícia chamada ACME, que fornece compras via WhatsApp de roupas para esportes.

A companhia procurou seus serviços para reduzir a quantidade de transbordo utilizando Inteligência Artificial. Foi diagnosticado que boa parte dele eram dúvidas triviais sobre os produtos.

Por simplicidade, neste exemplo, considere apenas dois produtos: uma camiseta dry fit feminina e uma bermuda de tactel masculina.

Solução

Vamos fazer um chatbot bastante simplificado, para mantermos o foco no uso da API OpenAI GPT-3. Algumas boas práticas para produção podem não estar sendo seguidas. Porém, os conceitos do uso podem ser aplicados em contatos inteligentes bastante complexos.

E ainda, combinar recursos como APIs de informações de produto. Por simplicidade, deixamos as informações de cada produto fixas.

Criando um novo chatbot

Logue na sua conta Blip. Caso ainda não tenha, crie uma gratuitamente.

Em seguida, clique no botão “Criar chatbot”, no canto superior direito.

Selecione a opção “Criar do zero”.

Defina a imagem do seu chatbot e seu nome. Nesse exemplo vamos usar ACME GPT-3.

Clique em Finalizar para abrir o Builder, a plataforma de desenvolvimento do chatbot.

Primeiramente, vamos alterar o bloco boas-vindas para deixar mais customizado. Vamos também remover o campo aguardando resposta do usuário.

Depois disso, é hora de criar um menu para nosso usuário fazer a seleção do produto que deseja tirar dúvidas.

Criar a variável “Prompt”

Agora vamos criar dois blocos, que servirão para criar uma variável com o Prompt referente a cada produto. Vamos chamar essa variável de prompt.

O prompt foi elaborado para responder perguntas a respeito de produtos. Aqui no tutorial, marcamos de vermelho o que se refere ao produto que vamos tirar dúvida.

Prompt para Camiseta feminina Dry fit

Considere a descrição do seguinte produto.

Tipo: Camiseta
Gênero: Feminino
Cor: Azul Petróleo
Malha: Dry Fit
Manga: curta
Indicado para: treino
Tamanhos: P, M, GG
Descrição: Macio, fácil de lavar, secagem rápida e não precisa passar. Os tecidos Dry Fit absorvem a umidade provocada pelo suor, evitando o desconforto de estar com a pele suada. Apesar de facilitar a transpiração, as tramas do tecido possibilitam que o suor chegue rapidamente do lado de fora da peça, facilitando a sua evaporação e mantendo o corpo seco. Devido às suas características, as camisetas são muito utilizadas por atletas e praticantes de atividades físicas, mas podem ser usadas também em diversas ocasiões do dia a dia, não se restringindo apenas aos momentos de práticas de exercícios físicos. Composição: 100% Poliéster.
Preço: R$ 25,99

Agora, baseado exclusivamente nas informações acima, responda a seguinte pergunta do cliente.

Pergunta:

Prompt para Bermuda masculina

Considere a descrição do seguinte produto.

Tipo: Bermuda
Gênero: Masculina
Cor: Preta
Malha: Tactel
Indicado para: praia, treino, corrida, dia a dia
Tamanhos: P, M, G, GG
Complemento: possui bolsos laterais
Descrição: Bermuda Treino Corrida Training Ideal para atividades físicas como musculação, corridas e uso casual Opções de looks diários Máximo conforto e qualidade Ótimo custo benefício Material: Tactel Bolsos Laterais.
Preço: R$ 39,90

Agora, baseado exclusivamente nas informações acima, responda a seguinte pergunta do cliente.

Pergunta:

Atenção! O prompt requer quebras de linha e elas não podem se perder na definição da variável. Para contornar isso você pode trocar as quebras de linha por “\n”. Abaixo repetimos os prompts para sua conveniência.

Prompt com quebras de linha substituídas

Prompt para “Camiseta feminina Dry fit”:

Considere a descrição do seguinte produto.\n\nTipo: Camiseta\nGênero: Fêminino\nCor: Azul Petróleo\nMalha: Dry Fit\nManga: curta\nIndicado para: treino\nTamanhos: P, M, GG\nDescrição: Macio, fácil de lavar, secagem rápida e não precisa passar.Os tecidos Dry Fit absorvem a umidade provocada pelo suor, evitando o desconforto de estar com a pele suada. Apesar de facilitar a transpiração, as tramas do tecido possibilitam que o suor chegue rapidamente do lado de fora da peça, facilitando a sua evaporação e mantendo o corpo seco.Devido às suas características, as camisetas são muito utilizadas por atletas e praticantes de atividades físicas, mas podem ser usadas também em diversas ocasiões do dia a dia, não se restringindo apenas aos momentos de práticas de exercícios físicos.Composição: 100% Poliéster.\nPreço: R$ 25,99\n\nAgora, baseado exclusivamente nas informações acima, responda a seguinte pergunta do cliente.\nPergunta:

Prompt para “Bermuda masculina”:

Considere a descrição do seguinte produto.\n\nTipo: Bermuda\nGênero: Masculina\nCor: Preta\nMalha: Tactel\nIndicado para: praia, treino, corrida, dia a dia\nTamanhos: P, M, G, GG\nComplemento: possui bolsos laterais\nDescrição: Bermuda Treino Corrida Training Ideal para atividades físicas como musculação, corridas e uso casual Opções de looks diários Máximo conforto e qualidade Ótimo custo benefício Material: Tactel Bolsos Laterais.\nPreço: R$ 39,90\n\nAgora, baseado exclusivamente nas informações acima, responda a seguinte pergunta do cliente.\nPergunta: \n

Agora, de volta ao Builder, vamos inserir os blocos dos produtos.

Clique no ícone “+” na barra lateral esquerda, e em seguida em Novo bloco.

Selecione o novo bloco. Será exibido o painel de edição.

Altere o nome do bloco, por exemplo, para “Camiseta”, remova aguardando usuário para não parar esperando uma entrada ainda.

Clique na aba “Ações”, “+ Adicionar ação de entrada”, “Definir variável”.

Em “Nome da variável” digite “prompt”, e em “Valor”, copie o conteúdo do prompt da camiseta, com as quebras de linhas trocadas por “\n”.

Depois, repita todo esse processo para criar o bloco “Bermuda”.

Configurado o prompt para cada produto, altere as condições de saída de “Boas-vindas” para direcionar o usuário para o bloco adequado conforme a seleção no menu.

Podemos então criar o bloco que obtém a pergunta que o cliente deseja fazer a respeito do produto. Salvaremos em uma variável chamada “pergunta”.

Agora podemos fazer tanto o bloco Camiseta quanto o bloco Bermuda direcionarem o cliente para o bloco Pergunta. Conforme o caminho percorrido pelo usuário, a variável “prompt” pode ter informações de diferentes produtos.

No bloco Pergunta vale a pena criarmos também um comando para voltarmos ao bloco Boas-vindas. Para isso, podemos criar uma condição de saída, que identifica se o usuário digitou a palavra-chave “voltar”, e direcionamos para o bloco.

Bloco GPT-3 / Payload

Vamos começar agora a parte mais aguardada: configurar a chamada API OpenAI GPT-3.

Vamos criar um novo bloco e renomear para GPT-3. Vamos remover aguardando resposta, e então ir em “Ações”, “+ Adicionar ação de entrada”, “Executar script”.

Se desejar, pode renomear a ação para “Construir Payload”.

Abra “Variáveis de entrada” e adicione as variáveis “prompt” e “pergunta”.

Ainda em “Executar script”, clique em “Script” para abrir o editor de código.

Vamos criar um script na linguagem Javascript que monta o JSON que a API OpenAI GPT-3 espera. Vamos passar as variáveis “prompt” e “pergunta” como entrada da função, e no campo prompt do JSON, vamos concatenar as duas para formar o prompt final.

Mais detalhes da estrutura JSON na sessão API deste tutorial.

function run(prompt, pergunta) {
    const a = {
        "model": "text-davinci-003",
        "prompt": prompt + " " + pergunta,
        "temperature": 0.9,
        "top_p": 0.9,
        "frequency_penalty": 0,
        "presence_penalty": 0,
        "best_of": 1,
        "max_tokens": 256,
        "stop": null
    };
return JSON.stringify(a);
}

Precisamos também definir a variável para o valor de retorno. Vamos chamar de “payload”.

Bloco GPT-3 / Requisição

Agora vamos fazer a requisição HTTP na API do OpenAI GPT-3.

Para tal, ainda em ações do bloco GPT-3, clique em “+Adicionar ação de entrada” e selecione “Requisição HTTP”.

Configure da seguinte forma:

Método: POST

URL: https://api.openai.com/v1/completions 26

Cabeçalhos

Atenção: substituir a variável API_KEY pela chave da API que criou na seção chave de acesso.

Key	Value
Authorization	Bearer {{API_KEY}}
Content-Type	application/json

CORPO:

{{payload}}

Salvar Resposta

status: status

corpo: json

Bloco GPT-3 / Extrair resposta

Vamos então extrair da resposta da API o texto da resposta à pergunta do usuário. Ainda em ações do bloco GPT-3, clique em “+Adicionar ação de entrada” e selecione “Executar script”. Renomeie para “Extrair resposta”.

Em variáveis de entrada, adicione “status” e “json”.

Em Script, troque a função exemplo por esta:

function run(status, json) {
    if (status == 200) {
        const o = JSON.parse(json);
        const resp = o.choices[0].text;
        return resp;
    }
    return "Algo deu errado, tente novamente";
}

E ainda, em Salvar Retorno configure a variável resposta.

Bloco GPT-3 / Exibir resposta

Agora vamos exibir ao usuário a resposta obtida na requisição feita.

No bloco GPT-3, na aba conteúdo, insira um bloco texto com o seguinte conteúdo:

Resposta GPT-3

{{resposta}}

Fechando o loop de pergunta e resposta

Finalmente, fechamos o loop fazendo seguir do bloco Pergunta para GPT-3, e voltar, possibilitando responder quantas perguntas quisermos sobre cada produto.

Testando a integração do ChatGPT com a Blip

Agora que vimo como integrar o ChatGPT com a Blip, vamos testar o nosso chatbot. Clique em “Publicar fluxo” e em seguida clique em “testar fluxo em construção”.

Criamos alguns exemplos de perguntas e copiamos a resposta aqui, para ilustrar. Note que pelo comportamento criativo do modelo, ele pode não responder da mesma forma nos seus testes mesmo fazendo exatamente as mesmas perguntas.

Pergunta	Resposta da IA
Esta serve para correr ou ir na academia?	Sim, esta camiseta é ideal para correr ou ir à academia. Ela possui um tecido Dry Fit, que absorve a umidade provocada pelo suor, mantendo o corpo seco, e é macio, fácil de lavar, com secagem rápida e não precisa passar.
Serve para trabalhar em um frigorífico?	Infelizmente não, pois esta camiseta não possui nenhuma característica específica para isso. Esta camiseta foi indicada para treino, pois seu tecido Dry Fit absorve a umidade e mantém o corpo seco, sendo ideal para praticantes de atividades físicas. Além disso, a camiseta tem manga curta, o que não é adequado para o trabalho em frigoríficos.
Tem tamanho G?	Não, o tamanho disponível nesse produto é P, M e GG.
Quais vantagens tenho comprando esta camiseta?	A camiseta possui diversas vantagens para quem a compra. Ela é feita de Dry Fit, um tecido que absorve a umidade provocada pelo suor e permite que o suor evapore rapidamente. É macio, fácil de lavar e não precisa passar. Além disso, tem secagem rápida. Por ser feita de tecido Dry Fit, ela é ideal para quem pratica atividades físicas, mas também pode ser usada para outras ocasiões. Ela vem em três tamanhos (P, M, GG) e possui um preço acessível de R$ 25,99.
Quais desvantagens tenho comprando esta camiseta?	Não há desvantagens específicas em relação à compra desta camiseta. O tecido Dry Fit é conhecido por sua resistência e capacidade de absorção de suor, oferecendo conforto durante o uso. Além disso, possui secagem rápida e não precisa ser passado. Portanto, não existem desvantagens ao comprar esta camiseta.

Você pode conferir as resposta verificando as informações no Prompt para Camiseta.

Agora vamos voltar ao menu (digite “voltar”) e vamos testar perguntas e respostas sobre a bermuda.

Pergunta	Resposta da IA
Ela é de linho?	Não, ela não é de linho. Ela é feita de Tactel.
Ela serve para trabalho em fábrica?	Não, infelizmente esta bermuda não é indicada para trabalhos em fábrica, pois seu material é o Tactel, que possui uma textura leve e é ideal para praticar atividades físicas, uso casual e para ir à praia, treino, corrida e dia a dia.
Serve para jogar bola?	Não, esta bermuda não é indicada para jogar bola. Ela foi especificamente desenvolvida para atividades físicas como musculação, corridas e uso casual. Além disso, o material Tactel oferece máximo conforto e qualidade.
Quais tamanhos tem?	A bermuda tem os tamanhos P, M, G e GG.
E quais cores?	A cor disponível é Preta.

Novamente, podemos conflitar as respostas com o prompt para Bermuda.

Introdução ao OpenAI GPT-3

OpenAI é uma empresa especializada em pesquisa e aplicações de Inteligência Artificial. Seu objetivo é que este tipo de tecnologia esteja disponível para toda a humanidade.

A primeira API para acessar recursos OpenAI surgiu em junho de 2020. Porém, só nos últimos meses, com o lançamento em novembro de 2022 do poderoso modelo text-davinci-003, e da aplicação ChatGPT, uma especialização desse último modelo, que a tecnologia se tornou popularmente conhecida.

Conceitos

De forma resumida apresentamos os conceitos iniciais que você utilizou nesse tutorial. Sugerimos também se aprofundar e tomar como referência a documentação oficial 4.

Engenharia de Prompt e completitions

A API do OpenAI oferece diversos endpoints, sendo que o principal, e que usamos nesse tutorial, é o completitions 10. Ele oferece uma forma poderosa, intuitiva e até mesmo natural, e de interação com o modelo: o Prompt.

Por exemplo, se seu prompt for “Escreva um slogan para uma sorveteria localizada na cidade Barbacena, Minas Gerais.”, o endpoint completitions poderia gerar: “Sorvete de Barbacena: Delícia que refresca.”

Obs.: OpenAI oferece um Playground onde você pode facilmente experimentar variações do seu prompt e configurações.

O prompt é essencialmente a forma como você programa o modelo. Existem diversos sites explorando estratégias de criação de prompts. E no próprio OpenAI existem uma grande quantidade de exemplos de prompt 10. E ainda nesse tutorial apresentamos dois exemplos de estratégia de integração com Blip, com diferentes complexidades.

Tokens

O conceito de tokens são importantes por dois motivos. Em primeiro lugar, os modelos OpenAI tem limitações com relação ao tamanho do prompt em tokens que suporta. Por exemplo, o text-davinci-003 suporta até 4000 tokens.

E em segundo lugar, porque essa é a forma que a OpenAI cobra as chamadas de API: a cada 1000 tokens.

Um token é em geral do tamanho 3 ou 4 caracteres. Por exemplo, a palavra “hamburger” é composta pelos tokens “ham”, “bur” e “ger”.

Atenção ao seguinte detalhe. A limitação de quantidade de tokens suportada pelos modelos deve considerar, além do prompt, o comprimento máximo de tokens para geração.

Custos

Quanto aos custos, tome como referência a tabela de preços OpenAI 35.

Modelos

O endpoint completitions suporta os modelos GPT-3 chamados Davinci, Curie, Babbage e Ada. Sendo que o Davinci é o que apresenta maior capacidade e qualidade na geração de texto, porém é mais lento e caro.

O Curie também é ainda bastante capaz, porém, mais rápido e de menor custo quando comparado ao Davinci. Babbage tem capacidades mais limitadas de geração de texto, porém pode ser bom em busca ou classificação. Finalmente o Ada é o mais simples e barato.

Mais detalhes na documentação dos modelos 4.

API

A API de completetion do OpenAI é descrita em detalhes aqui 10.

O uso mais normal é uma chamada do tipo POST, com alguns parâmetros e uma chave de autenticação.

Exemplo de chamada curl

curl https://api.openai.com/v1/completions \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-d '{
    "model": "text-davinci-003",
    "prompt": "Diga que isto é um teste",
    "max_tokens": 7,
    "temperature": 0
}'

Parâmetros

{
    "model": "text-davinci-003",
    "prompt": "Diga que isto é um teste",
    "max_tokens": 7,
    "temperature": 0,
    "top_p": 10,
    "n": 1,
    "stream": false,
    "logprobs": null,
    "stop": "\n"
}

Resposta

{
    "id": "cmpl-uqkvlQyYK7bGYrRHQ0eXlWi7",
    "object": "text_completion",
    "created": 1589478378,
    "model": "text-davinci-003",
    "choices": [
        {
            "text": "\n\nIsto é um teste.",
            "index": 0,
            "logprobs": null,
            "finish_reason": "length"
        }
    ],

    "usage": {
        "prompt_tokens": 5,
        "completion_tokens": 7,
        "total_tokens": 12
    }
}

Sobre os parâmetros

temperature	Controla a aleatoriedade: a redução resulta em conclusões menos aleatórias. À medida que a temperatura se aproximar de zero, o modelo se tornará determinístico e repetitivo.
max_tokens	Defina um limite para o número de tokens a serem gerados em uma réplica. O sistema dá suporte a um máximo de 2048 tokens compartilhados entre um determinado prompt e a conclusão da réplica. (Um token tem aproximadamente 4 caracteres para texto típico em inglês.)
stop	Faça com que as réplicas parem em um ponto desejado, como o final de uma frase ou lista. Especifique até quatro sequências em que o modelo deixará de gerar mais tokens em uma réplica. O texto retornado não conterá a sequência de parada.
top_p	Controle quais tokens o modelo considerará ao gerar uma réplica por meio de amostragem de núcleo. Definir isso como 0,9 considerará os 90% mais prováveis de todos os tokens possíveis. Isso evitará o uso de tokens claramente incorretos enquanto ainda mantém a variedade quando o modelo tiver baixa confiança nos tokens de pontuação mais alta.
frequency_penalty	Reduza a chance de repetir um token proporcionalmente com base na frequência em que ele apareceu no texto até agora. Isso diminui a probabilidade de repetir exatamente o mesmo texto em uma réplica.
presence_penalty	Reduza a chance de repetir qualquer token que tenha sido mostrado no texto até agora. Isso aumenta a probabilidade de apresentar novos tópicos em uma réplica.

AI responsável

Para efetividade das soluções que usam GPT-3, temos que ter em mente a responsabilidade que temos como criadores dos produtos que desenvolvemos.

Aplicações de Inteligência Artificial podem ser imprevisíveis, conter vieses diversos, como os de gênero ou raça, profanações, incoerências e incompatibilidade com a realidade.

Por isso precisamos ser muito cuidadosos na construção dos casos de uso, blindando nossos sistemas para evitar comportamentos indevidos.

A Microsoft Azure oferece um conteúdo bastante completo sobre o conceito de Responsible AI 1, inclusive, para efeitos de mitigação de riscos, sugerimos seguir o HAX Workbook 6, que direciona em melhores práticas de implementações.

A OpenAI explica suas restrições de uso em OpenAI usage policies 2.

Entre as restrições, temos casos de usos banidos:

• Negócios ilegais ou prejudiciais;
• Uso indevido de dados pessoais;
• Promovendo desonestidade;
• Enganar ou manipular usuários;
• Tentar influenciar a política.

Alguns precisam de critérios rígidos de testes e supervisão humana, entre eles: justiça criminal, aplicação da lei, jurídico, serviços governamentais e civis, saúde, terapia, bem-estar, treinamento, finanças, notícias.

Além disso, conteúdos de ódio, assédio, violência, automutilação, sexual, político, spam, enganoso e malware devem ser banidos. Para ajudar nisso, a OpenAI oferece uma API gratuita de moderação.

Agora você já está preparado e sabe como integrar o ChatGPT ao seu Contato Inteligente no Blip.

Gostou do conteúdo? Faça parte da Blip Community e divida suas dúvidas, experiências e aprendizados com uma comunidade feita por especialistas. 🙂