O ChatGPT foi lançado pela OpenAI em 30 de novembro de 2022 e se tornou em pouco tempo um dos produtos de tecnologia de crescimento mais rápido da história. Milhões de pessoas o usam para escrever, estudar, programar e tirar dúvidas. Mas como funciona o ChatGPT por dentro? Este guia explica em linguagem simples.
O que é o ChatGPT
O ChatGPT é um assistente de conversa baseado em um modelo de linguagem de grande porte, ou LLM, na sigla em inglês. GPT significa Generative Pre-trained Transformer: um modelo generativo, pré-treinado, construído com a arquitetura Transformer, apresentada por pesquisadores do Google em 2017 no artigo Attention Is All You Need.
Passo 1: o texto vira tokens
O modelo não lê palavras como nós. O texto é dividido em pequenos pedaços chamados tokens, que podem ser uma palavra inteira, parte de uma palavra ou um sinal de pontuação. Cada token é convertido em números que o modelo consegue processar.
Passo 2: prever a próxima palavra
No centro de tudo está uma tarefa simples de descrever: dado um texto, prever qual token vem em seguida. O modelo escolhe um token provável, acrescenta ao texto e repete o processo, um token de cada vez, até completar a resposta. A arquitetura Transformer usa um mecanismo chamado atenção, que permite ao modelo considerar todas as partes do texto ao mesmo tempo para decidir o que é relevante.
Passo 3: o pré-treinamento
Para aprender a prever bem, o modelo é treinado com uma enorme quantidade de textos. Durante o treinamento, ele ajusta bilhões de parâmetros internos para acertar cada vez mais a próxima palavra. Nesse processo, ele absorve padrões de linguagem, fatos, estilos e formas de raciocínio presentes nos textos.
Passo 4: aprender a ser um assistente
Um modelo apenas pré-treinado completa textos, mas não necessariamente responde de forma útil. Por isso há uma segunda etapa: o modelo é ajustado com exemplos de conversas e com a avaliação de pessoas, que indicam quais respostas são melhores. Essa técnica é conhecida como aprendizado por reforço com feedback humano. É ela que faz o ChatGPT seguir instruções, recusar pedidos perigosos e responder em formato de conversa.
Por que o ChatGPT erra
Como o modelo gera o texto mais provável, e não consulta um banco de fatos, ele pode produzir respostas convincentes e erradas, as chamadas alucinações. Ele também tem uma data limite de conhecimento, definida pelo fim do treinamento, e só traz informações atuais quando usa ferramentas como a busca na web. Por isso, dados, números, citações e referências devem sempre ser conferidos.
O que o ChatGPT faz bem
Resumir e reorganizar textos, sugerir ideias, explicar conceitos de formas diferentes, traduzir, revisar a escrita e ajudar em programação são tarefas em que ele costuma ser útil, principalmente quando a pessoa sabe avaliar o resultado.
Como usar melhor
Dê contexto: diga quem você é, para que serve a resposta e qual formato espera. Peça para o modelo mostrar o raciocínio ou listar as fontes. Divida tarefas grandes em etapas. E trate a resposta como um rascunho para revisar, não como verdade pronta.
Privacidade
Evite colar informações sigilosas, dados pessoais de terceiros ou segredos da empresa. Verifique nas configurações se suas conversas podem ser usadas para treinar os modelos e use as opções de controle disponíveis. Empresas devem preferir versões corporativas com contratos de proteção de dados.
Para entender a base técnica, leia nosso guia de machine learning explicado. Para acompanhar novidades, veja as notícias de inteligência artificial.