Índice do artigo

O que é um LLM?

Um Grande Modelo de Linguagem (LLM) é um modelo de inteligência artificial treinado em vastas quantidades de texto, capaz de compreender, gerar e manipular linguagem humana de forma avançada. Os LLMs modernos são baseados na arquitetura Transformer e contam com biliões (ou centenas de biliões) de parâmetros.

Como os LLMs funcionam

1. Tokenização

O texto de entrada é dividido em unidades menores chamadas tokens. Um token pode ser uma palavra, parte de uma palavra ou até um caractere individual. O modelo processa tokens, não palavras completas.

2. Embeddings

Cada token é convertido num vetor numérico (embedding) que representa o seu significado num espaço vetorial de alta dimensão. Tokens com significados semelhantes ficam próximos uns dos outros neste espaço.

3. Processamento Transformer

O Transformer processa os embeddings através de múltiplas camadas de atenção autoatenta (self-attention) e redes feed-forward, permitindo ao modelo capturar dependências de longo alcance no texto.

4. Geração de texto

O modelo prevê o próximo token dado o contexto anterior, de forma autoregressiva, gerando texto um token de cada vez.

Capacidades dos LLMs

  • Geração de texto coerente e contextualmente relevante
  • Tradução entre idiomas
  • Resumo de documentos
  • Resposta a perguntas
  • Geração e explicação de código
  • Raciocínio sobre problemas complexos
  • Análise de sentimento

Limitações importantes

Os LLMs têm limitações que devem ser compreendidas:

  • Alucinações: Podem gerar informações falsas com aparência de confiança.
  • Conhecimento limitado por data de corte: Sabem apenas o que estava nos dados de treino.
  • Vieses: Podem refletir vieses presentes nos dados de treino.
  • Falta de compreensão verdadeira: Processam padrões estatísticos, não possuem compreensão semântica humana real.
  • Custo computacional: Treino e inferência requerem recursos significativos.

Principais famílias de modelos

Família Características Exemplo de uso
GPT (OpenAI) Autoregressivo, decoder-only Geração de texto, chat
BERT (Google) Bidirecional, encoder-only Classificação, extração de entidades
T5 (Google) Texto-para-texto, encoder-decoder Tradução, resumo
LLaMA (Meta) Open weights, eficiente Pesquisa, fine-tuning
Claude (Anthropic) Focado em segurança Assistente conversacional

Distinção: factos vs planos

Este artigo descreve conceitos estabelecidos de LLMs. Qualquer referência a modelos específicos do projeto GPTCLONE refere-se a planos de investigação, não a capacidades já implementadas.


Leia também: Arquitetura Transformer Explicada e Tokenização Explicada.