Índice do artigo
O que é um LLM?
Um Grande Modelo de Linguagem (LLM) é um modelo de inteligência artificial treinado em vastas quantidades de texto, capaz de compreender, gerar e manipular linguagem humana de forma avançada. Os LLMs modernos são baseados na arquitetura Transformer e contam com biliões (ou centenas de biliões) de parâmetros.
Como os LLMs funcionam
1. Tokenização
O texto de entrada é dividido em unidades menores chamadas tokens. Um token pode ser uma palavra, parte de uma palavra ou até um caractere individual. O modelo processa tokens, não palavras completas.
2. Embeddings
Cada token é convertido num vetor numérico (embedding) que representa o seu significado num espaço vetorial de alta dimensão. Tokens com significados semelhantes ficam próximos uns dos outros neste espaço.
3. Processamento Transformer
O Transformer processa os embeddings através de múltiplas camadas de atenção autoatenta (self-attention) e redes feed-forward, permitindo ao modelo capturar dependências de longo alcance no texto.
4. Geração de texto
O modelo prevê o próximo token dado o contexto anterior, de forma autoregressiva, gerando texto um token de cada vez.
Capacidades dos LLMs
- Geração de texto coerente e contextualmente relevante
- Tradução entre idiomas
- Resumo de documentos
- Resposta a perguntas
- Geração e explicação de código
- Raciocínio sobre problemas complexos
- Análise de sentimento
Limitações importantes
Os LLMs têm limitações que devem ser compreendidas:
- Alucinações: Podem gerar informações falsas com aparência de confiança.
- Conhecimento limitado por data de corte: Sabem apenas o que estava nos dados de treino.
- Vieses: Podem refletir vieses presentes nos dados de treino.
- Falta de compreensão verdadeira: Processam padrões estatísticos, não possuem compreensão semântica humana real.
- Custo computacional: Treino e inferência requerem recursos significativos.
Principais famílias de modelos
| Família | Características | Exemplo de uso |
|---|---|---|
| GPT (OpenAI) | Autoregressivo, decoder-only | Geração de texto, chat |
| BERT (Google) | Bidirecional, encoder-only | Classificação, extração de entidades |
| T5 (Google) | Texto-para-texto, encoder-decoder | Tradução, resumo |
| LLaMA (Meta) | Open weights, eficiente | Pesquisa, fine-tuning |
| Claude (Anthropic) | Focado em segurança | Assistente conversacional |
Distinção: factos vs planos
Este artigo descreve conceitos estabelecidos de LLMs. Qualquer referência a modelos específicos do projeto GPTCLONE refere-se a planos de investigação, não a capacidades já implementadas.
Leia também: Arquitetura Transformer Explicada e Tokenização Explicada.