Você usa GitHub Copilot, talvez use o ChatGPT para programar. Mas você realmente entende como essas ferramentas funcionam, ou está só confiando numa caixa preta? Essa pergunta importa mais do que parece, porque quem entende o básico de tokens, custo e métricas de avaliação toma decisão melhor sobre qual ferramenta usar — e para de escolher só pela hype do momento.
Tokens: a unidade que define custo e limite
Todo modelo de linguagem processa texto quebrado em tokens. Um token pode ser uma palavra inteira, um pedaço de palavra, um número, um espaço, às vezes até um símbolo. Em inglês, um token costuma ter entre três e quatro caracteres — em português isso varia, porque a tokenização não é igual em todo idioma.
Isso importa por dois motivos práticos: os modelos têm limite de tokens (o tal “limite de contexto”), e o custo de uso é calculado com base nos tokens de entrada e nos de saída. Se você usa a API da OpenAI direto (não a assinatura do ChatGPT — são coisas diferentes, e assinar o Plus não te dá acesso à API nem ao Playground), o Tokenizer da OpenAI deixa você colar um texto e ver exatamente como ele vai ser quebrado antes de mandar pro modelo. É uma ferramenta simples, mas evita que você estoure limite de contexto sem perceber ou tome um susto na fatura.
O problema real: as empresas não são transparentes
Aqui vai um ponto que pouca gente discute: a gente usa LLM todo dia, mas ainda é, em boa parte, uma caixa preta. OpenAI, Google e Meta não divulgam detalhes completos sobre quais dados foram usados no treinamento, como o modelo foi construído de fato, nem quais testes de segurança foram feitos.
Pesquisadores de Stanford tentaram medir isso criando o Foundation Model Transparency Index, avaliando dez grandes modelos com base em 100 critérios. O resultado não foi animador: o modelo mais transparente, o Llama 2, ficou em 54%. GPT-4 e o PaLM 2 do Google ficaram perto dos 40%. Ou seja, mesmo os modelos mais usados no mercado têm pouca abertura sobre como funcionam por dentro. As empresas justificam isso com competição e risco legal — faz sentido do ponto de vista de negócio —, mas isso não muda o fato de que você está confiando numa caixa preta quando decide qual IA usar no seu fluxo de trabalho.
Métricas que ajudam (mesmo sem transparência total)
Já que não dá pra abrir o modelo e ver o motor por dentro, existem métricas objetivas que ajudam a comparar desempenho:
- Perplexidade — mede o quanto o modelo se confunde ao prever a próxima palavra. Quanto menor, melhor.
- BERTScore — compara significado, não só palavras idênticas. Vai de 0 a 1; quanto mais perto de 1, melhor.
- BLEU — muito usado em tradução automática, compara o texto gerado com uma referência.
- ROUGE — comum em avaliação de resumos, mede cobertura das informações importantes.
- HumanEval, HumanEval multilíngue e MBPP — específicas para código. O modelo recebe um problema e precisa gerar um programa que funcione; o resultado é uma porcentagem de acerto.
Nenhuma dessas métricas resolve o problema da falta de transparência, mas juntas dão um retrato mais objetivo do que “essa IA parece melhor” no achismo.
Número de parâmetros não é a métrica que você pensa
Parâmetros são, simplificando bastante, os ajustes internos que o modelo aprende no treinamento. Mais parâmetros geralmente significa mais capacidade de reconhecer padrões complexos. Só que modelo maior não é sinônimo de modelo melhor — se ele aprendeu os dados de forma específica demais, sofre de overfitting: vai bem nos exemplos que já viu, mas trava diante de algo novo. O desempenho real depende da qualidade dos dados, das técnicas de treinamento e da avaliação feita depois, não só do tamanho.
Open source vs. proprietário: não existe categoria vencedora
Modelos de código aberto (GPT-NeoX, Llama 2, OPT) dão liberdade: você pode adaptar, rodar localmente, estudar a arquitetura. O problema é que normalmente não há equipe dedicada a suporte, as atualizações são menos frequentes, a qualidade varia de projeto para projeto e — ponto sensível — como o código é aberto, fica mais fácil para alguém malicioso estudar o modelo em busca de brechas.
Modelos proprietários (OpenAI, Google, Anthropic) tendem a ser mais estáveis, com suporte e atualização constante, porque há bilhões investidos em infraestrutura. O lado ruim: transparência limitada (voltamos ao ponto anterior), risco de dependência de um único fornecedor, e evolução por vezes mais lenta porque depende de decisão interna da empresa, enquanto open source evolui com a comunidade.
Não existe resposta certa aqui — existe contexto, necessidade e o risco que você está disposto a assumir.
Como escolher a ferramenta na prática (sem seguir hype)
Em 2023, uma pesquisa do Stack Overflow com quase 90 mil desenvolvedores mostrou o GitHub Copilot liderando com cerca de 54% de uso, seguido por Tabnine e Amazon CodeWhisperer. Só que popularidade não significa que é a melhor ferramenta para o seu contexto. Cada time, cada stack, cada tipo de projeto é diferente.
O que eu recomendo na prática:
- Converse com outros desenvolvedores. Pergunte o que usam, o que gostam, o que irrita neles.
- Teste você mesmo. Quase toda ferramenta oferece trial gratuito. Use no seu fluxo real de trabalho, não num exemplo de brinquedo.
- Só depois pense em pagar. A melhor IA não é a mais famosa — é a que melhora o seu desempenho no seu contexto específico.
No fim das contas, IA não é oráculo nem substituto de pensamento crítico. É ferramenta. E ferramenta poderosa pode tanto ampliar sua capacidade quanto amplificar seus erros, dependendo de quão bem você entende o que está usando.
