Escolha modelos de IA com evals próprios, não só por rankings

Um leaderboard é um bom sinal inicial, mas uma decisão final fraca. O modelo em primeiro lugar pode vencer preferências públicas e ainda falhar nos seus emails de suporte, revisões de código, planilhas, workflows com agentes, orçamento ou latência. LM Arena e Chatbot Arena são úteis, mas não substituem suas tarefas reais.

Rankings comprimem prompts, usuários, métodos de avaliação e interfaces em um número. Seu caso envolve tom da marca, risco aceitável, custo, velocidade, privacidade, ferramentas e tipos de falha. Para orientação geral, veja nosso guia Claude vs GPT; para decidir, monte seu eval set.

Monte um eval set representativo

Um eval pessoal é uma pequena coleção de tarefas reais, critérios de qualidade e regras de pontuação. Uma pessoa aprende muito com 20 prompts bem escolhidos. Uma equipe pequena costuma ver diferenças com 50 a 100 casos.

Use trabalho recente: tickets de suporte, emails comerciais, code review, specs, limpeza de planilhas, pesquisa, resumos de reunião e fluxos com agentes. Remova dados privados, mas preserve a dificuldade: contexto longo, instruções ambíguas, texto multilíngue, entradas ruins e limites de segurança. Para desenvolvedores, combine com nosso AI for developers guide e o GPT-5 developer migration playbook.

Escreva a rubrica antes de comparar

Não avalie depois de saber qual modelo respondeu. Defina antes: sucesso da tarefa de 0 a 3, confiabilidade factual de 0 a 3, seguimento de instruções de 0 a 3, usabilidade de 0 a 3 e penalidades por ação insegura, invenções, vazamento de privacidade ou confiança exagerada.

Para conteúdo subjetivo, inclua tom, concisão e fit de marca. Para código, use testes quando possível. Para ferramentas, veja se o modelo escolhe a ferramenta certa, pede informação faltante e para na hora certa. Se o eval inclui ferramentas, leia sobre MCP, CLI e function calling.

Prompts de exemplo

Pesquisa: resumir cinco trechos, listar perguntas abertas e marcar afirmações que precisam de verificação.

Suporte: responder a um cliente irritado por duas falhas de exportação, sem prometer data, pedindo um dado diagnóstico em até 140 palavras.

Código: com teste falhando, função e diff, propor a menor correção provável e o que verificar antes de alterar.

Compra: comparar três ferramentas de escrita com IA usando apenas notas fornecidas, separando fatos de hipóteses.

Agente: com calendário, rascunho de email e CRM, identificar quais etapas exigem confirmação antes de reagendar uma chamada.

Fontes úteis: Anthropic sobre testing and evaluation, OpenAI sobre custom evals and graders e Hamel Husain sobre LLM evals.

Custo, latência e regressão

Um modelo 5% melhor e três vezes mais lento pode ser pior. Um barato que falha em tarefas de risco custa caro em suporte. Registre modelo, data, versão do prompt, latência, custo estimado, taxa de aprovação, falhas severas e notas.

Olhe categorias, não só médias. Um modelo pode ganhar em escrita, outro em extração e outro em uso seguro de ferramentas. Isso sugere roteamento, não um campeão único. Para automação com navegador ou agentes, veja nosso AI browser automation stack guide.

Quando rodar evals novamente

Repita com novos modelos, mudanças de preço, roteamento do provedor, grandes mudanças de prompt, novas permissões de ferramentas, corpus de retrieval atualizado ou mudança de negócio. Usuários individuais podem testar dez prompts por mês; indie hackers devem rodar casos de risco antes de trocar defaults; compradores avaliam antes da compra, antes do rollout e após uso real.

O objetivo não é virar cientista de evals. É usar rankings para reduzir opções e suas tarefas reais para decidir.