Como avaliar um LLM judge antes de confiar nele

Comece pelo critério

Julgue uma qualidade definida por vez#

Fundamentação (groundedness), conformidade com política e conclusão da tarefa são construtos diferentes. Um prompt holístico de “qualidade” deixa o modelo trocar o critério a cada caso e torna a discordância impossível de diagnosticar.

Dê ao avaliador âncoras observáveis para aprovar, aprovar parcialmente, reprovar e se abster. Peça que identifique evidências antes do veredito e guarde a versão da rubrica com o resultado.

Com o critério fixado, um conjunto de calibração pode verificar se o avaliador o aplica de forma consistente.

Conjunto de calibração

Compare com rótulos que têm proveniência#

Construa um conjunto compacto de positivos claros, negativos claros, limites difíceis e discordâncias legítimas. Cada rótulo precisa de justificativa escrita e, em critérios de alto risco, revisão por especialista.

Meça o comportamento por classe e a discordância, não apenas uma acurácia agregada. Um avaliador pode parecer forte no total e falhar justamente na fatia rara que mais importa.

{"case_id":"a","human":"PASS","judge":"PASS","slice":"direct"}
{"case_id":"b","human":"HOLD","judge":"PASS","slice":"missing_evidence"}
{"case_id":"c","human":"HOLD","judge":"HOLD","slice":"adversarial"}
{"case_id":"d","human":"PASS","judge":"HOLD","slice":"verbose"}
{"case_id":"e","human":"ABSTAIN","judge":"ABSTAIN","slice":"ambiguous_boundary"}

Concordar nos casos óbvios não basta; alterações controladas expõem vieses previsíveis do avaliador.

Validação adversarial

Teste os vieses já nomeados pela literatura#

Execute estes testes em pares de respostas cujo sentido permanece igual. A característica alterada não deve definir a vencedora.

1. 01

   Posição

   Inverta a ordem das alternativas; o veredito não deve seguir a posição.

2. 02

   Verbosidade

   Mantenha o sentido e varie o tamanho; a resposta longa não pode vencer por padrão.

3. 03

   Autopreferência

   Oculte a identidade do modelo e compare famílias diferentes.

4. 04

   Desvio de critério

   Reproduza âncoras durante execuções longas e entre versões da rubrica.

Alguns casos de limite continuarão realmente ambíguos; por isso, o contrato precisa permitir discordância e abstenção.

Contrato de incerteza

Torne discordância e abstenção visíveis#

Forçar uma resposta converte falta de evidência em certeza falsa. Dê ao avaliador um caminho de abstenção e mantenha a evidência separada da decisão final de política.

Em decisões importantes de aprovação, use julgamentos independentes ou um júri pequeno e inspecione as divergências. Voto majoritário só ajuda quando os jurados não repetem o mesmo modo de falha.

Como o avaliador funciona como instrumento de medição, qualquer mudança de modelo, prompt, rubrica ou configuração exige nova calibração.

Controle de mudança

Um modelo novo é um instrumento novo#

Atualização de modelo, edição de prompt, mudança de rubrica e parâmetros de geração podem deslocar a distribuição dos vereditos. Fixe e registre tudo, depois reproduza o conjunto estável antes de promover.

Monitore discordância e erros por fatia após o lançamento. Sinais de produção devem ampliar a calibração, não reescrever rótulos antigos silenciosamente.

Calibração e controle de mudanças definem onde o avaliador ajuda — e onde uma pessoa ainda precisa decidir.

Conclusão

Valide a fronteira de decisão, não a eloquência do avaliador#

Um avaliador baseado em LLM é um instrumento de medida, não uma autoridade. Seu valor vem do acordo com um critério definido em casos relevantes, da discordância e abstenção visíveis e de um domínio operacional conhecido — não de explicações que apenas soam rigorosas.

Comece com um critério e um conjunto rotulado pequeno, com aprovações claras, falhas claras e casos de fronteira. Compare decisões humanas e do avaliador, inspecione erros sistemáticos e defina quando ele deve se abster. Se a discordância não puder ser explicada, o próximo passo é melhorar os rótulos ou estreitar a tarefa, não automatizar mais vereditos.