O problema das notas
Peça a alguém para dar uma nota de 0 a 10 a um filme e, na verdade, você está pedindo que essa pessoa tenha em mente toda uma história de filmes, encaixe este no meio dela e comprima a resposta num único número. Ninguém faz isso. O que as pessoas relatam de fato é uma sensação, filtrada pelo humor, pelo que viram por último e pela companhia. O resultado é conhecido de qualquer um que já anotou avaliações por um tempo: quase tudo fica entre 7 e 8,5, e o 8,0 que você deu a algo anos atrás já não significa o que um 8,0 significa hoje.
Isso não é descuido. Décadas de pesquisa sobre o julgamento humano apontam na mesma direção: as pessoas são pouco confiáveis em julgamentos absolutos e notavelmente consistentes nos relativos. Temos dificuldade em dizer quanto pesa uma pedra; raramente erramos qual de duas pedras é mais pesada.
Comparar é a pergunta mais fácil
O ranking por pares leva isso a sério. Em vez de pedir um número, ele faz a pergunta que você consegue responder de verdade: destes dois, qual você prefere? Cada resposta é um pequeno dado honesto, que não depende de quão generoso você estava no dia em que avaliou algo. Junte respostas suficientes e surge um ranking completo, do mesmo jeito que os ratings do xadrez surgem de partidas individuais, e não de alguém declarar que um jogador é “nota 8”.
Você precisa de menos comparações do que imagina
Uma lista de 50 itens tem 1.225 pares possíveis, mas você não precisa nem de perto de tantas respostas. Ordenar uma lista por comparação é um problema de ordenação, e ordenação é uma das ferramentas mais refinadas da computação:
- Encaixar um item novo numa lista já ordenada leva cerca de log₂(n) comparações: sete perguntas para posicionar algo numa lista de 100.
- Ordenar uma lista inteira do zero leva mais ou menos n·log₂(n): uma lista de 20 itens fica ordenada com bem menos de cem duelos rápidos, a maioria de um segundo cada.
Na prática, parece menos uma tarefa e mais um quiz sobre o seu próprio gosto, e dá para espalhar: responda cinco duelos hoje, cinco na semana que vem, e a ordem continua ficando mais precisa.
Quando suas respostas se contradizem
Mais cedo ou mais tarde você vai preferir A a B, B a C, e depois C a A. Um ciclo assim não é uma falha; é informação. Normalmente significa que os três estão realmente próximos, ou que você está comparando por critérios diferentes a cada vez: A ganha de B no capricho, B ganha de C na ambição, C ganha de A na pura diversão. Um bom sistema não finge que a contradição não existe. Ele pode perguntar de novo depois, deixar suas notas desempatarem ou simplesmente aceitar que as posições quatro a seis são questão de humor.
Notas e duelos, juntos
Nada disso torna as notas inúteis. As notas carregam informações que um duelo não consegue: marcam o abismo entre o seu melhor e o seu pior, permitem critérios separados (a história de um filme versus o visual, o sabor de uma cerveja versus a aparência) e dão a você tiers, médias e tendências. Os duelos são a ferramenta de precisão; as notas são o mapa.
Por isso o RateTheThings usa os dois. Suas notas definem a tier list, as médias e as tendências. A ordem do seu ranking vem dos duelos: adicione algo novo e algumas escolhas rápidas de “qual é melhor?”, cerca de log₂(n) delas, como descrito acima, o encaixam no lugar certo entre tudo o que você já avaliou. Se quiser sentir como é, crie uma lista e avalie algumas coisas; os duelos cuidam do resto.