Kłopot z ocenami
Prosząc kogoś o ocenę filmu w skali do dziesięciu, tak naprawdę prosisz go, by trzymał w głowie całą historię obejrzanych filmów, umieścił w niej ten jeden i ścisnął odpowiedź do jednej liczby. Nikt tak nie robi. W praktyce podajemy uczucie, przefiltrowane przez nastrój, świeżość wrażeń i towarzystwo. Efekt zna każdy, kto prowadzi oceny od dłuższego czasu: prawie wszystko ląduje między 7 a 8.5, a 8.0 wystawione czemuś lata temu nie znaczy już tego, co 8.0 dzisiaj.
To nie niedbałość. Dziesięciolecia badań nad ludzkim osądem wskazują to samo: słabo radzimy sobie z ocenami bezwzględnymi i jesteśmy zaskakująco konsekwentni w ocenach względnych. Trudno nam powiedzieć, ile waży kamień; rzadko mylimy się co do tego, który z dwóch kamieni jest cięższy.
Porównanie to łatwiejsze pytanie
Ranking parami traktuje to poważnie. Zamiast prosić o liczbę, zadaje pytanie, na które naprawdę umiesz odpowiedzieć: które z tych dwóch wolisz? Każda odpowiedź to mały, uczciwy punkt danych, niezależny od tego, jak hojny był twój nastrój w dniu oceniania. Połącz ich wystarczająco dużo, a wyłoni się pełny ranking, tak jak rankingi szachowe wyłaniają się z pojedynczych partii, a nie z tego, że ktoś ogłosi gracza „ósemką na dziesięć”.
Potrzeba mniej porównań, niż myślisz
Lista 50 pozycji ma 1225 możliwych par, ale wcale nie potrzebujesz tylu odpowiedzi. Porządkowanie listy przez porównania to problem sortowania, a sortowanie to jedno z najlepiej dopracowanych narzędzi informatyki:
- Wstawienie jednej nowej pozycji do już uporządkowanej listy wymaga około log₂(n) porównań: siedem pytań, by umieścić coś na liście 100 pozycji.
- Uporządkowanie całej listy od zera wymaga mniej więcej n·log₂(n): lista 20 pozycji jest posortowana w znacznie mniej niż stu szybkich pojedynkach, z których większość zajmuje sekundę.
W praktyce przypomina to mniej obowiązek, a bardziej quiz o własnym guście, i da się to rozłożyć w czasie: pięć pojedynków dziś, pięć w przyszłym tygodniu, a kolejność ciągle się wyostrza.
Gdy twoje odpowiedzi sobie przeczą
Prędzej czy później wybierzesz A zamiast B, B zamiast C, a potem C zamiast A. Taki cykl to nie porażka, tylko informacja. Zwykle oznacza, że te trzy są naprawdę blisko albo że za każdym razem porównujesz według innego kryterium: A wygrywa z B warsztatem, B z C ambicją, C z A czystą frajdą. Dobry system nie udaje, że sprzeczności nie ma. Może zapytać ponownie później, oddać rozstrzygnięcie ocenom liczbowym albo po prostu przyjąć, że miejsca od czwartego do szóstego to kwestia nastroju.
Oceny i pojedynki, razem
Nic z tego nie czyni ocen bezwartościowymi. Oceny niosą informację, której pojedynek nie da: pokazują przepaść między najlepszym a najgorszym, pozwalają na osobne kryteria (fabuła filmu kontra obraz, smak piwa kontra wygląd) i dają ci poziomy, średnie i trendy. Pojedynki to narzędzie precyzyjne; oceny to mapa.
Dlatego RateTheThings używa obu. Twoje oceny wyznaczają tier listę, średnie i trendy. Kolejność w rankingu pochodzi z pojedynków: dodaj coś nowego, a kilka szybkich wyborów „co jest lepsze?”, około log₂(n), jak opisano wyżej, umieści to wśród wszystkiego, co już ocenione. Jeśli chcesz sprawdzić, jak to działa, zacznij listę i oceń kilka rzeczy; pojedynki zrobią resztę.