Das Problem mit Wertungen
Wer jemanden bittet, einen Film von eins bis zehn zu bewerten, verlangt eigentlich, eine ganze Filmgeschichte im Kopf zu behalten, diesen einen Film darin einzuordnen und die Antwort in eine einzige Zahl zu pressen. Das macht niemand. Was Leute tatsächlich angeben, ist ein Gefühl, gefiltert durch Laune, das zuletzt Gesehene und die Gesellschaft. Das Ergebnis kennt jeder, der eine Weile Bewertungen geführt hat: Fast alles landet zwischen 7 und 8,5, und die 8,0, die du vor Jahren vergeben hast, bedeutet nicht mehr, was eine 8,0 heute bedeutet.
Das ist keine Nachlässigkeit. Jahrzehnte der Forschung zum menschlichen Urteilen zeigen in dieselbe Richtung: Menschen sind bei absoluten Urteilen unzuverlässig und bei relativen bemerkenswert beständig. Wir tun uns schwer zu sagen, wie schwer ein Stein ist; wir irren uns selten darin, welcher von zwei Steinen schwerer ist.
Vergleichen ist die leichtere Frage
Paarweises Ranking nimmt das ernst. Statt nach einer Zahl zu fragen, stellt es die Frage, die du wirklich beantworten kannst: Welchen von beiden magst du lieber? Jede Antwort ist ein kleiner, ehrlicher Datenpunkt, unabhängig davon, wie großzügig du an dem Tag warst, an dem du etwas bewertet hast. Reih genug davon aneinander, und es entsteht ein vollständiges Ranking, so wie Schachwertungen aus einzelnen Partien entstehen und nicht daraus, dass jemand einen Spieler zur „8 von 10“ erklärt.
Du brauchst weniger Vergleiche, als du denkst
Eine Liste mit 50 Einträgen hat 1.225 mögliche Paare, aber du brauchst bei Weitem nicht so viele Antworten. Eine Liste durch Vergleiche zu ordnen ist ein Sortierproblem, und Sortieren gehört zu den ausgereiftesten Werkzeugen der Informatik:
- Einen neuen Eintrag in eine bereits geordnete Liste einzusortieren braucht etwa log₂(n) Vergleiche: sieben Fragen, um etwas in eine Liste mit 100 Einträgen einzuordnen.
- Eine ganze Liste von Grund auf zu ordnen braucht ungefähr n·log₂(n): Eine Liste mit 20 Einträgen ist in deutlich unter hundert schnellen Duellen sortiert, von denen die meisten je eine Sekunde dauern.
In der Praxis fühlt es sich weniger wie eine Pflicht an als wie ein Quiz über deinen eigenen Geschmack, und es lässt sich verteilen: Beantworte heute fünf Duelle, nächste Woche fünf, und die Reihenfolge wird immer schärfer.
Wenn sich deine Antworten widersprechen
Früher oder später wirst du A lieber mögen als B, B lieber als C und dann C lieber als A. So ein Kreis ist kein Versagen; er ist eine Information. Meist bedeutet er, dass die drei wirklich nah beieinander liegen oder dass du jedes Mal nach anderen Kriterien vergleichst: A schlägt B beim Handwerk, B schlägt C beim Ehrgeiz, C schlägt A beim puren Spaß. Ein gutes System redet den Widerspruch nicht weg. Es kann später erneut fragen, deine Wertungen entscheiden lassen oder einfach akzeptieren, dass die Plätze vier bis sechs eine Frage der Stimmung sind.
Wertungen und Duelle, zusammen
Das alles macht Wertungen nicht wertlos. Wertungen tragen Informationen, die ein Duell nicht liefern kann: Sie zeigen den Abstand zwischen deinem Besten und deinem Schlechtesten, sie erlauben getrennte Kriterien (die Handlung eines Films gegenüber seiner Optik, den Geschmack eines Biers gegenüber seinem Aussehen), und sie geben dir Tiers, Durchschnitte und Trends. Duelle sind das Präzisionswerkzeug; Wertungen sind die Landkarte.
Deshalb nutzt RateTheThings beides. Deine Wertungen bestimmen die Tier-List, die Durchschnitte und die Trends. Deine Rangfolge kommt aus Duellen: Füg etwas Neues hinzu, und ein paar schnelle „Was ist besser?“-Entscheidungen, etwa log₂(n) davon wie oben beschrieben, ordnen es unter allem ein, was du schon bewertet hast. Wenn du sehen willst, wie sich das anfühlt, starte eine Liste und bewerte ein paar Dinge; die Duelle erledigen sich von selbst.