Dar bant
İster senin ister başkasının olsun, herhangi bir kişisel puan listesini aç ve dağılıma bak. On puan kullanılabilirdi; neredeyse her şey 6,5 ile 8,5 arasında duruyor. Oyun eleştirmenleri yıllardır meşhur “7 ile 9 arası ölçek” şakasının hedefi; ama kişisel listeler de aynı şekilde sıkışır ve bu tembellikten değildir. Üç sessiz kuvvet her puanlayanı o banda iter.
Örneklemin hileli
Asla dünyadan rastgele bir örneklemi puanlamazsın. Seçtiğini puanlarsın: fragmanı seni ikna eden filmi, bir arkadaşının kefil olduğu restoranı, ilk bölümünü atlatmış kitabı. Gerçekten kötü adaylar, sen daha oynat tuşuna basmadan elenmişti; bu yüzden gerçekten deneyimlediklerinin dürüst ortalaması gerçekten yüksektir. Sorun, kendi önceden elenmiş örneklemin yerine hayali bir “her şey” evrenine göre puan verdiğinde başlar. “Kendi seçtiğim bir şey için gayet iyi” her seferinde 7'ye yuvarlanır.
Ödünç referanslar
Herkese açık ortalamalar ölçeğini kendilerininkine doğru çeker. IMDb puanları 7'lerin ortasında toplanır; bu yüzden “ortalamadan biraz fazla” sevdiğin bir film neredeyse refleksle 7,8 alır. Başka kimsenin okumayacağı bir listede bile 3, birinin emek verip yaptığı bir şeye hakaret gibi gelir. Sonuç, kalabalıktan ödünç alınmış ve nezaketle yumuşatılmış bir ölçektir; yani aslında senin değil.
Kullanılmayan uçlar
Uç noktalar zıt nedenlerle boş durur. 10, henüz gelmemiş bir mükemmellik için yedekte tutulur; sanki onu harcamak sonrası için hiçbir şey bırakmayacakmış gibi. 1'ler ve 2'ler kullanılmaz, çünkü onları hak edenleri erkenden bırakırsın; onları hak edecek kadar kötü şeyler nadiren bitirilir, puanlanmaları hiç değil. İki uç da boş kalınca, gerçek olan her şey geriye kalan orta-üst aralığa sıkışır.
Sıkışmanın sana maliyeti
Bir puan ölçeği bir ölçüm aletidir ve kullanılabilir aralığı onun çözünürlüğüdür. Etkin iki puanlık bir aralıkta çalıştığında gerçekten önemsediğin farklar gürültüde boğulur: 8,2 ile 8,3 yazı turaya döner, tier list'in uzun tek bir A şeridine dönüşür ve bu yılki 7,5 artık geçen yılki 7,5 ile aynı anlama gelmez. Liste, var olma nedeni olan tek soruyu yanıtlamayı bırakır: bunlardan hangisini gerçekten daha çok sevdim?
Nasıl yeniden kalibre olunur
- 5'i yeniden tanımla. Kozmik bir vasatlığı değil, denediğin her şeyin medyanını temsil etsin. Prensipte puanladıklarının yarısı onun altında kalmalı.
- Uçları gerçek anılarla sabitle. Gelmiş geçmiş en iyin 10'dur; gerçekten bitirdiğin en kötü şey 1. Her yeni puan, bir idealle pazarlık değil, hatırladığın şeyler arasında bir yerleştirme olur.
- Yüzdelik dilimlerle düşün. 9, “yediğim her şeyin en iyi onda biri” demektir; bu, “mükemmel” demekten farklı olarak sağlamasını yapabileceğin bir iddiadır.
- Histogramını denetle. Sağlıklı bir dağılımın yayılımı ve uçları vardır. 7,5 merkezli, 5'in altında hiçbir şey olmayan bir çan eğrisi şanslı bir seri değil, bir kalibrasyon uyarısıdır.
- Arada bir yeniden sabitle. Her yıl birkaç eski puanı güncel referanslarına göre yeniden gözden geçir. Kayma süreklidir; düzeltme de öyle olmalı.
Ya da ölçeği tamamen atla
Sorunun içinden geçmek yerine etrafından dolaşmanın da bir yolu var. İkili karşılaştırma hiçbir zaman “ne kadar iyi?” diye sormaz, yalnızca “bu ikisinden hangisi?” diye sorar ve bu soru sıkışmaya karşı bağışıktır. Bandın istediği kadar dar olabilir; düellolar listeyi yine de gerçek sırasına koyar.
RateTheThings bu işin iki ucunda da çalışır. Her listenin bir histogramı vardır, böylece dağılımını bir bakışta görürsün; istatistik sayfası puanların kümelendiğinde seni uyarır ve ikili düellolar sayılarının ayıramadığı komşuları ayırır. Son yirmi puanının hepsi 7 virgül bir şeyse, listeni aç ve histograma bak. O biliyor.