Umiesz szacować? Kalibrację da się zmierzyć

Na rynku predykcyjnym nie wygrywa ten, kto trafi w wynik. Wygrywa ten, kto trafi w prawdopodobieństwo. To nieoczywista myśl, bo świat wokół nas nagradza pewność: komentator, który powiedział „to się stanie", i stało się, wygląda mądrze. Na rynku nagroda schowana jest gdzie indziej — w tym, czy twoje siedemdziesiątki sprawdzają się w siedemdziesięciu procentach przypadków.

Dobra wiadomość jest taka, że da się to zmierzyć. Nie na wyczucie, nie po fakcie, tylko liczbą, którą w dziesięć minut ustalisz o sobie sam. Zła jest taka, że ta liczba bywa na początku nieprzyjemna prawie dla każdego.

Kalibracja: kiedy „osiemdziesiąt procent" naprawdę znaczy osiemdziesiąt

KalibracjaZgodność między wypowiedzianą pewnością a rzeczywistą skutecznością. Osoba skalibrowana myli się przy stwierdzeniach, którym daje 80 %, dokładnie w jednym przypadku na pięć — ani więcej, ani mniej. nie polega na tym, żeby często mieć rację. Polega na tym, żeby twoje liczby nie kłamały. Kto przy wszystkim twierdzi dziewięćdziesiąt procent, a trafia w sześćdziesięciu, jest groźny dla samego siebie: przepłaca każdy zakład, bo kupuje pewność, której nie ma.

Odwrotny błąd jest rzadszy, ale istnieje. Kto boi się powiedzieć więcej niż sześćdziesiąt procent, choć swoje wie, zostawia pieniądze na stole — i przede wszystkim nigdy nie znajdzie zakładu, w który warto wejść porządnie.

Mierzy się to punktacją BrieraŚrednia kwadratów różnicy między twoją oceną a rzeczywistością. Zero to doskonałość, 0,25 odpowiada sytuacji, gdy przy wszystkim mówisz 50 %, a wartość powyżej 0,25 znaczy, że lepiej byłoby ci z monetą.. Nie interesuje jej, czy „miałeś rację" — karze cię za to, jak bardzo byłeś pewny w chwili, gdy się pomyliłeś.

Najlepiej to zrozumiesz, kiedy spróbujesz. Dziesięć stwierdzeń, przy każdym przesuń suwak tam, na ile wierzysz, że jest prawdziwe. Pięćdziesiąt procent to czysty strzał, zero znaczy „to na pewno nieprawda":

Dziesięć stwierdzeń, jedno pytanie: na ile sobie ufasz? 50 % = rzut monetą

1
Polymarket działa w sieci Polygon.

50 %
2
Bitcoinów może powstać najwyżej 21 milionów.

50 %
3
Ethereum przeszło na proof of stake w 2022 roku.

50 %
4
USDC i USDT wydaje ta sama firma.

50 %
5
Udział na rynku predykcyjnym wypłaca przy wygranej dokładnie jednego dolara.

50 %
6
Nowy blok Bitcoina powstaje średnio raz na dziesięć minut.

50 %
7
Fraza seed ma zawsze dokładnie dwanaście słów.

50 %
8
Prowizje na Polygonie płaci się w ETH.

50 %
9
Optymistyczny oracle poddaje pod głosowanie każdy zaproponowany wynik.

50 %
10
Kryterium Kelly’ego maksymalizuje długoterminowy wzrost konta.

50 %

Dziesięć pytań to na porządny pomiar za mało — żeby się zobaczyć, w zupełności wystarczy. Kto bierze to na serio, zapisuje oceny przy prawdziwych zakładach i podlicza je co pięćdziesiąt.

Jak odczytać ten wynik

0,25 to granica obojętności — dokładnie tyle dostaniesz, zostawiając wszystkie dziesięć suwaków na pięćdziesięciu procentach. Cokolwiek poniżej znaczy, że coś wiesz. Cokolwiek powyżej znaczy, że twoja pewność szkodzi: albo obstawiasz wbrew własnej wiedzy, albo — o wiele częściej — ufasz sobie bardziej, niż wynika z rzeczywistości.

Spójrz przede wszystkim na parę średnia pewność i rzeczywista skuteczność. Kiedy pierwsza jest wyraźnie wyższa od drugiej, masz klasyczną nadmierną pewność siebie. To nie wstyd, to najlepiej udokumentowana cecha ludzkiego osądu w ogóle — a jedynym znanym lekarstwem jest zapisywanie ocen z wyprzedzeniem i późniejsze patrzenie na nie.

Dlaczego akurat kwadraty Brier podnosi błąd do kwadratu celowo. Pomylić się o dziesięć punktów procentowych to drobiazg, pomylić się o dziewięćdziesiąt to katastrofa — a kwadrat robi z tej różnicy stukrotność. Dokładnie tak ten błąd odbija się też na koncie.

Ocena zaczyna się od częstości bazowej, nie od opowieści

Kiedy pojawia się wiadomość, człowiek ma skłonność przepisać pod nią całą ocenę. To błąd, który rynki karzą codziennie. Właściwa kolejność jest odwrotna: zacznij od częstości bazowejJak często dana rzecz zdarza się w ogóle, niezależnie od dzisiejszych wiadomości. Przy pytaniach typu „czy minister poda się do dymisji do końca miesiąca?" częstość bazowa jest zadziwiająco niska, choćby nagłówki krzyczały. i tylko przesuń ją wiadomością. O ile, zależy od jednej rzeczy: jak często ta wiadomość pojawiłaby się, gdyby nic się nie działo.

Sto światów ile zostanie, kiedy przyjdzie wiadomość

Częstość bazowa: 20 % Wiadomość przychodzi, gdy to naprawdę się dzieje: 80 % Wiadomość przychodzi, nawet gdy nic się nie dzieje: 30 %

dzieje się i wiadomość przychodzi nie dzieje się, a wiadomość przychodzi tak samo

20 % Ocena przed wiadomością

40 % Ocena po wiadomości

+20 p.p. Przesunięcie

Wiadomość, która przychodzi także wtedy, gdy nic się nie dzieje, przesuwa ocenę niewiele. Im rzadszy fałszywy alarm, tym więcej wiadomość waży.

Spróbuj przesunąć fałszywy alarm na osiemdziesiąt procent. Ocena prawie się nie rusza — i dokładnie taka jest sytuacja, w której rynki ruszają się najmocniej: przychodzi wiadomość, która praktycznie nic nie rozróżnia, a cena i tak podskakuje. Tam powstaje przewaga dla tego, kto liczy.

Sama kalibracja nie zarabia Nawet idealnie skalibrowany człowiek skończy na zerze, jeśli rynek jest skalibrowany tak samo. Zarabia wyłącznie różnica — twoja ocena musi być lepsza niż ta, która siedzi właśnie w cenie. Kalibracja to bilet wstępu, nie wygrana.

Trzy nawyki, które to ruszą do przodu

Zapisuj ocenę z wyprzedzeniem. Bez zapisu po wyniku każdy pamięta, że „jakoś tak się tego spodziewał". Wystarczy kolumna w arkuszu: data, pytanie, twój procent. Po pięćdziesięciu wierszach zobaczysz siebie lepiej niż po pięciu latach wrażeń.

Pytaj, co przekonałoby cię do czegoś przeciwnego. Jeśli nie masz na to odpowiedzi, nie masz oceny, tylko postawę. Ocenę da się przesunąć dowodem, postawy nie.

Odróżnij „nie wiem" od „nie obchodzi mnie to". Pięćdziesiąt procent to uczciwa odpowiedź na pytanie, które przemyślałeś i wyszło nierozstrzygnięte. Przy pytaniu, którego nie czytałeś, odpowiedzią nie jest pięćdziesiąt procent, tylko: nie obstawiać.

Co zapamiętać

Rynek nie płaci za trafiony wynik, tylko za trafione prawdopodobieństwo.
Punktacja Briera poniżej 0,25 znaczy, że coś wiesz. Powyżej jesteś na tym gorzej niż z monetą.
Różnica między średnią pewnością a skutecznością to twoja nadmierna pewność siebie wyrażona liczbą.
Ocena zaczyna się od częstości bazowej. Wiadomość tylko ją przesuwa — i tym mniej, im częściej przychodzi też na darmo.
Kalibracja wprowadza cię do gry. Zarabia dopiero różnica wobec rynku.

Tym odcinkiem masz cały zestaw: wiesz, czym jest rynek predykcyjny, jak się na niego dostać, kto decyduje o wyniku, ile włożyć w zakład, co da się wyczytać z dużych portfeli — a od teraz także, jak poznać, czy twoje własne liczby coś znaczą. Reszta to powtarzanie i uczciwe zapisywanie.

Następny artykuł Jak czytać duże portfele i nie pomylić szumu z sygnałem