Spis treści

Karta redakcyjna

Dedykacja

Wprowadzenie. Dwa rodzaje błędów

CZĘŚĆ PIERWSZA. JAK ZNALEŹĆ SZUM

1. Zbrodnia i zaszumiona kara

Jak zmniejszyć szum w wyrokach

Jak mówić o szumie w orzecznictwie karnym

2. Szum w systemie

Loteria będąca źródłem szumu

Audyty szumu ujawniają istnienie szumu systemowego

Niepożądane rozbieżności a pożądana różnorodność

Złudzenie jednomyślności

Jak mówić o szumie systemowym w firmie ubezpieczeniowej

3. Decyzje wyjątkowe

Decyzje wyjątkowe a decyzje powtarzalne

Szum w decyzjach wyjątkowych

Kontrolowanie szumu w decyzjach wyjątkowych

Jak mówić o decyzjach wyjątkowych

CZĘŚĆ DRUGA. TWÓJ UMYSŁ TO INSTRUMENT POMIAROWY

4. Kwestie osądu

Doświadczenie osądu: przykład

Co jest celem osądu: sygnał wewnętrzny

Jak oceniamy osądy: produkt i proces

Osądy oceniające

Dlaczego szum jest problemem

Szum – niepożądany, ale mierzalny

Jak mówić o fachowych osądach

5. Mierzenie błędu

Czy firma GoodSell powinna zmniejszyć szum?

Średnia kwadratów

Równania błędu

Koszt szumu

Jak mówić o równaniu błędu

6. Analiza szumu

Audyt szumu w orzecznictwie karnym

Sprawiedliwe wyroki

Loteria sądowa

Niektórzy sędziowie są surowi: szum poziomowy

Sędziowie się różnią: szum prawidłowościowy

Części składowe szumu

Jak mówić o analizie szumu

7. Szum sytuacyjny

Druga loteria

Mierzenie szumu sytuacyjnego

Jedna osoba to już tłum

Źródła szumu sytuacyjnego

Ocena rozmiarów szumu sytuacyjnego

Szum sytuacyjny – przyczyny wewnętrzne

Jak mówić o szumie sytuacyjnym

8. Jak grupy wzmacniają szum

Szum w muzyce

Nie tylko ściągnięcia utworów

Kaskady

Polaryzacja grupy

Jak mówić o decyzjach grupowych

CZĘŚĆ TRZECIA. SZUM W OSĄDACH PROGNOSTYCZNYCH

9. Osądy i modele

Osąd czy formuła?

Meehl: Optymalny model jest lepszy od ciebie

Goldberg: Model ciebie będzie lepszy od ciebie

Jak mówić o osądach i modelach

10. Reguły wolne od szumu

Więcej prostoty: solidne i piękne

Jeszcze więcej prostoty: proste reguły

Większa złożoność: ku uczeniu się maszynowemu

Przykład: lepsze decyzje o zwolnieniach za kaucją

Dlaczego nie korzystamy częściej z reguł?

Jak mówić o regułach i algorytmach

11. Obiektywna niewiedza

Obiektywna niewiedza

Nadmierna pewność siebie medialnych ekspertów

Kiepskie osądy ludzkie i niewiele lepsze modele

Negowanie niewiedzy

Jak mówić o obiektywnej niewiedzy

12. Dolina normalności

Przewidywanie kolei życiowych

Rozumienie a przewidywanie

Myślenie przyczynowe

Rozumienie w dolinie normalności

Spojrzenie od wewnątrz i z zewnątrz

Jak mówić o granicach rozumienia

CZĘŚĆ CZWARTA. JAK POWSTAJE SZUM

13. Heurystyki, błędy poznawcze, tendencyjność oraz szum

Diagnozowanie błędów poznawczych

Zastępowanie

Błąd przesądzenia

Nadmierna spójność

Błędy poznawcze powodują szum

Jak mówić o heurystykach, błędach poznawczych, tendencyjności i szumie

14. Operacja dopasowywania

Dopasowywanie i spójność

Dopasowywanie intensywności

Błąd w dopasowywaniu prognoz

Szum przy dopasowywaniu, czyli ograniczenia osądów bezwzględnych

Jak mówić o dopasowywaniu

15. Skale

Hipoteza oburzenia

Szum w skalach

Dolary i kotwice

Jak mówić o roli skal pomiarowych

16. Prawidłowości

Problemy: trudne i łatwe

Szum prawidłowościowy: zjawisko stabilne czy przelotne?

Analogia do osobowości

Jak mówić o szumie prawidłowościowym

17. Źródła szumu

Części składowe szumu

Mierzenie części składowych

Wyjaśnianie błędów

Szum jest statystyczny

Jak mówić o źródłach szumu

CZĘŚĆ PIĄTA. JAK ULEPSZAĆ OSĄDY

18. Lepsze osądy dzięki lepszym osobom

Różnica między ekspertami a ekspertami na podstawie respektu

Inteligencja

Styl poznawczy

Jak mówić o osobach lepszych w formułowaniu osądów

19. Eliminowanie błędów poznawczych i higiena decyzyjna

Redukowanie tendencyjności: po fakcie i zawczasu

Ograniczenia w redukowaniu tendencyjności

Obserwator decyzji

Ograniczanie szumu: higiena decyzyjna

Jak mówić o redukowaniu błędów poznawczych i higienie decyzyjnej

20. Sekwencjonowanie informacji w kryminalistyce

Odciski palców

Szum sytuacyjny w analizie daktyloskopijnej

Błąd potwierdzenia w kryminalistyce

Pewien poziom szumu – ale jaki poziom błędu?

Słuchanie szumu

Sekwencjonowanie informacji

Jak mówić o kontrolowaniu informacji

21. Selekcja i agregacja w prognozowaniu

Ulepszanie prognoz

Good Judgment Project

Nieustająca wersja beta

Szum i tendencyjność w prognozowaniu

Gdzie sprawdza się dobór i agregowanie osądów

Jak mówić o doborze i agregowaniu

22. Wytyczne w medycynie

Horyzonty zagadnienia

Mniej szumu w pracy lekarzy: wartość wytycznych

Przygnębiający przypadek psychiatrii

Jak mówić o wytycznych w medycynie

23. Definiowanie skali przy ocenianiu wyników w pracy

Zadanie wymagające osądu

Jedna czwarta sygnału, trzy czwarte szumu

Problem od dawna znany, ale nie rozwiązany

Pochwała osądów relatywnych

Rankingi – tak, wymuszanie – nie

Co dalej?

Jak mówić o określaniu skali

24. Struktury w systemie rekrutacji

Niebezpieczeństwa związane z rozmową o pracę

Szum w rozmowach o pracę

Psychologia osoby prowadzącej rozmowę

Lepszy dobór pracowników dzięki strukturyzacji

Jak mówić o strukturze w procesach rekrutacji

25. Metoda analiz pośrednich (MAP)

Pierwsze spotkanie. Uzgodnienie podejścia

Druge spotkanie. Ustalenie analiz pośrednich

Zespół transakcyjny

Spotkanie decyzyjne

Metoda analiz pośrednich a decyzje powtarzające się

Co zmienia metoda analiz pośrednich

Jak mówić o podejściu MAP

CZĘŚĆ SZÓSTA. OPTYMALNY POZIOM SZUMU

26. Koszty ograniczania szumu

Mniej szumu, więcej błędów?

Algorytmy: wolne od szumu, ale tendencyjne

Jak mówić o kosztach ograniczania szumu

27. Godność

Zmieniające się wartości

Naginanie reguł, obchodzenie zasad

Odstraszanie i awersja do ryzyka

Kreatywność, morale i nowe pomysły

Jak mówić o godności

28. Reguły czy standardy?

Podziały i niewiedza

Szefowie i kontrolowanie podwładnych

Powrót uciśnionych

Ramy

Szum prawnie zakazany?

Jak mówić o regułach i standardach

Podsumowanie i wnioski. Jak poważnie podejść do szumu

Osądy

Błędy: tendencyjność i szum

Mierzenie tendencyjności i szumu

Szum jest problemem

Rodzaje szumu

Psychologia osądów i szumu

Niesłyszalny szum

Jak ograniczać szum (a także tendencyjność)

Ile powinno być szumu?

Epilog. Świat bardziej wolny od szumu

Załącznik A. Jak przeprowadzić audyt szumu

Załącznik B. Checklista obserwatora decyzji

Załącznik C. Korygowanie prognoz

Podziękowania

O autorach

Przypisy

Tytuł oryginału
NOISE
A Flaw in Human Judgment

Copyright © 2021 by Daniel Kahneman, Olivier Sibony, and Cass R. Sunstein
All rights reserved
Copyright © 2022 for the Polish translation by Media Rodzina Sp. z o.o.

Redaktor
Hanna Koźmińska

Projekt graficzny okładki
Radosław Stępniak

Materiały graficzne na okładce
Aleksei Derin

Wszelkie prawa zastrzeżone. Przedruk lub kopiowanie całości albo fragmentów książki – z wyjątkiem cytatów w artykułach i przeglądach krytycznych – możliwe jest tylko na podstawie pisemnej zgody wydawcy.

Media Rodzina popiera ścisłą ochronę praw autorskich.
Prawo autorskie pobudza różnorodność, napędza kreatywność, promuje wolność słowa, przyczynia się do tworzenia żywej kultury. Dziękujemy, że przestrzegasz praw autorskich, a więc nie kopiujesz, nie skanujesz i nie udostępniasz książek publicznie. Dziękujemy za to, że wspierasz autorów i pozwalasz wydawcom nadal publikować książki.

ISBN 978-83-8265-192-8

Media Rodzina Sp. z o.o.
ul. Pasieka 24, 61-657 Poznań
tel. 61 827 08 50
wydawnictwo@mediarodzina.pl

Konwersja: eLitera s.c.

Dla Nogi, Oriego i Gili – DK

Dla Fantina i Lélii – OS

Dla Samanthy – CRS

Wprowadzenie

Dwa rodzaje błędów

Wyobraźmy sobie, że cztery grupy znajomych poszły na strzelnicę. Każdy z zespołów składa się z pięciu osób i strzela z tego samego karabinu, a każda osoba oddaje jeden strzał. Rysunek 1 pokazuje ich trafienia.

W idealnej sytuacji każdy strzał trafiałby w środek tarczy.

Rysunek 1. Cztery zespoły

Zespołowi A prawie się to udało. Trafienia tego zespołu skupiają się ciasno wokół środka tarczy, czyli są bliskie ideału.

O strzałach zespołu B powiemy, że cechuje je tendencyjność, bo chybiają celu w sposób systematyczny. Jak widać na rysunku, odchylenie jest spójne, dzięki czemu daje się przewidywać. Gdyby ktoś z tego zespołu miał strzelać jeszcze raz, można by się było założyć, że trafienie wypadnie w tym samym obszarze co pięć poprzednich. Spójność tej tendencji zarazem każe się doszukiwać wyjaśnienia przyczynowo-skutkowego: może karabin tego zespołu ma skrzywiony celownik?

O strzałach zespołu C powiemy, że są zaszumione (czyli dotknięte szumem), bo trafienia są rozrzucone po całej tarczy. Nie widać tu żadnej wyraźnej tendencyjności, bo trafienia są z grubsza wypośrodkowane na tarczy. Gdyby któryś z członków zespołu oddał kolejny strzał, nie wiedzielibyśmy za bardzo, gdzie może trafić. Co więcej, nie przychodzi nam do głowy żadna interesująca hipoteza na wytłumaczenie wyników zespołu C. Wiemy, że jego członkowie to kiepscy strzelcy. Nie wiemy, dlaczego w ich wynikach jest tyle szumu.

W wynikach zespołu D widać zarówno tendencyjność, jak i szum. Podobnie jak w zespole B, strzały chybiają celu w sposób systematyczny; podobnie jak w zespole C, trafienia są szeroko rozrzucone po tarczy.

Jednak ta książka nie jest o strzelectwie. Jej tematem są ludzkie błędy. Tendencyjność oraz szum – czyli błędy systematyczne oraz losowy rozrzut – są różnymi składnikami błędu. Nasze tarcze strzelnicze ilustrują tę różnicę.

Strzelnica to metafora możliwych błędów w ludzkich osądach, zwłaszcza w najróżniejszych decyzjach i osądach formułowanych w imieniu organizacji. W takich sytuacjach spotykamy oba rodzaje błędów przedstawione na rysunku 1. Niektóre osądy cechuje tendencyjność: chybiają celu w sposób systematyczny. Inne osądy są zaszumione, bo ludzie, którzy powinni się ze sobą zgadzać, ostatecznie trafiają w zupełnie różne miejsca na tarczy. Niestety, wiele organizacji boryka się zarówno z tendencyjnością, jak i z szumem.

Rysunek 2 ilustruje ważną różnicę pomiędzy tendencyjnością a szumem. Widać na nim, jak wyglądałyby tarcze zespołów, gdyby widoczna była tylko ich odwrotna strona, bez zaznaczenia środka celu.

Rysunek 2. Widok odwrotnej strony tarczy

Patrząc na odwrotną stronę tarczy, nie da się powiedzieć, który zespół – A czy B – trafiał celniej. Za to na pierwszy rzut oka widać, że trafienia zespołów C i D są zaszumione, a zespołów A i B – nie. Mało tego, rysunek 2 mówi nam tyle samo o rozrzucie trafień, ile rysunek 1. Ogólną właściwością szumu jest to, że można go rozpoznawać i mierzyć, nie wiedząc nic ani o celu, ani o tendencyjności.

Ta ogólna właściwość jest dla nas kluczowa, bo wiele wniosków w tej książce pochodzi z badań poświęconych osądom, dla których odpowiedź prawidłowa jest nieznana albo wręcz niepoznawalna. Kiedy lekarze stawiają różne diagnozy u tego samego pacjenta, to da się badać różnicę zdań pomiędzy nimi, nawet jeśli nie wiemy, co choremu dolega naprawdę. Kiedy kierownictwo wytwórni filmowej szacuje wielkość rynku dla danego filmu, możemy badać rozrzut ich szacunków, nie wiedząc, ile film rzeczywiście zarobił, ani nawet czy w ogóle powstał. Nie musimy wiedzieć, kto ma rację, żeby zmierzyć, w jakim stopniu różnią się od siebie osądy w danej sprawie. Żeby zmierzyć szum, wystarczy popatrzeć na odwrotną stronę tarczy.

Chcąc rozumieć błędy popełniane w osądach, trzeba zrozumieć zarówno tendencyjność, i szum. Jak się przekonamy, czasami szum jest wręcz ważniejszym problemem. Jednak w debacie publicznej na temat ludzkich błędów – a także w organizacjach jak świat długi i szeroki – szum zauważa się rzadko. Tendencyjność to gwiazda pierwszego planu, a szum gra rolę epizodyczną i najczęściej pozostaje za kulisami. Tendencyjność spowodowana błędami poznawczymi jest przedmiotem tysięcy artykułów naukowych i dziesiątek książek popularnonaukowych, ale mało które z nich wspominają o szumie. Ta książka jest próbą przywrócenia równowagi.

Poziom szumu w rzeczywistych decyzjach jest często szokująco wysoki. Oto kilka przykładów niepokojącej ilości szumu w sytuacjach, w których liczy się dokładność:

● SZUM JEST W MEDYCYNIE. Mając do czynienia z tym samym pacjentem, różni lekarze formułują różne osądy – czy chodzi o nowotwory skóry, nowotwory piersi, choroby serca, gruźlicę, zapalenie płuc, depresję czy mnóstwo innych schorzeń. Szum jest szczególnie wysoki w psychiatrii, gdzie oczywiście ważne są osądy subiektywne. Jednak znaczny stopień szumu znajdujemy również w tak nieoczekiwanych obszarach jak interpretacja zdjęć rentgenowskich.

● SZUM DOTYKA ORZECZEŃ O OPIECE NAD DZIEĆMI. Pracownicy ośrodków pomocy społecznej oceniają, czy dzieci spotyka złe traktowanie w domu rodzinnym, a jeśli tak, to czy powinny trafić pod pieczę zastępczą. Decyzje poszczególnych pracowników są zaszumione w tym sensie, że jedni pracownicy skierowaliby dziecko do rodziny zastępczej, a inni nie. Po latach więcej dzieci bezceremonialnie posłanych do rodzin zastępczych dotykają problemy: niższe zarobki, a także wyższy odsetek przestępczości i ciąż nastoletnich.

● SZUM JEST W PROGNOZACH. Zawodowi progności potrafią się bardzo różnić w prognozach sprzedaży nowego produktu, wzrostu stopy bezrobocia, ryzyka bankructwa spółki borykającej się z problemami – właściwie wszystkiego. Progności nie tylko nie zgadzają się pomiędzy sobą, ale nawet sami ze sobą. Na przykład kiedy deweloperów oprogramowania przy dwóch różnych okazjach poproszono o oszacowanie czasu niezbędnego do ukończenia zadania, ich własne szacunki wymaganej liczby godzin różniły się średnio o 71%.

● SZUM JEST W DECYZJACH DOTYCZĄCYCH AZYLANTÓW. Decyzja o przyznaniu azylu w Stanach Zjednoczonych to coś na kształt loterii. Kiedy zbadano wnioski o azyl losowo przydzielane różnym sędziom, okazało się, że jeden sędzia przyznawał azyl w pięciu procentach przypadków, a inny – w 88%. Tytuł artykułu opisującego badanie mówi sam za siebie: badacze pisali w nim o „uchodźczej ruletce” (ruletka będzie się tu przewijać jeszcze nieraz).

● SZUM JEST W DECYZJACH O ZATRUDNIENIU. Osoby prowadzące rozmowy o pracę bardzo różnie oceniają tych samych kandydatów. Znaczne rozbieżności pojawiają się również w ocenach okresowych, które bardziej zależą od osoby dokonującej oceny niż od rzeczywistych wyników w pracy.

● SZUM JEST W DECYZJACH O ZWOLNIENIU ZA KAUCJĄ. To, czy oskarżona osoba zostanie zwolniona za kaucją, czy też zaczeka na proces w areszcie, w dużej mierze zależy od osoby sędziego. Jedni sędziowie są znacznie bardziej pobłażliwi od drugich. Sędziowie znacznie różnią się też w ocenie tego, u którego oskarżonego istnieje najwyższe ryzyko ucieczki lub recydywy.

● SZUM JEST W KRYMINALISTYCE. Nauczono nas myśleć, że identyfikacja na podstawie analizy odcisków palców jest niezawodna. Jednak czasami eksperci od daktyloskopii różnią się w ocenie, czy odcisk znaleziony na miejscu zbrodni pasuje do linii papilarnych podejrzanego. Eksperci nie tylko nie zgadzają się ze sobą nawzajem – eksperci czasami podejmują różne decyzje, kiedy dwukrotnie oceniają te same odciski. Podobną zmienność udokumentowano też w innych obszarach kryminalistyki, łącznie z analizą DNA.

● SZUM DOTYKA DECYZJI PATENTOWYCH. Jak piszą autorzy najważniejszego badania poświęconego temu zagadnieniu, „o tym, czy urząd patentowy przyzna patent, czy odrzuci wniosek, w istotnym stopniu decyduje to, który pracownik ocenia wniosek”. Naturalnie rodzi to niepokojące pytania na temat sprawiedliwości takich decyzji.

Wszystko to zaledwie czubek dużej góry lodowej. Gdziekolwiek spojrzymy na ludzkie osądy, prawdopodobnie znajdziemy w nich szum. Żeby formułować lepsze osądy, trzeba przezwyciężyć nie tylko błędy poznawcze i uprzedzenia wywołujące tendencyjność, ale także szum.

Nasza książka składa się z sześciu części. W części pierwszej przyjrzymy się różnicy między szumem a tendencyjnością oraz wykażemy, że szum dotyka zarówno organizacji publicznych, jak i firm prywatnych – i to nieraz w stopniu szokującym. Żeby docenić skalę problemu, na początek przyjrzymy się osądom w dwóch obszarach: jednym są wyroki wydawane w procesach karnych (sektor publiczny), drugim ubezpieczenia (sektor prywatny). Na pierwszy rzut oka te dwa obszary różni wszystko, jednak pod względem szumu łączy je wiele. Żeby to wykazać, wprowadzamy pojęcie „audytu szumu”, czyli narzędzia mającego określać rozbieżności w decyzjach fachowców rozpatrujących te same sprawy w obrębie tej samej organizacji.

W części drugiej przyglądamy się naturze ludzkich osądów oraz kwestii mierzenia ich trafności i popełnianych błędów. Osądy są podatne zarówno na tendencyjność, jak i na szum. W tej książce opisujemy uderzającą równoważność obu rodzajów błędów. Szum sytuacyjny to rozbieżności w osądach formułowanych przez jedną osobę czy grupę w tej samej sprawie, tyle że w różnych sytuacjach. Dyskusje w grupie rodzą zaskakująco wiele szumu w wyniku z pozoru nieistotnych czynników, takich jak kolejność zabierania głosu.

W części trzeciej przyglądamy się bliżej pewnemu rodzajowi osądów, który doczekał się wielu badań: osądom prognostycznym (przewidywaniom i prognozom). Omawiamy kluczową przewagę reguł, formuł i algorytmów nad osądami ludzkimi przy tworzeniu prognoz: wbrew powszechnemu przekonaniu jest ona kwestią nie tyle lepszego zrozumienia sprawy, co wyeliminowania szumu z osądów. Piszemy o nieprzekraczalnej granicy trafności osądów prognostycznych, spowodowanej obiektywną niewiedzą na temat przyszłości, a także pokazujemy, jak taka niewiedza oraz szum ograniczają jakość naszych przewidywań. Na koniec mierzymy się z pytaniem, które z pewnością zdąży się nasunąć i tobie: skoro szum jest tak wszechobecny, dlaczego nie zauważyliśmy go wcześniej?

W części czwartej zwracamy się ku ludzkiej psychologii, żeby wyjaśnić zasadnicze przyczyny szumu. Należą do nich różnice między ludźmi wynikające z różnych czynników, w tym z różnic w osobowości i stylu poznawczym, różnych stopni wagi przypisywanej przez osoby poszczególnym aspektom sytuacji, a także tego, że ludzie na różne sposoby posługują się tą samą skalą. Zastanawiamy się, dlaczego pozostajemy nieświadomi szumu i dlaczego zdarzenia albo osądy często nas nie dziwią, pomimo że były całkowicie nie do przewidzenia.

W części piątej przyglądamy się kwestii praktycznej: podnoszeniu jakości własnych osądów i zapobieganiu błędom. (Czytelnicy i czytelniczki, których interesuje głównie wykorzystanie redukcji szumu w praktyce, mogą przejść od razu do tej części z pominięciem omówienia wyzwań związanych z prognozowaniem oraz kwestii psychologicznych w częściach trzeciej i czwartej). Tutaj przyglądamy się działaniom ograniczającym szum w medycynie, biznesie, edukacji, administracji państwowej i na innych polach. Przedstawiamy kilka technik ograniczania szumu, które zbiorczo nazywamy higieną decyzyjną. Prezentujemy pięć różnych studiów przypadku w dziedzinach, w których badania wykazały istnienie znacznego poziomu szumu i gdzie podjęto konsekwentne działania dla jego ograniczenia – z różnym skutkiem, co także wiele mówi na temat problemu. Badane przypadki dotyczą: zawodnych diagnoz medycznych; ocen okresowych pracowników; kryminalistyki; decyzji o zatrudnianiu pracowników oraz prognozowania jako takiego. Na koniec tej części przedstawiamy system, który nazywamy metodą analiz pośrednich (MAP): uniwersalne podejście do oceniania opcji, wykorzystujące kilka kluczowych praktyk higieny decyzyjnej i pozwalające formułować rzetelniejsze, mniej dotknięte szumem osądy.

Jaki poziom szumu jest właściwy? Z tą kwestią mierzymy się w części szóstej. Może to sprzeczne z intuicją, ale właściwy poziom szumu nie jest zerowy. W niektórych obszarach wyeliminowanie szumu jest po prostu niewykonalne, w innych – zbyt drogie, a w jeszcze innych działania na rzecz ograniczenia szumu odbijałyby się niekorzystnie na innych ważnych wartościach: na przykład mogłyby podkopywać morale i rodzić w ludziach poczucie, że są traktowani jak trybiki w maszynie. Częściowe włączenie algorytmów do rozwiązania tego problemu również rodzi wiele zastrzeżeń; w tej części przyjrzymy się niektórym z nich. Jednak tak czy inaczej, aktualny poziom szumu jest nie do przyjęcia. Apelujemy zarówno do organizacji prywatnych, jak i publicznych o przeprowadzenie „audytów szumu” i podejścia do działań mających ograniczyć szum z bezprecedensową powagą. Pozwoliłoby to złagodzić powszechną niesprawiedliwość – a przy okazji zmniejszyć koszty w wielu obszarach.

Z myślą o tej aspiracji każdy rozdział zamykamy kilkoma krótkimi stwierdzeniami w formie cytatów. Możesz wykorzystać te sformułowania słowo w słowo albo dostosować je do dowolnych kwestii, które są dla ciebie ważne, czy to związanych ze zdrowiem, czy z bezpieczeństwem, edukacją, pieniędzmi, pracą, rozrywką, czy jeszcze innymi sprawami. Zrozumienie problemu szumu oraz próby jego rozwiązania to zbiorowy i wciąż jeszcze niedokończony wysiłek. Wszyscy mamy szansę się do niego przyczynić. Ta książka powstała z nadzieją, że zdołamy tę szansę wykorzystać.

Zapraszamy do zakupu pełnej wersji książki

Przypisy

Wstęp

14 tarcze strzelnicze ilustrują tę różnicę: W 1778 roku szwajcarski matematyk Daniel Bernoulli posłużył się przykładem nie karabinów, ale łuków i strzał, aby przedstawić tę samą analogię w eseju o problemach szacowania (patrz: Bernoulli, The Most Probable Choice Between Several Discrepant Observations and the Formation Therefrom of the Most Likely Induction, „Biometrika”, t. 48, nr 1-2, czerwiec 1961, s. 3-18, https://doi.org/10.1093/biomet/48.1-2.3).

16 Szum dotyka orzeczeń o opiece nad dziećmi: por. Joseph J. Doyle, Child Protection and Child Outcomes: Measuring the Effects of Foster Care, „American Economic Review” 95, nr 5 (grudzień 2007): 1583-1610.

17 kiedy deweloperów oprogramowania: Grimstad, Stein, Magne Jørgensen. Inconsistency of Expert Judgment-Based Estimates of Software Development Effort, „Journal of Systems and Software”, t. 80, nr 11, 2007, s. 1770-1777.

17 wnioski o azyl: patrz: Andrew I. Schoenholtz, Jaya Ramji-Nogales i Philip G. Schrag, Refugee Roulette: Disparities in Asylum Adjudication, „Stanford Law Review”, t. 60, nr 2, 2007.

18 czy urząd patentowy przyzna patent, czy odrzuci wniosek: Mark A. Lemley, Bhaven Sampat, Examiner Characteristics and Patent Office Outcomes, „The Review of Economics and Statistics”, t. 94, nr 3, 2012, s. 817-827. Patrz także: Iain Cockburn, Samuel Kortum, Scott Stern, Are All Patent Examiners Equal? The Impact of Examiner Characteristics, working paper 8980, czerwiec 2002; www.nber.org/papers/w8980; ora Michael D. Frakes, Melissa F. Wasserman, Is the Time Allocated to Review Patent Applications Inducing Examiners to Grant Invalid Patents? Evidence from Microlevel Application Data, „Review of Economics and Statistics” 99, nr 3 (lipiec 2017): 550-563.