ZA paradoks jest stwierdzeniem lub zjawiskiem, które na pozór wydaje się sprzeczne. Paradoksy pomagają odkryć ukrytą prawdę pod powierzchnią tego, co wydaje się absurdalne. W dziedzinie statystyki paradoks Simpsona pokazuje, jakie problemy wynikają z łączenia danych z kilku grup.
Przy wszystkich danych musimy zachować ostrożność. Skąd się to wzięło? Jak to uzyskano? A co to tak naprawdę mówi? To są dobre pytania, które powinniśmy zadać, gdy zostaną przedstawione z danymi. Bardzo zaskakujący przypadek paradoksu Simpsona pokazuje nam, że czasami to, co wydają się mówić dane, tak naprawdę nie jest prawdą.
Omówienie paradoksu
Załóżmy, że obserwujemy kilka grup i nawiązujemy związek lub korelacja dla każdej z tych grup. Paradoks Simpsona mówi, że kiedy połączymy wszystkie grupy razem i spojrzymy na dane w formie zagregowanej, korelacja, którą zauważyliśmy wcześniej, może się odwrócić. Wynika to najczęściej z nieuwzględnionych zmiennych czających się, ale czasami wynika to z wartości liczbowych danych.
Przykład
Aby nieco lepiej zrozumieć paradoks Simpsona, spójrzmy na następujący przykład. W pewnym szpitalu jest dwóch chirurgów. Chirurg A działa na 100 pacjentach, a 95 przeżyje. Chirurg B operuje na 80 pacjentach i 72 przeżywa. Rozważamy wykonanie operacji w tym szpitalu i przeżycie operacji jest bardzo ważne. Chcemy wybrać lepszego z dwóch chirurgów.
Patrzymy na dane i wykorzystujemy je do obliczenia, jaki procent pacjentów chirurga A przeżył ich operacje i porównujemy je ze wskaźnikiem przeżycia pacjentów chirurga B.
- 95 na 100 pacjentów przeżyło z chirurgiem A, więc 95/100 = 95% z nich przeżyło.
- 72 na 80 pacjentów przeżyło z chirurgiem B, więc 72/80 = 90% z nich przeżyło.
Z tej analizy, który chirurg powinien wybrać nas leczyć? Wydaje się, że chirurg A jest bezpieczniejszym zakładem. Ale czy to naprawdę prawda?
Co jeśli zrobimy dalsze badania danych i odkryjemy, że pierwotnie szpital to rozważył dwa różne rodzaje operacji, ale następnie zebrali wszystkie dane razem, aby złożyć raport na temat każdej z nich chirurdzy. Nie wszystkie operacje są równe, niektóre zostały uznane za operacje wysokiego ryzyka, podczas gdy inne miały bardziej rutynowy charakter, który został zaplanowany z wyprzedzeniem.
Ze 100 pacjentów leczonych przez chirurga A 50 było obarczonych wysokim ryzykiem, z czego trzech zmarło. Pozostałe 50 uznano za rutynowe, a 2 z nich zmarło. Oznacza to, że w przypadku rutynowej operacji pacjent leczony przez chirurga A ma współczynnik przeżycia 48/50 = 96%.
Teraz uważniej przyglądamy się danym chirurga B i stwierdzamy, że z 80 pacjentów, 40 było na wysokim ryzyku, z czego siedmiu zmarło. Pozostałe 40 było rutynowych i tylko jeden zmarł. Oznacza to, że wskaźnik rutyny u pacjenta wynosi 39/40 = 97,5% podczas rutynowej operacji u chirurga B.
Który chirurg wydaje się lepszy? Jeśli operacja ma być rutynowa, to chirurg B jest w rzeczywistości lepszym chirurgiem. Jeśli spojrzymy na wszystkie operacje wykonywane przez chirurgów, A jest lepsze. Jest to całkiem sprzeczne z intuicją. W tym przypadku zmienna czająca typu operacji wpływa na połączone dane chirurgów.
Historia paradoksu Simpsona
Paradoks Simpsona nosi imię Edwarda Simpsona, który pierwszy opisał ten paradoks w artykule z 1951 r. „Interpretacja interakcji w tabelach nieprzewidzianych zdarzeń” Journal of the Royal Statistics Society. Pearson i Yule zaobserwowali podobny paradoks pół wieku wcześniej niż Simpson, więc paradoks Simpsona jest czasami określany również jako efekt Simpson-Yule.
Istnieje wiele szeroko zakrojonych zastosowań paradoksu w obszarach tak różnorodnych, jak statystyki sportowe i dane dotyczące bezrobocia. Za każdym razem, gdy dane są agregowane, uważaj na ten paradoks.