Tag: testy statystyczne

Podstawowym w statystyce zagadnieniem trafności treściowej jest zdefiniowanie badanej sfery zachowań oraz wskazanie, iż pozycje włączone do testu stanowią faktycznie próbę reprezentatywną. Trafność teoretyczna natomiast pokazuje związki narzędzia pomiarowego z konstruktem teoretycznym, zaczerpniętym z danej teorii. Badania trafności teoretycznej testu wymagają licznych analiz.

Metody ustalania trafności

Meehl oraz Cronbach zaproponowali pięć procedur ustalania trafności teoretycznej: analiza różnic międzygrupowych, analiza macierzy korelacji i analiza czynnikowa, analiza struktury wewnętrznej testu, analiza procesu rozwiązywania testu, analiza zmian nieprzypadkowych wyników testu. [1] W związku ze znacznym rozbudowaniem zagadnień poruszanych w ramach  analizy trafności, poniżej skupiono się szerzej na jednym aspekcie, mianowicie na trafności czynnikowej.

Analizując trafność narzędzia badawczego jakim jest kwestionariusz należy mieć na uwadze cztery aspekty trafności:

• Trafność kryterialna, dzieli się ona na trafność diagnostyczną (concurent validity)  i prognostyczną (predictive validity)
• Trafność treściowa (content validity)
• Trafność teoretyczna (construct validity)
• Trafność fasadowa (face validity)[2]

Najmniejsze znaczenie z punktu widzenia własności psychometrycznych ma trafność fasadowa.

Czy istnieje „złoty standard”?

Diagnostyczną trafność kryterialną możemy ocenić porównując wyniki testu do tak zwanego „złotego standardu”. Jest to zagadnienie o tyle skomplikowane, że w niektórych dziedzinach, szczególnie tych do tej pory nie zbadanych, trudno o wskazanie tak zwanego „złotego standardu” czyli testu sprawdzonego i wzorcowego.

Kiedy zasadne jest wdrożenie nowego narzędzia?

W przypadku natomiast gdy taki test już istnieje, należy poważnie rozważyć sens wprowadzania nowego narzędzia, gdyż powinno ono w pewnie sposób być lepsze od stosowanego do tej pory. Nowy test powinien być zarazem tańszy lub szybszy do przeprowadzenia od wyznaczonego testu wzorcowego.

Analiza korelacji

W literaturze zagadnienie trafności kryterialnej jest rozpatrywane (szczególnie przez psychologów) za pomocą analizy korelacji pomiędzy testem wzorcowym a nowym narzędziem. W przypadku poszukiwania testu bardziej trafnego od „złotego standardu” poszukuje się umiarkowanej istotnej korelacji. Jest to kryterium nieformalne, w trakcie analizy literaturowej nie znaleziono bowiem sztywnego kryterium wskazującego dokładną regułę decyzyjną.

Zasadniczym zagadnieniem tego typu trafności jest weryfikacja hipotezy o homogenności narzędzia badawczego. Od podstawowej skali (układu zmiennych) oczekuje się rozwiązania jednoczynnikowego. Analizę czynnikowa można podzielić na dwie grupy:

• Analiza głównych składowych i klasyczna analiza czynnikowa
• Konfirmacyjna analiza czynnikowa

Czym jest czynnikowa analiza danych?

Analiza czynnikowa jest to zbiór metod redukcji liczby zmiennych do kilku niezależnych czynników w oparciu o dekompozycję macierzy współczynników korelacji pomiędzy pierwotnymi pozycjami. Uzyskane w ten sposób czynniki mają merytoryczną interpretację reprezentując zmienne, które nie są obserwowalne bezpośrednio.[1]

Zagadnienia analizy głównych składowych oraz klasycznej, czynnikowej analizy statystycznej są opisywane przez wielu autorów. Na uwagę, poza metodami szacowania modelu analizy czynnikowej, zasługują zagadnienia wyboru liczby czynników oraz metody rotacji.

Jak dokonuje się wyboru liczby czynników?

Wybór liczby czynników następuje zgodnie z jednym z dwóch kryteriów: kryterium osypiska lub kryterium wartości własnej Kaizera. Po zidentyfikowaniu liczby czynników w praktyce badań częstym zjawiskiem jest wstępna przynależność jednej pozycji (zmiennej) do kilku czynników, co utrudnia w dużym stopniu identyfikację ich przynależności, a co za tym idzie interpretację czynników nowopowstałych.

Proces rotacji czynników

Rozwiązaniem w takiej sytuacji jest wykonanie rotacji czynników. Jej celem jest ustalenie takiego układu, aby każda pozycja miała wysokie ładunki (w praktyce powyżej 0,5 lub 0,6) tylko w zakresie jednego czynnika. Metody rotacji dzielą się na dwie grupy:

• Rotacje ortogonalne: Varimax, Quatrimax, Equimax. W wyniku tych rotacji zachowana zostaje niezależność czynników.
• Rotacje ukośne: Oblimin (Quatrimin, Biquatrimin, Covarmin), Oblimax, Promax. W wyniku rotacji ukośnej nie musi być zachowana niezależność czynników [2]

Model konfirmacyjnej analizy

Alternatywą do modelu klasycznego jest model konfirmacyjnej analizy czynnikowej. W metodzie tej używane są dwie grupy zmiennych: obserwowalne (czyli zmienne lub pozycje obserwowane przez badacza i odpowiednio kodowane) oraz zmienne latentne (czynniki będące konstruktami hipotetycznymi).

Podstawową różnicą pomierzy modelem eksploracyjnej (EFA) i konfirmacyjnej analizy czynnikowej (CFA) jest to, że konfirmacyjna analiza czynnikowa to procedura hipotetyczna służąca głównie do testowania hipotez na temat relacji pomiędzy czynnikami wspólnymi. W metodzie tej (w przeciwieństwie do klasycznej analizy czynnikowej) decyzje, co do liczby czynników podejmuje się przed rozpoczęciem ich wyodrębniania.

Metoda ta jest powszechnie stosowana właśnie wtedy, gdy istnieją podstawy do formułowania hipotez na temat związków pomiędzy badanymi zmiennymi. Wynik klasycznej analizy czynnikowej stanowi właśnie układ czynnikowy, który nie jest zadany przed przystąpieniem do badania. W przypadku analizy psychometrycznej kluczowa jest hipoteza homogenności (czyli rozwiązanie jednoczynnikowe) podstawowej skali sumarycznej.[3]

Test chi-kwadrat

Celem zbadania, czy pojedynczy model konfirmacyjnej analizy czynnikowej jest dobrze dopasowany można posłużyć się wskaźnikami dobroci dopasowania. Podstawowym testem dopasowania modelu do danych jest test chi-kwadrat. Test ten jest jednak silnie uzależniony od liczebności próby.

Zastosowanie wskaźnika GFI

Uzupełniająco stosuje się psychometryczny wskaźnik GFI (goodness of fit index) oraz jego korektrę AGFI (adjusted goodness of fit index). Wskaźniki te przyjmują wartość z przedziału 0-1 oraz nie są zależne od wielkości próby. Trudno w przypadku tych mierników (podobnie jak w przypadku współczynnika determinacji dla funkcji regresji) o jednoznaczne określenie jakie zakresy wartości tych mierników są akceptowalne.

Wskaźnik RMR

Kolejnym miernikiem jest RMR (root mean square residual). Wysokie wartości tego wskaźnika reszt są niekorzystne dla jakości modelu (analogicznie jak odchylenie standardowe reszt modelu regresji).

Miernik RMSEA

Jednym z najczęściej podawanych mierników dopasowania modelu konfirmacyjnej analizy czynnikowej jest RMSEA (root mean square error of approximation). Jest to wskaźnik pojawiający się na diagramie ścieżek po dopasowaniu modelu. Miara ta szacuje wielkość popełnianego błędu aproksymacji w populacji. Dobre dopasowanie modelu cechuje się wskaźnikiem RMSEA poniżej 0,05.

Indeksy modyfikacyjne

Dodatkowymi miernikami pomocnymi w procesie poprawy modelu są indeksy modyfikacyjne (modification indices). Pozwalają one zmierzyć o ile obniży się wartość chi-kwadrat w wyniku uwolnienia konkretnego parametru i ponownego oszacowania modelu.[4]

Na zakończenie

Podsumowując syntetyczne rozważania nad możliwościami zastosowania oraz podstawowymi zagadnieniami związanymi z modelami analizy czynnikowej należy zauważyć, iż są to metody powszechnie stosowane w naukach społecznych i medycznych oraz doskonale nadają się do badania własności psychometrycznych skal sumarycznych. Nie podają – tak jak powszechnie stosowana metoda alfa Cronbacha – tylko pojedynczego wyniku, ale pozwalają na analizę układu pozycji (zmiennych) wewnątrz skali oraz odrzucenie zbędnych pytań w kwestionariuszu.

Hipotetyczne założenia, a także różnego rodzaju tezy towarzyszą nam na co dzień. One same jednak w swym teoretycznym aspekcie nie stanowią tak naprawdę rzetelnego źródła informacji. Pewnych rzeczy się domyślamy. Jeszcze inne są tylko mglistą wizją. Dlatego tak ważne miejsce w naszej codzienności zajmuje statystyka. Nic nie weryfikuje hipotez tak skutecznie, jak ona.

Hipotezy nie tylko w pracach naukowych

Słysząc słowo hipoteza najczęściej myślimy o pracy naukowej. Przecież to przyszli magistrzy czy doktoranci zawierają ją w swojej pracy. Tymczasem hipoteza towarzyszy nam na każdej płaszczyźnie, która w swojej dynamice ulega ciągłemu rozwojowi. To właśnie hipotezy, a wraz z nimi kolejne pytania sprawiają, że człowiek szuka odpowiedzi – rozwija się i tworzy nowe perspektywy. Hipotezy stanowią ważny czynnik rozwoju gospodarki, psychologii, medycyny, socjologii czy nawet demografii.

Jak zbadać hipotezę?

Hipoteza to nie choroba, którą bada się w gabinecie lekarskim i leczy za pomocą odpowiednich terapii. Hipoteza to stwierdzenie, które wymaga dogłębnej analizy danych. Aby jej jednak dokonać, dane te trzeba wcześniej zebrać. A do tego służą odpowiednie metody statystyczne. Oczywiście na metodach tych doskonale znają się pracownicy firm badawczych, którzy potrafią zawsze dobrać optymalne narzędzia.

Analiza zebranych danych

Analizy statystyczne to kolejny, po zbieraniu danych, etap badania. Gdy zbiór danych jest już gotowy, można przejść do wyciągnięcia z niego konkretnej wiedzy. A to staje się możliwe właśnie dzięki analizom statystycznym. Ich zadaniem jest wyciągnięcie wniosków i zweryfikowanie faktów oraz hipotez. Tym samym stają się one odpowiedzią na pytania odnośnie naszych założeń i stawianych na co dzień tez.

Statystyka a biznes

Mówiąc o statystyce i jej wpływie na różne dziedziny naszego życia, nie możemy udawać, że nie dostrzegamy możliwości, jakie otwiera przed biznesem. Tutaj wykorzystywana jest ona do osiągania celów biznesowych, głównie zwiększania obrotu i maksymalizacji zysku. Dzięki analizom danych zebranych w trakcie badania firmy weryfikują rynek, poznają nastawienie klientów, a także ich potrzeby. Tym samym zdobywają odpowiedź na pytanie odnośnie zmian, jakie należy wprowadzić w koncepcji sprzedaży, czy kierunków, jakie należy obrać, by ostatecznie odnieść sukces.

Hipotezy są po to, by je weryfikować. Tylko wtedy istnieje sens ich tworzenia. A prawdziwym mistrzem w weryfikowaniu jest statystyka. Ta nauka nie pozostawia wątpliwości, ani pytań bez odpowiedzi.

Aby uogólnić na całą populację wyniki badania statystycznego przeprowadzonego na próbie losowej, takiego jak np. badania świadomości marki, należy postawić hipotezę, a następnie ją zweryfikować. Służą do tego testy statystyczne, które dzielimy na parametryczne i nieparametryczne.

Ogólnie o testach

Testów parametrycznych używa się do oceny wartości parametrów dla danego rozkładu populacji, z którego losowana jest próba. Parametrami tymi mogą być średnia, wariancja czy odchylenie standardowe.

Testy nieparametryczne nie wymagają założeń dotyczących rozkładu zmiennej losowej populacji. Najczęściej wykorzystywaną w nich metodą jest uporządkowanie danych i zastąpienie ich rangami.

Zazwyczaj testy parametryczne mają swoje odpowiedniki wśród testów nieparametrycznych. Niektóre z nich prezentuje poniższa tabela.

Często stosowane są także inne testy nieparametryczne, takie jak test Chi kwadrat oraz test Shapiro-Wilka.

Charakterystyka testów parametrycznych

Parametryczne testy pozwalają na dokładniejsze analizy i ich wyniki są łatwiejsze do interpretowania. Wymagają jednak spełnienia większej ilości założeń. Najczęściej wymaga się między innymi, by próba pochodziła z populacji o rozkładzie normalnym. Symulacje pokazały jednak, że niespełnienie tego warunku nie musi dyskwalifikować testu. Co więcej w przypadku wielu badań statystycznych założenie to jest spełnione. Testy parametryczne są także mniej odporne na obserwacje odstające.

Charakterystyka testów nieparametrycznych

Dla testów nieparametrycznych nie jest wymagane spełnienie założenia o rozkładzie normalnym. Gdy liczność próby jest niewielka lub grupy nie są równoliczne, to testy nieparametryczne lepiej się sprawdzają. Nie są też tak wrażliwe na obserwacje odstające. Warto z nich korzystać, gdy mediana jest wielkością lepiej reprezentującą środek danych niż średnia. Wśród testów nieparametrycznych znajdziemy takie, które pozwalają analizować cechy niemierzalne. Wygoda ich użycia okupiona jest mniejszą efektywnością.

Podsumowanie

Prowadzenie badań statystycznych w medycynie czy naukach społecznych bardzo często sprowadza się do wykonania testu istotności – parametrycznego lub nieparametrycznego. Od prawidłowego wyboru zależeć może poprawność i dokładność wnioskowania. Niestety, decyzja nie zawsze jest łatwa do podjęcia.

Analityka statystyczna sprzyja weryfikacji, tj. potwierdzaniu lub obalaniu, pewnych przyjętych hipotez. Nie inaczej jest także w zakresie statystyki medycznej - tutaj również proces analiz pozwala odnosić się do brzmienia rozpatrywanych hipotez, a jego ogólny schemat przedstawić można następująco, w postaci 5 kluczowych etapów:

• formułowanie hipotezy zerowej oraz przeciwnej do niej hipotezy alternatywnej, która podlegać będzie badaniu i weryfikacji;
• gromadzenie danych do analizy;
• oszacowanie wartości określonej dla hipotezy zerowej tzw. statystyki testu;
• porównanie uzyskanej wartości statystyki testu z wartościami wykazanymi w znanych rozkładach prawdopodobieństwa;
• interpretacja wyników i wyciagnięcie wniosków.

Podstawowe kwestie z dziedziny statystyki, z których to czerpie statystyka medyczna w zakresie testowania hipotez omówione zostaną pokrótce w dalszej części opracowania.

Definiowanie hipotez

Jak podczas typowych badań statystycznych, tak i analizy o charakterze medycznym sprowadzają się do testu hipotezy zerowej (H₀), która zakłada na ogół brak oddziaływania/zachodzenia rozpatrywanego zjawiska w badanej populacji. Gdy hipoteza ta nie jest prawdziwa - siłą rzeczy zachodzi hipoteza alternatywna (H₁) - odnosi się one co do zasady bezpośrednio do teorii, która zamierzamy objąć badaniem i jest przeciwieństwem hipotezy H₀.

Uzyskiwanie statystyki testowej i wartości „p”

Weryfikacja hipotez wymaga uzyskania dla nich tzw. statystyki testu - odbywa się to w oparciu o zgromadzone dane liczbowe i podstawienie ich do wzoru zdefiniowanego dla używanego testu. Odzwierciedla on co do zasady siłę zawartego w zabranych danych dowodu statystycznego przeciwko przyjętej hipotezie zerowej (H₀) - większą wartość utożsamia się zwykle z silniejszym dowodem.

Co istotne, dostępne statystyki testowe wpisują się w powszechnie stosowane rozkłady częstości. Pole w ogonach rozpatrywanego/rozpatrywanych rozkładów prawdopodobieństwa, łączące w swoisty sposób wartość uzyskanej ze statystyki testu z samym rozkładem, jest tzw. wartość „p”. Definiuje się ją jako prawdopodobieństwo otrzymania wyników w sytuacji, gdy założona hipoteza zerowa jest prawdziwa.

Z reguły im  mniejsza wartość „p”, tym silniejszy jest dowód za odrzuceniem hipotezy zerowej - za dowód wystarczający przyjmuje się wartość „p” na poziomie niższym niż 0,05, co daje wyniki o istotności rzędu 5% (wartość „p” większa lub równa 0,05 nie stanowi powodu do odrzucenia hipotezy zerowej - wyniki określamy jednak jako nieistotne na poziomie 5%). Należy jednak mieć na uwadze, że wybór pułapu 5% (0,05) uważa się za arbitralny - w sytuacji groźnych następstw odrzucenia/przyjęcia hipotezy zerowej (mowa wszak o problematyce medyczne i zdrowiu oraz życiu ludzkim), możemy domagać się by statystyka medyczna opierała się o silniejsze dowody, tj. ustalenia wartości „p” na poziomie 0,01 lub 0,001.

Testowanie nieparametryczne

Korzystanie z znanych rozkładów prawdopodobieństwa, któremu podlegają zebrane dane,  określa się jako testowanie parametryczne. W sytuacji, gdy zadane dane nie spełniają założeń tego typu testów, odwołać się należy do testów nieparametrycznych, które mają zastosowanie niezależnie od postaci rozkładu. Ten typ testów jest szczególnie ważny w przypadku prób mało licznych lub ujęcia danych w postaci „kategorialnej”.

Mając do wyboru nie tylko różne formy test, ale i same testy, warto przemyśleć, który z nich użyć - wybór uzależnia się zasadniczo o od projektu badawczego, typu zadanej me innej i samego rozkładu częstości.

Przedział ufności

Kolejnym ważnym zagadnieniem w testowaniu hipotez, jakie uwzględnia statystyka medyczna w procesie analiz, jest kwestia przedziału ufności. Są one nierozerwalnie złączone z testowaniem hipotez, gdyż kwantyfikują interesujące analityka wyniki i pozwalają na uzyskanie ich klinicznych aplikacji. W swoisty sposób przedziały ufności określają wiarygodność uzyskanych wyników - jeżeli hipotetyczna wartość wyniku wykracza poza przyjęty przedział ufności, świadczy to o jego niskiej wiarygodności i prowadzi do odrzucenia hipotezy zerowej H₀.

Błędy w testowaniu hipotez

Tytułem podsumowania, nawiązując do przedziałów ufności czy przyjęcia wartości „p”, zasygnalizować należy, że przyjęcie lub odrzucenie hipotezy zerowej/alternatywnej może być błędne. Wątek ten omówiony zostanie w odrębnym opracowaniu, warto jednak wskazać, że błędy takie mogą wykazywać kilka rodzajów:

• błąd pierwszego rodzaju to odrzucenie hipotezy zerowej, gdy w rzeczywistości jest on a prawdziwa;
• błąd drugiego rodzaju to nieodrzucenie hipotezy zerowej w sytuacji, gdy jest ona nieprawdziwa.

Każdy z tych błędów wymaga odpowiedniej procedury postępowania w sytuacji jego wykrycia.

Czytaj część drugą artykułu

Z racji na poruszaną problematykę, statystyka medyczna koncentruje się na ogół na testowaniu hipotez skupiających się na porównywaniu zbiorowisk ludzi, które narażone są na różne czynniki chorobotwórcze. Hipotezy nawiązują zatem do efektów czy wyników leczenia - np. hipoteza zerowa H₀ stwierdza brak efektów danej terapii, zaś przeciwna do niej hipoteza alternatywna H₁ podkreśla wystąpienie pewnych efektów kuracji.

Jak wiadomo, testowanie hipotez to podejmowanie decyzji - odrzucimy hipotezę H₀ na korzyść H₁ lub nie. Każda decyzja niesie ze sobą jednak pewne ryzyko omyłki, nawet mimo zachowania dokładności procedury testowej czy doboru optymalnych parametrów testu. Każdy taki błąd niesie pewne następstwa - analityka statystyki medycznej nawiązuje wszak do, jak akcentowano na wstępie, problematyki zdrowia czy życia ludzkiego.

Wyróżnia się dwa rodzaje błędów, jakie popełnić może analityk:

• błąd pierwszego rodzaju - jest to sytuacja odrzucenia prawdziwej hipotezy H₀;
• błąd drugiego rodzaju - nieodrzucenie nieprawdziwej hipotezy H₀.

Błąd pierwszego rodzaju

Błąd pierwszego rodzaju to taki, który wiąże się z odrzucenie hipotezy zerowej (H₀) w sytuacji, gdy tak naprawdę jest ona prawdziwa - przyjęta zostaje wtedy nieprawdziwa hipoteza alternatywna H₁.

Maksymalne prawdopodobieństwo omyłki pierwszego rodzaju określa się symbolem alfa, tj. poziomem istotności testu.

Statystyka medyczna, jak każda inno formuła analityki statystycznej, zakłada przyjęcie wielkości alfa jeszcze przed zgromadzeniem danych - z reguły jest to wartość na poziomie 0,05 (bardziej restrykcyjne są wartości niższe, a mniej - niższe).

Co istotne, odwołując się do zasad testowania hipotez zauważyć należy, że odrzucenie hipotezy H₀ następuje gdy wartość „p” naszego testu jest niższa niż przyjęty poziom istotności ów testu - tylko ta sytuacja stwarza zatem szanse na popełnienie błędu pierwszego rodzaju.

Błąd drugiego rodzaju

Błąd drugiego rodzaju to z kolei taki, który wiąże się z nie odrzuceniem hipotezy zerowej (H₀) w sytuacji, gdy tak naprawdę jest ona fałszywa - odrzucona zostaje wtedy prawdziwa hipoteza alternatywna H₁.

Maksymalne prawdopodobieństwo omyłki pierwszego rodzaju określa się symbolem beta, które powiązane jest z tzw. mocą testu. Moc testu, określana jako 1 - beta, stanowi prawdopodobieństwo odrzucenia fałszywej hipotezy H₀ i rzadko przyjmuje wartość 100%.

Moc testu

Moc testu jest wielkością, którą silnie powiązana jest z problematyką testowania hipotez, a którą można kontrolować - statystyka medyczna wyróżnia bowiem czynniki, które kształtują moc stosowanych w niej testów.

Zwiększanie mocy testu warto rozpocząć od ustalenia jej poziomu  już na etapie planowania samej analizy statystycznej - uważa się, ze warto podjąć się, gdy wiemy, ze moc testu jest duża (80%), gdyż za nieodpowiedzialne i nieekonomiczne uznaje się podejmowanie kuracji w sytuacji, gdy sama szansa na wykrycie jego efektów jest nikła.

Czynniki warunkujące moc testu, a zatem zasadność samej analizy, to w szczególności:

• wielkość badanej próby - szacuje się, ze moc testu rośnie wraz z liczebnością próby, tj. dostępnością danych do analizy;
• zmienność obserwacji - przyjmuje się, że moc testu wzrasta, gdy zmienność obserwacji maleje, tj. gdy obserwacje wykazują stosunkowo stały charakter;
• wielkość pożądanego efektu - test ma większe szanse wykrycia większych efektów, zatem przyjmuje się,  że im większy jest efekt, którego oczekujemy tym większa jest tez moc testu;
• poziom istotności - moc testu wzrasta wraz z poziomem jego istotności, przy czym większe szanse na wykrycie poszukiwanego efektu daje przyjęcie w realizowanej statystyce medycznej jako znaczącej wartości „p” na poziomie 0,05 niż 0,01.

Ocena czy dana moc testu jest wystarczająca odbywa się poprzez badanie przedziałów ufności dla rozpatrywanych wyników - niewielka wielkość próby i/lub duża zmienność obserwacji sprzyjają poszerzeniu przedziałów ufności, tj. obniżeniu mocy testu.

Wielokrotność testów

Niejednokrotnie na jednym zbiorze danych prowadzi się większą liczbę testów istotności. Przyjmuje się, że liczba porównań zwiększa szanse na popełnienie błędu pierwszego stopnia - zaleca się zatem, by skupić się na realizacji niewielkiej liczby testów, odnoszących się do pierwotnych i ustalonych „a priori” celów.

Czytaj część pierwszą artykułu