Sådan Beregn et Inter- Rater aftale

En inter- Rater aftale er et mål for, hvor konsekvente målinger er mellem to eller flere observatører (eller " testere "). For eksempel medicinske forskere bruger ofte en gruppe af læger til at observere og kategorisere virkningerne af en behandling eksperiment. Måling af sammenhæng mellem observatører er vigtig, fordi vi ønsker at være sikker på , at eventuelle virkninger, vi ser, er på grund af vores eksperiment og ikke til store forskelle mellem observatører. Den primære statistik bruges til at måle inter- Rater aftale kaldes " kappa ". Instruktioner
1

Beregn procent aftale ved at dividere antallet af observationer , der er enige i det samlede antal observationer . Overvej eksempel på et forsøg med 100 patienter, som fik behandling for astma . To læger bliver bedt om at kategorisere patienterne i to kategorier: kontrollerede (ja ), eller ikke kontrolleres (ingen ) astmasymptomer . Resultaterne kunne se sådan ud :

Begge testere Ja 70

Begge Raters No 15

Rater # 1 Ja /Rater # 2 Nej 10

Rater nr. 1 Intet /Rater # 2 Ja 5

alt observationer : 100

i dette eksempel vil procent -aftalen (Pa) være antallet af observationer , hvor raters enige (70 +15 ) divideret med de samlede observationer (100 ) , eller 85 procent . Dette vil blive brugt i tælleren i den endelige ligning .
2

Beregn den forventede aftale på grund af tilfældig chance . Nogle af de observerede aftale vil være på grund af rent held . Vi kan beregne, hvor meget aftale ville blive set , hvis observationerne var helt tilfældigt

I vores eksempel : .

Både Ja 70

Både No 15

# 1Yes /# 2 No 10

nr. 1 Intet /# 2 Ja 5

alt observationer : 100

Dr. # 1 nominel Ja til 80/100 eller 80 procent af tiden ( .80 ) . Hoteltilbud

Dr. # 1 bedømt nr. ​​20/100 eller 20 procent af tiden (.20 ) . Hoteltilbud

Dr. # 2 bedømt Ja 75/100 eller 75 procent af tiden ( .75 ) . Hoteltilbud

Dr. # 2 bedømt nr. ​​25/100 eller 25 procent af tiden ( .25 ) .

Hvis observationerne var tilfældig , ville sandsynligheden for både vurdering Ja være ( .80 ) x ( 0,75 ) eller 60 procent , og sandsynligheden for både vurdering Ingen ville være ( .15 ) x ( .25 ), eller 4 procent

Så den samlede sandsynlighed for aftale skyldes tilfældigheder ( Pe) ville være summen af disse. : (.60) + (.04) , eller 64 procent. Dette vil blive brugt i tælleren og nævneren i den endelige ligning
3

Beregn kappa ved hjælp af følgende ligning: .

K = (Pa) - ( Pe )

---------------

1 - ( Pe) hoteltilbud

I vores eksempel , salg

k = ( .85 ) - ( .64 ) /1 - (.64) = (.58) eller 58 procent
4

Evaluer kappa at afgøre, om inter- rater aftale er stærk. En god tommelfingerregel er, at Kappas over 80 procent er fremragende, og over 60 procent er gode. Alt under 60 procent betragtes mindre end optimal aftale .

I vores eksempel 58 procent er på grænsen af god inter- rater pålidelighed , og undersøgelsens resultater bør fortolkes med dette i tankerne.

5

Evaluer kappa i mere end to testere ved hjælp Fleiss ' kappa beregninger. Dette er en langt mere kompliceret beregning, der skal udføres af computeren.
Hoteltilbud