Metode · Statistik

Konfidensinterval: hvad det er, formlen, og hvordan vi bruger det til at måle AI-synlighed

Af Kristian Stig Henriksen · Dear Future

Et konfidensinterval er det spænd, som et ukendt tal med en bestemt sikkerhed, typisk 95%, ligger inden for, når du kun har målt en stikprøve. Det giver dig ikke ét tal, men fortæller, hvor præcist du kender tallet. Når vi måler, hvor ofte AI-assistenter nævner et brand, er intervallet det, der skiller en reel ændring fra tilfældig støj.

Hvad er et konfidensinterval?

Når du måler på en stikprøve, får du et estimat: 12 ud af 100 svar nævner brandet, altså 12%. Men en ny stikprøve på 100 svar ville give et lidt andet tal. Konfidensintervallet sætter grænser for, hvor langt væk det sande tal med rimelighed kan ligge. Det består af to dele: et estimat og en usikkerhed på hver side af det. Jo flere målinger, jo smallere interval.

Niveauet, for eksempel 95%, beskriver metoden, ikke det enkelte interval: hvis du gentog målingen mange gange og beregnede et interval hver gang, ville omkring 95 af 100 intervaller indeholde det sande tal. I praksis læses det sådan: tallet ligger et sted mellem 5,6% og 18,4%, og vi ville blive overraskede, hvis det lå udenfor.

Hvad betyder et 95% konfidensinterval?

95% er en konvention, ikke en naturlov. Et 90%-interval er smallere og tager oftere fejl; et 99%-interval er bredere og tager sjældnere fejl. Bredden afhænger af tre ting: hvor sikker du vil være, hvor meget dataene spreder sig, og hvor mange målinger du har. Kun den sidste kan du selv gøre noget ved, og den koster tid.

Formlen for et konfidensinterval

For en andel, altså hvor stor en del af svarene der nævner brandet, er den klassiske formel:

p̂ ± z · √( p̂ · (1 − p̂) / n )

hvor p̂ er andelen i stikprøven, n er antallet af målinger, og z er 1,96 ved 95% (1,645 ved 90% og 2,576 ved 99%). Regneeksempel: 12 nævnelser i 100 svar giver p̂ = 0,12. Kvadratroden af 0,12 · 0,88 / 100 er 0,0325. Ganget med 1,96 giver det 0,064, altså plus/minus 6,4 procentpoint. Intervallet er 5,6% til 18,4%.

For en middelværdi, for eksempel en gennemsnitlig placering, erstattes brøken under kvadratroden af stikprøvens standardafvigelse delt med kvadratroden af n. Er stikprøven lille, under omkring 30, bruges t-fordelingen i stedet for z.

Hvorfor vi bruger Wilson-intervallet

Den klassiske formel går i stykker, når andelen er lille eller antallet lavt, og det er præcis situationen i AI-synlighed, hvor et brand ofte nævnes i under 5% af svarene. To eksempler fra vores egen måling af aivisibility.dk viser problemet.

3 citationer i 240 svar giver p̂ = 1,25%. Den klassiske formel giver plus/minus 1,4 procentpoint, altså et interval fra minus 0,2% til 2,7%. En negativ andel findes ikke. Wilson-intervallet, som justerer midtpunktet og bredden for små stikprøver, giver 0,4% til 3,6%. Det er både muligt og mere ærligt.

0 citationer i 240 svar giver med den klassiske formel intervallet 0% til 0%, altså fuld sikkerhed for, at brandet aldrig nævnes. Wilson-intervallet giver 0% til 1,6%. Nul er ikke nul; nul er under omkring 1,6%. Derfor viser dashboardet et interval, også når tælleren er nul.

Wilson-intervallet blev beskrevet i 1927 og anbefales i den statistiske litteratur frem for den klassiske formel netop for små andele. Formlen er lidt længere, men den kan skrives i ét regneark, og det gør vi nedenfor.

Sådan bruger vi det, når vi måler AI-synlighed

Vi stiller de samme 120 spørgsmål til to assistenter hver dag. Det giver 240 svar om dagen, og hvert svar er én måling: nævnt eller ikke nævnt, citeret eller ikke citeret. Share of voice er en andel, og den får et Wilson-interval på hvert vindue.

Et enkelt svar bærer næsten ingen information. Et studie af 12.933 AI-svar fandt en korrelation inden for samme brand på 0,0146, hvilket i praksis betyder, at det samme spørgsmål stillet igen giver et næsten uafhængigt svar. Derfor læser vi aldrig én dag; vi læser vinduer på 7 dage og sammenligner dem.

En ændring kalder vi først reel, når tre ting holder: intervallerne for før og efter overlapper ikke, retningen er den samme på tværs af dagene i vinduet, og de spørgsmål, vi ikke har arbejdet med, kontrolgruppen, har ikke flyttet sig på samme måde. Ellers er det støj, uanset hvor godt tallet ser ud.

Det sætter også en tidsramme. Skal intervallet om en andel omkring 2% være plus/minus 0,5 procentpoint, kræver formlen omkring 3.000 svar, altså 12 til 13 dage med 240 svar om dagen. Det er grunden til, at vi læser en ændring efter to uger og ikke efter to dage.

Statistisk signifikans, p-værdi og signifikansniveau

Signifikans og konfidensinterval er to sider af samme sag. Et resultat er statistisk signifikant på 5%-niveau, når det er så usandsynligt under antagelsen om ingen forskel, at det ville forekomme i under 5% af tilfældene. P-værdien er netop den sandsynlighed. Og et 95%-interval, der ikke indeholder værdien for ingen forskel, svarer til en p-værdi under 0,05.

Signifikant betyder ikke vigtigt. En ændring fra 1,0% til 1,1% kan være signifikant med nok data og stadig være uden betydning for forretningen. Omvendt kan en stor ændring være reel uden at være signifikant endnu, fordi der ikke er målt længe nok. Intervallet viser begge dele på én gang: hvor stor ændringen er, og hvor sikker du kan være.

Konfidensinterval i Excel og Google Sheets

For en middelværdi giver funktionen KONFIDENS.NORM(alfa; standardafvigelse; n) halvbredden af intervallet, hvor alfa er 0,05 ved 95%. Intervallet er så middelværdien minus og plus dette tal. I Google Sheets hedder funktionen CONFIDENCE.NORM.

For en andel findes der ingen indbygget Wilson-funktion, men den kan skrives med almindelige celler. Med andelen i A1, antallet i A2 og z = 1,96 i A3:

Midtpunkt: (A1 + A3^2/(2*A2)) / (1 + A3^2/A2)

Halvbredde: A3 / (1 + A3^2/A2) * KVROD(A1*(1-A1)/A2 + A3^2/(4*A2^2))

Intervallet er midtpunktet minus og plus halvbredden.

Læs videre: metoden bag tallet, share of voice i AI og sådan måler du AI-synlighed.

← Tilbage til forsiden