Hvor mange forsøgspersoner man har med i en undersøgelse har betydning for signifikansundersøgelser og for sikkerhedsgrænser for de størrelser man finder.

I forbindelse med en statistisk hypotesetestning taler man om statistisk power eller styrkeberegning. Man kan begå to forskellige fejl i forbindelse med en hypotesetestning.

Man kan tolke resultatet således at man faktisk har fundet en eksisterende systematik (det kan være en faktisk sammenhæng eller en faktisk forskel), men hvor man i virkeligheden tager fejl, og det resultat man har fundet er blot udtryk for tilfældig variation. Dette kaldes en Type I fejl. Det er den man vurderer ved p-værdien. Størrelsen af denne udtrykker sandsynligheden for at der blot er tale om en tilfældig variation, og hvis p-størrelsen er lille, regner man med at der ikke er tale om en tilfældig variation.

Man kan også begå den fejl at man tolker resultatet således at det blot må være udtryk for en tilfældig variation, mens der i virkeligheden er tale om en systematisk lovmæssighed. Dette kaldes en Type II fejl. Statistisk power er sandsynligheden for at man vil få et signifikant resultat af sin hypoteseprøvning (dvs. en lav p-værdi) hvis der faktisk er tale om en lovmæssiged og ikke en tilfældig variation.

Statistik power afhænger af tre ting:
1. Størrelsen af den lovmæssighed man undersøger (effektstørrelsen)
2. Det valgte signifikansniveau (hvor lille p-værdien skal være for at man vil betragte nulhypotesen som usandsynlig)
3. Antal forsøgspersoner i undersøgelsen

Effektstørrelsen i undersøgelsen kendes ganske vist ikke før undersøgelsen er gennemført, men man kan dels have en fornemmelse ud fra tidligere undersøgelser, dels kan man vælge hvor små effektstørrelser det giver mening at forsøge at finde. Eksempelvis kan effekten af en behandling være så lille at det ikke giver mening set i lyset af den indsats det kræver at gennemføre en behandling.

Signifikansniveauet vælges traditionelt som højst 5%, og gerne 1%. Hvis man vil gennemføre en række signifikansundersøgelser af samme art i undersøgelsen, er det almindeligt at kræve lavere p-værdier for at anse resultaterne for signifikante.

Set i lyset af disse to størrelser, er antallet af forsøgspersoner det som man kan vælge. Man vil gerne have så mange, at man får tilstrækkelig stor statistisk power (det er almindeligt at kræve en størrelse på mindst 80% chance for at finde en lovmæssighed, hvis den er der). På den anden side vil man ikke have flere forsøgspersoner end nødvendigt fordi dataindsamlingen er ressourcekrævende.

Se en gennemgang af måder at bestemme samplestørrelsen her (som ppt-fil)