Psykologien arbejder med en forskellige begreber. Det drejer sig om psykologiske tilstande, psykologiske tilstande, behov, påvirkninger, evner, færdigheder, stresstilstande, psykiske symptomer. I psykologien indgår også en række andre begreber som står i samspil med de psykologiske. Det kan dreje sig om fysiske emner, økonomiske, sociale, medicinske osv.

I psykologisk forskning arbejder man med disse begreber, og man forsøger t måle dem.
De samme begreber kan måles med forskellige metoder. Om det så stadig er de samme begreber der måles, er vigtigt. I fysikken kan man måle temperatur med forskellige termometre, men man skal gerne komme til samme resultat. I psykologien optræder imidlertid tit det fænomen at den samme egenskab måles forskelligt med forskellige målemetoder. Hvi man vil måle en depressiv tilstand er det ikke sikkert man når til samme resultat hvis man bruger en selvvurderingstest, rating på baggrund af et interview, observationsmetoder eller den performancebaserede personlighedstest Rorschach.
Dette fænomen kan selvfølgelig forstås ved at nogle af målemetoderne kendes uegnede til målingen, at de ikke er valide. Imidlertid er der den vanskelighed at målingen ofte er foretaget gennem en persons opfattelse. Selvvurderingstests måler gennem personens egen opfattelse, observationsmålong gennem observatøren, Rorschach også gennem personen selv, men nu uden personens selvvurdering, men gennem personens perception.
De forskellige personer kan således have forskellige opfattelser. Selvom det er den samme persons oplevelser der bruges, som ved selvvurderingstests versus Rorschach, så er det forskellige funktioner hos personen der anvendes.

Et andet fænomen der påvirker resultaterne er personens testindstilling, altså hvordan personen er indstillet i forhold til vurderingen. Og dette vanskeliggøres af at der ud over bevidste forsøg på at påvirke resultaterne, også findes ubevidste indstillinger som kan påvirke resultaterne.

Når måleresultaterne således er påvirket både af datakilden og testindstillinger, er det relevant at spørge Hvad det er vi måler. Måler vi de samme begreber, måske blot forskellige aspekter af samme begreber.
En måde at komme uden om problemet er at forlades sig på operationelle definitioner: ‘Intelligens er det vi måler med intelligensprøver’, men denne løsning er så åbenlyst utilfredsstillende. (Markus og Borsboom, 2018)

Eksperimentelle data:

Reaktionstider
Fysiologiske mål
Rigtige/forkerte opgaveløsninger

Ikke-eksperimentelle data

Selvrapporteringstests
Observationsdata (adfærdsbeskrivelse)
Interviewdata
Fænomenologisk beskrivelse
Performancetests (kognitive tests og personlighedstests)