Wat kan je zeggen over de interpretatie van resultaten wanneer de criteriumvaliditeit onvoldoende is?

Validiteit (algemeen) is de mate waarin de test meet wat hij zou moeten meten.

Criteriumvaliditeit (criterion validity) beschouwt in welke mate een test voorspellende waarde heeft. Een van de soorten 'criteriumvaliditeit' is de predictieve validiteit. Als de predictieve validiteit hoog is, is de test een goede predictor om toekomstig gedrag te voorspellen.

Een voorbeeld op de bronsite:
"Een test welke de mate van presteren in de toekomst meet wordt afgenomen. Op een later tijdstip word dit resultaat vergeleken met de prestatie op dat tijdstip. Indien de testresultaten uit het verleden hoog correleren met de prestatiegegevens op dat tijdstip, dan kan gesproken worden van een hoge predictieve validiteit van de test."

Voor een test met onvoldoende criteriumvaliditeit geldt het omgekeerde. In gewoon Nederlands zou ik het -met een variant op een bekende zin- zo zeggen: 'behaalde testresultaten in het verleden zijn geen garantie voor de toekomst'.

Dan is de marge die je moet nemen tov de gevonden waarde zo groot dat de gevonden waarde zo goed als nauwelijks een bruikbare meetwaarde is.
Je standaarddeviatie is dan te groot om met de meting vast te stellen wat wel of niet significant is en je 2XSD/3XSD (67 en 99.7%) beslaat een veel te breed veld.
Kortom , je meting is dan zo goed als vrijwel zinloos, meer een gok, zou je kunnen zeggen)

Om het over voorspellende waarde nog maar niet eens te hebben.........

Toegevoegd na 11 minuten:
Praktisch voorbeeld, een IQ test die nauwkeurig is heeft ongeveer plus of min 5% speling.

Een IQ test met bovenstaand probleem heeft bijvoorbeeld
30% speling.
Iemand met een normaal IQ (100) kan dan van zwak begaafd tot bijna hoogbegaafd zijn.
Het is dan niet te zeggen of de geteste persoon nauwelijks leerbaar is of "gemakkelijk" een universitaire studie met promotie moet kunnen volbrengen.

Je snapt wel dat zo een test tijdverspilling is.


Toch zijn er onderzoeken die een enorme marge accepteren. zo wordt het aantal atomen in het heelal wel geschat op 10^80 tot 10^85, wat dus een factor100 000
verschilt.

Ook met afstanden in veel lichtjaren en ouderdom accepteert men vaak een enorme marge maar wat er 3.85 miljard jaar geleden met de aarde gebeurd is (of 3.9 miljard), daar zijn we niet bij geweest.