Onderzoeksmethoden
H8. Experimenteel onderzoek
§8.1 Inleiding
Design: de grondvorm van het onderzoek
Experimenteel onderzoek: de vraag of een onafhankelijke variabele X van invloed is op een afhankelijke variabele Y à bij onafhankelijke variabele in experiment wordt altijd met de afhankelijke gemanipuleerd: onderzoeker doet iets met X en hoopt op effect in Y.
Operationaliseren: onderzoeker moet precies vastleggen hoe de treatment of methode (onafhankelijke variable) wordt uitgevoerd.
Intern valide: andere mogelijke oorzaken van Y onder controle of uitgeschakeld zijn. à dan kan je zeggen dat de verandering in Y (afh. v.) een gevolg is van het manipuleren met Y (onafh. v.)
§8.2 Pre-experimentele designs
Vaak onderzoeken die niet intern valide zijn à opzet is zo dat er niet geconcludeerd kan worden dat het manipuleren met X de oorzaak is van een verandering in Y à buitenexperimentele factoren die interne validiteit aantasten. à bij drie designs is daarvan vrijwel altijd sprake:
1. One shot case study: X wordt gemanipuleerd en vervolgens meten wat er met O (afh. v.) gebeurt. Design in symbolen:
X O
(denk aan; onderwijsmethode wordt verandert à beter slagingspercentage à kan verschillende oorzaken hebben, hoeft niet van de onderwijsmethode alleen af te hangen)
2. One Group pretest posttest design: bij onderzoeksgroep wordt een voormeting afgenomen, vervolgens krijgt het een behandeling, daarna een nameting om te vergelijken met voormeting. Design in symbolen:
O1 X O2
X=onafhankelijke variabele
O1,2= voormeting, nameting
(denk aan; zelfverwondend gedrag à andere behandeling à minder zelfverwondend gedrag à kan verschillende oorzaken hebben, hoeft niet van behandeling alleen)
3. De statische groepsvergelijking: twee of meer bestaande groepen worden vergeleken, elke groep andere treatment (X1 of X2) OF ene groep krijgt wel treatment en andere niet. Design in symbolen:
X O1 – X1 O1
OF
O2 X2 O2
(denk aan; woningbouw vergadering à jan schrijft brief aan die straat, piet gaat persoonlijk langs in andere straat en Sjaak bezoekt weer andere straat à jan 10%, piet 15%, Sjaak 40% à Sjaak mag voortaan langsgaan; maar in die straat zijn veel woningen die gerenoveerd moeten worden vandaar de hoge opkomst, ook nog andere oorzaken)
§8.3 Soorten buitenexperimentele factoren
Buitenexperimentele factoren: bij experiment kan de oorzaak gelegen zijn in andere factoren dan de factor waarvan je het effect wilt meten. à deze zullen moeten worden uitgeschakeld, of onder controle gehouden worden als je een experimenteel onderzoek wilt voeren. Soorten factoren:
1. Rijping: alle biologische psychologische processen die bij onderzoekselementen tot verandering kunnen leiden. à kunnen resultaten beïnvloeden. 2. Testing: verschijnsel dat onderzoekselementen bij een tweede meting hoger of positiever scoren dan bij de eerste meting, als zij bij die tweede meting met hetzelfde meetinstrument geconfronteerd worden als bij de eerste meting. 3. History: alle gebeurtenissen die zich tijdens het experiment voordoen en van invloed kunnen zijn op het resultaat, terwijl zij niets met de behandeling te maken hebben. 4. Regressie: een aantal van de onderzoekselementen die de eerste keer extreem hoog/laag scoorde, bij een tweede meting respectievelijk lager/hoger scoren. à als je met een onderzoek een extreme groep selecteert; bedacht zijn op regressie. 5. Selectie: groepen die men met elkaar wilt vergelijken, niet alleen verschillen in de behandeling maar ook in andere kenmerken. 6. Uitval: niet van alle onderzoekselementen die voor het experiment in aanmerking komen, kunnen gegevens verzameld worden. 7. Instrumentatie: als het meetinstrument bij de nameting anders gehanteerd wordt dan bij de voormeting, of als het in de ene groep anders wordt toegepast dan in een andere groep. à soms plafond-bodem effect: groep is nauwelijks nog in staat bij een tweede meting een hogere score te halen, omdat die groep bij een eerste meting al hoog op het meetinstrument scoort. 8. Interactie van buitenexperimentele factoren: als twee buitenexperimentele factoren samen een extra verstorend effect hebben.
§8.4 Randomiseren en matchen
Goed experiment:
– alle buitenexperimentele factoren uitgeschakeld/onder controle – twee groepen nodig, die maar in 1 kenmerk van elkaar verschillen à X, onafhankelijke variabele
Te verkrijgen door te randomiseren of te matchen
Randomiseren: het toeval bepaalt welke onderzoekselementen in welke groep komen à groepen kunnen toch van elkaar verschillen; bv intelligentie MAAR onderzoeker kan vooraf nagaan of ze van elkaar verschillen
Matchen: tegenover een onderzoekselement in de ene groep een ander onderzoekselement in een andere groep komt dat vergelijkbaar is met het eerste element. à zeker dat de groepen wat variabelen waarop gematcht wordt betreft, niet van elkaar verschillen (controlevariabelen).
Precisie-matchen: tegenover een onderzoekselement in de ene groep met een bepaalde combinatie van kenmerken, moet in de andere groep een onderzoekselement staat met dezelfde combinatie van kenmerken.
Frequentie-matchen: onderzoeker zorgt ervoor dat experimentele en controlegroep op enkele variabelen qua frequentieverdeling gelijk zijn.
Wanneer matchen of randomiseren?
1. Alleen zin om te matchen op variabelen die naast de variabele waarvan men het effect wilt meten, ook op de afhankelijke variabele van invloed kunnen zijn. 2. Hangt van onderzoekssituatie af of matchen mogelijk is (tijd, geld) 3. Hangt van grootte onderzoeksgroep af à randomiseren bij grote groep zal minder vaak tot vertekening leiden dan randomiseren bij kleinere groep 4. Onderzoeker zich afvragen of het afnemen van voormeting van invloed kan zijn op de scores van de nameting à voormeting kan onderzoekselementen extra gevoelig maken voor problemen en onderwerpen die bij de meting aan de orde zijn gekomen en dit kan de beantwoording bij de nameting beïnvloeden
§8.5 Intern valide designs
Intern valide: Opzet design is zodanig dat men er uit kan afleiden of de variabele waarmee gemanipuleerd is, wel of geen invloed heeft op de afhankelijke variabelen.
Statistische toets: nagaan of gegevens die men in een steekproef vindt, ook gelden voor de populatie waaruit die steekproef getrokken is. à eerst beargumenteren dat buitenexperimentele factoren uitgeschakeld zijn, daarna toetsen of het verschil statistisch significant is.
Interactie van testing en treatment: treatment heeft effect door voormeting, onderzoeker mag niet stellen dat de treatment ook effect had gehad als er geen voormeting was geweest.
1. Pretest posttest control Group design: 2 groepen matchen/randomiseren; beide voormeting en nameting, ene groep krijgt wel behandeling X, andere groep niet à groep met X is experimentele groep, andere de controle groep
(M)R O1 X O3 OF O1 MR X O3
(M)R O2 X O4 O2 MR X O4
2. Posttest only control Group design: 2 groepen dmv matchen/randomiseren; ene groep behandeling X, andere niet of ene groep X1 en andere groep X2. Beide alleen nameting.
(M)R X O1
(M)R O2
Wanneer pretest posttest en wanneer posttest only?
– Bij grote groep minder noodzakelijk een pretest af te nemen à randomiseren leidt dan wel tot vergelijkbare groepen. Bij kleine onderzoeksgroep heeft pretest wel zin à groepen samen stellen dat hun beginsituatie vergelijkbaar is. à Er kan interactie van testing en treatment optreden; men kan in dat geval niet stellen dat de treatment ook zonder voormeting effect had. 3. Solomon four Group design: 4 groepen dmv matchen/randomiseren; 1e & 2e groep voormeting en nameting, 1e groep treatment X, 2e groep niet; 3e & 4e groep alleen nameting, 3e groep treatment X, 4e groep niet. à eerste 2 groepen; pretest posttest en laatste 2 groepen posttest only!!
(M)R O1 X O2
(M)R O3 O4
(M)R X O5
(M)R O6
Heeft X effect gehad? à vergelijk gemiddelde van O2 & O5 met O4 & O6
Heeft voormeting effect gehad? à vergelijk gemiddelde van O2 & O4 met O5 & O6
Heeft X samen met voormeting extra effect? à vergelijk resultaat bij de 3e groep (geen voormeting) met resultaat 1e groep (wel voormeting)
4. Factoriële designs: categorieën van ene variabele gecombineerd met de categorieën van andere variabele of van andere variabelen om te komen tot groepen die elk een specifieke benadering krijgen. à nodig voor effecten 2 of meer onafhankelijke variabelen.
2×2 design: elke onafhankelijke variabele heeft 2 categorieën
Wel gestraft niet gestraft
Wel beloond 3x verstorend 7x verstorend
Niet beloond 6x verstorend 15x verstorend
Mixed designs: effect van één onafhankelijke variabele waarmee gemanipuleerd wordt, voor verschillende subgroepen afzonderlijk (in feite in factorieël design)à effectiviteit van de methoden op zich te meten maar ook voor verschillende subgroepen nagaan of de ene methode effectiever is dan de ander.
Rekenvaardigheidtoets
Methode A Methode B
Jongens 30 goed 40 goed
Meisjes 35 goed 35 goed
Totaal 32 goed 38 goed
5. Designs met herhaalde metingen: onderzoekselementen meerdere malen met een treatment geconfronteerd worden en er na elke confrontatie een meting plaatsvindt. 6. Counterbalancing designs: onderzoekselementen elke keer met een andere treatment geconfronteerd en tijdens of na elke confrontaties vindt een meting plaats. à kan op deze manier geen sprake zijn van selectie à wel gevaar voor differentiële overdracht (oefeneffecten van de ene conditie naar de andere optreedt, maar niet in gelijke mate als de condities in omgekeerde volgorde worden aangeboden. à alleen gebruik maken als geen gevaar voor differentiële overdracht bestaat.
Between-design: onderzoekselement krijgt elke conditie slechts één keer.
Within-design: onderzoekselement elke conditie MINIMAAL twee keer. (ABBA) à wil men onderzoekselement twee of meer keer met elke conditie confronteren, dan kan men per onderzoekselement een toevalsvolgorde opstellen. à at random.
§8.6 Single subject research
Afgelopen designs alleen onderzoeksgroepen vergeleken à nu experimenten met één onderzoekselement. à vaak gebruik gemaakt van een pretest posttest design.
1. Reversal design: ABAB-design; A controle, B experimentele à A; vaststellen wat voor gedrag er op treedt en hoe vaak, B; aanpak verandert en treatment toegepast, A; weer op dezelfde manier reageren als vorige A, B; weer dezelfde treatment toepassen. à soms kan dit design niet toegepast worden omdat het niet ethisch verantwoord is. 2. Multiple baseline design: twee of meer probleemgedragingen bij één onderzoekselement behandelen en daarvoor dezelfde behandelingsmethode toepassen à eerst vaststellen in welke mate probleem voordoet, behandeling gepraktiseerd die van toepassing is op één probleem, nameting of het is afgenomen of niet, als het geholpen heeft ook het andere probleem met die aanpak verminderen. à 2 problemen die onafhankelijk zijn 3. Tijdserie design: op een groot aantal momenten metingen verrichten en van te voren at random bepalen tussen welke meetmomenten een treatment gepraktiseerd moet worden.
§8.7 Quasi-experimentele designs
Quasi-experimenteel design: niet voldaan aan alle voorwaarden voor experimenteel onderzoek. à soms onmogelijk controle groep vast te stellen of te randomiseren/matchen.
Niet-equivalente controlegroep design: twee of meer groepen die niet d.m.v. randomiseren/ matchen zijn samengesteld. Beide voor- en nameting, ene groep krijgt treatment, ander niet of in beide groepen verschillende à lijkt op pretest posttest control Group, alleen geen randomiseren/ matchen à grotere kans op buitenexperimentele factoren (selectie); daarom voormeting doen om info over de groepen te hebben en rekening te houden met analyse. Soms probeert men problemen te ontwijken door 2 voormetingen te doen.
§8.8 Externe validiteit
Heeft betrekking op de conclusie trekking van gegevens.
1. Interactie van testing en treatment: treatment alleen effect als voormeting vooraf is geweest, beperkt externe validiteit; mag niet concluderen dat treatment in een situatie zonder voormeting ook effect gehad zou hebben. 2. Interactie van selectie en treatment: effecten van de treatment alleen generaliseren naar populatie waaruit de steekproef voor het onderzoek is getrokken. 3. Reactive arrangements: onderzoekselementen gaan zich anders gedragen omdat ze weten dat ze aan een experiment deelnemen. 4. Multiple treatment interference: onderzoekselementen in een onderzoek met twee of meer treatments geconfronteerd worden à counterbalancing design; vindt men ene methode effectiever dan de ander, dan mag hij nog niet concluderen dat in een ander onderzoek met maar één treatment hetzelfde resultaat geboekt wordt. 5. Wijze waarop onafhankelijke en afhankelijke variabele geoperationaliseerd worden.
Één experiment weinig zin,om tot goede theorie te komen; hypothesen in verschillende settings toetsen bij verschillende populaties, operationaliseringen van theoretische variabelen en designs.
§8.9 Statistische toetsing
Onderzoeker meer dan twee groepen met elkaar vergelijken à vaak andere toetsen toepassen dan onderzoeker die verschillen tussen twee groepen wil toetsen. Manier waarop groepen zijn samengesteld van belang bij keuze toets. Meetniveau van afhankelijke variabele bepalend voor toets die men mag toepassen.
H2 Probleem, theorie en conceptueel model
§2.1 Probleem
Onderzoek begint met probleem à inzicht krijgen in probleem.
§2.2 Theorie
Duidelijk welk probleem? à bezighouden met de vraag hoe je zich krijgt op het probleem. à doel om de werkzaamheden van het probleem in een theoretisch kader te plaats à conceptueel model:
– onderzoekselementen – variabelen – hypothesen
§2.3 Het conceptueel model
1. onderzoekselement: degene op wie het onderzoek betrekking heeft, kan individu, paren, groepen of collectiviteit zijn. à bevat ideeën over het probleem en een mogelijke verklaring ervoor. Onderzoeker geeft alleen aan op wie/wat zijn denkbeelden van toepassing zijn. à theoretische definiëring. 2. Variabelen: eigenschappen die onderzoekselementen wel/niet in verschillende mate kunnen bezitten. In conceptueel model nog niet bepalen welke variabelen voor het onderzoek relevant zijn à onderzoeksontwerp
– Afhankelijke variabele: de te verklaren variabele
– Onafhankelijke variabele: variabele die mogelijke verklaring geeft voor de afhankelijke variabele.
Gezinsgrootte à sociale redzaamheid
O A
– Interveniërende variabele: In hetzelfde onderzoek zowel afhankelijk als onafhankelijk.
Gezinsgrootte à sociale redzaamheid à studieprestaties PWO
O A O A
Verklaart WAAROM een onafhankelijke variabele samenhangt met afhankelijke
– Moderator variabele: specificeert hoe 2 andere variabelen met elkaar samenhangen of elkaar beïnvloeden
Intelligentie
Motivatie Prestatie
Specificeren HOE een onafhankelijke variabele samenhangt met afhankelijke.
– Controle variabele: Nodig om in experiment VOORAF de groepen vergelijkbaar te maken
– Testvariabele: nodig in correlationeel onderzoek om na te gaan of onafhankelijke variabele werkelijk invloed heeft. Altijd gebruiken ACHTERAF bij vergelijkbare groepen.
– Constante: kan in een bepaald onderzoek maar 1 waarde hebben.
3. Hypothesen: uitspraak van onderzoeker over hoe twee of meer variabelen met elkaar samenhangen.
– Causaal: invloed op oorzaak à gevolg (normaal onafh-afh)
– Niet causaal: samenhang tussen 2 variabelen (rekenen-taal)
– lineair positief: hoe hoger op variabele A, hoe hoger op B
– lineair negatief: hoe hoger op variabele A, des te lager op B
– curvilineair: kromlijnige verbanden (cohesie à gedragsproblemen)
§2.4 Toetsend, explorerend en beschrijvend onderzoek
Explorerend onderzoek: geïnteresseerd in de vraag of twee variabelen samenhangen zonder dat hij vooraf een duidelijke uitspraak durft te doen over hoe deze zullen samenhangen. à sprake van als; onderzoeker in conceptueel model nog niet in staat is expliciete hypothesen te formuleren over hoe bepaalde variabelen zullen samenhangen of elkaar beïnvloeden.
Toetsend onderzoek: van te voren uitspraken doen naar verwachtingen; beperkt aantal aan theorie ontleende hypothesen die aan empirisch materiaal worden getoetst.
Beschrijvend onderzoek: niet geïnteresseerd in wijze waarop twee of meer variabelen met elkaar samenhangen of elkaar beïnvloeden. Centraal staat geven van een beschrijving van een aantal onderzoekselementen aan de hand van tevoren in het conceptueel model opgenomen variabelen. à ook vooraf gestelde hypothesen.
§2.5 Het concretiseren van het conceptueel model
Onderzoek begint met probleem, wordt in theoretisch kader geplaatst à conceptueel model; 3 onderdelen:
1. Onderzoekselementen 2. Variabelen 3. Hypothesen
Soms is niet altijd juist wat je verondersteld, hypothesen moet dus getoetst worden aan realiteit.
H3. Het onderzoekselement
§3.2 Populatie
Populatie: alle elementen die voor het onderzoek in aanmerking komen. à beperkt aantal wordt maar verzameld: Steekproef
Steekproef: een deel van de populatie
Generaliseren: de resultaten die je in de steekproef vindt, van toepassing verklaren op populatie.
Representatief: afspiegeling van populatie (leeftijd, geslacht, milieu)
Aselect: toeval bepaalt wie in steekproef komt
Speciale universum: conclusies die men in onderzoek vindt, mogen alleen verklaard worden aan de populatie.
Algemeen universum: als het abstracte universum waarop de onderzoeksbevindingen van toepassing zijn.
Populatie altijd kleiner dat het geheel van onderzoekselementen die in het conceptueel model staan. Onderzoeksresultaten zijn alleen van toepassing op elementen die tot de populatie behoren. à soms wel generaliseren naar algemeen universum; onderzoekselementen die in feite niet tot populatie behoren, vergelijkbaar zijn met elementen die er wel toe behoren.
§3.3 steekproef en generaliseren
Alleen resultaten die men vindt bij een steekproef die aselect getrokken is, mag men onder bepaalde restricties generaliseren naar de populatie. Mag er nooit vanuit gaan dat het in de steekproef gevonden percentage gelijk is aan de populatie, alleen schattenà tussen 95 en 99 % hangt af van:
– steekproefgrootte
– zekerheid
§3.4 De grootte van de steekproef
Hoe betrouwbaarder je uitspraken wilt doen over populatie, hoe groter de steekproef moet zijn.
Hoe groter de steekproef is, hoe kleiner behoeft het verschil te zijn om te kunnen besluiten tot een statistisch significante samenhang. à geld en mankracht invloed op grootte steekproef.
§3.5 Steekproeftechnieken
Aselecte trekking: het toeval bepaalt welke eenheden in de steekproef getrokken worden.
Steekproeffractie: aantal in de steekproef te trekken eenheden, gedeeld door aantal eenheden in de populatie.
1. De enkelvoudige aselecte steekproef: elke eenheid uit populatie heeft gelijke kans om in de steekproef getrokken te worden.
– Grabbeltonmethode: alle elementen uit de populatie worden in een grabbelton gegooid en men trekt er dan willekeurig zoveel uit als nodig voor steekproef.
– Systematisch trekken: alle elementen nummeren, toevalsgetal bepaalt het eerste steekproefelement à welk toevalsgetal hij moet nemen (moet gelijk zijn aan, of lager zijn dan de noemer van steekproeffractie) en welke het volgende steekproefelement wordt, hangt af van steekproeffractie. à nummer staat los van voor het onderzoek belangrijke variabelen.
2. Gestratificeerde steekproef: populatie is opgebouwd uit strata, deelpopulaties à aselect uit strata trekken; per stratum zoveel elementen kiezen dat rekening gehouden wordt met aantal elementen in verschillende strata. Per stratum zelfde steekproeffractie. Per subgroep trek je vervolgens aselect het benodigde aantal voor steekproef; representatief voor meerdere variabelen.
OOK KAN; ipv elementn evenredig te trekken aan grootte van stratum, per stratum een gelijk aantal elementen kiezen. à als men afzonderlijke conclusies wil trekken.
3. Clustersteekproef: populatie opgebouwd uit primaire- en secundaire eenheden.
Groep 6
1200 leerlingen à Hoe zou je een clustersteekproef kunnen trekken?
40 basisscholen 48 basisscholen
30 leerlingen per groep 6 25 leerlingen per groep 6
4. De twee- en meertrapssteekproef: onderscheidt gemaakt tussen primaire en secundaire eenheden à slechts deel van primaire eenheden gekozen. a. Primaire eenheden in steekproef getrokken met kansen evenredig aan grootte, binnen elke primaire eenheid wordt vervolgens aselect even groot aantal secundaire eenheden in steekproef opgenomen b. Elke primaire eenheid zelfde kans opgenomen te worden, aantal secundaire eenheden hangt af van de grootte van de primaire eenheid. Binnen elke primaire eenheid zelfde steekproeffractie gebruikt.
Bij meertrapssteekproef eerst aselect uit primaire eenheden trekken, dan aselect uit secundaire en vervolgens aselect uit tertiaire eenheden.
5. Niet-aselecte steekproeven: om te kijken of er samenhang is tussen bepaalde variabelen. à mag niet generaliseren naar een bepaalde populatie. a. Quota-steekproef: populatie onderverdeelt in strata, in steekproef in verhouding evenveel mannen, vrouwen, jongeren etc worden opgenomen als in populatie. à alleen gebruikt als onderzoeker geen van bovenstaande technieken kan hanteren. 6. N=1 steekproef en case-studies: slechts 1 onderzoekselement; a. Single subject research: om effectiviteit van bepaalde behandelingsmethoden aan te tonen. b. Case-studies (N=1): algemeen; intensieve kwalitatieve, explorerende studies naar cultuur en structuur van een bepaalde groep/collectiviteit. à 1 geval diepgaand bestuderen
