Listing 1 - 8 of 8 |
Sort by
|
Choose an application
Choose an application
In this study a comprehensive examination of autocorrelation impacts on Type I and Type II error rates, in various Single-Case Experimental Designs was conducted. This was done with the use of Monte Carlo simulations. The Type I errors revealed the importance of the number of measurement occasions in randomized phase designs. None of the Single-Case Experimental Designs, tested by Randomization Tests, were found to be significantly affected by autocorrelation. The Type II error rates, evaluated by the average conditional power was found robust against autocorrelation. Insights into number of measurement occasions and effect sizes specifically highlighted potential efficiencies and thresholds in the designs. Alternating designs such as Restricted Randomized Alternation and Completely Randomized were found to be preferable, meeting the 80% Cohen’s criteria on average. The findings aid in the optimization of experimental designs and contribute to future research in behavioral science, economics, and related disciplines. Keywords: Autocorrelation, Statistical Power, Monte Carlo Simulation, Randomization Test.
Choose an application
When it is not possible to collect data on multiple subjects, researchers can opt for single-case experimental designs. In order to evaluate the effect magnitude, we can calculate effect size indices. This thesis investigate Non-overlap of all pairs (NAP), which is an effect size index for single-case experiments and has a close relation with the U statistic in Mann-Whitney U test. Within the scope of this thesis, the following issues will be investigated: (i) The relation between non-overlap of all pairs (NAP) with the U statistic in Mann-Whitney U Test and the Area Under the Receiver Operating Characteristic Curve (AUC-ROC); (ii) The statistical inferences for NAP: a randomization test with NAP to be chosen as the test statistic, and confidence intervals for NAP; (iii) How the two types of nonparametric tests - the randomization test and the Mann-Whitney test, with NAP as the test statistic, perform in testing the significance of this effect size. Data to be used in the thesis include data collected from empirical single-case experiments (SCEs), hypothetical data and data derived from stochastic simulation.
Choose an application
Recent onderzoek toont aan dat kinderen reeds op vroegere leeftijd in staat zijn om complexere wiskundige competenties, zoals patroonvaardigheden, te verwerven dan oorspronkelijk gedacht. Bovendien correleren dergelijke patroonvaardigheden niet enkel met allerlei onderliggende wiskundige basisvaardigheden, maar blijken ze ook op jonge leeftijd een voorspeller van wiskundige prestaties op latere leeftijd. Samen met de groeiende evidentie dat taal een belangrijke rol speelt in het verwerven van wiskundige vaardigheden, groeide de vraag naar onderzoek over de rol van domeinspecifieke woordenschat binnen complexere wiskundige domeinen. Onderzoek vond reeds een correlatie tussen domeinspecifieke woordenschat en complexere wiskundige domeinen zoals kansrekenen en proportioneel redeneren. Bijgevolg is het aannemelijk dat begrip van specifieke woordenschat met betrekking tot patronen ook een rol speelt in de ontwikkeling van patroonvaardigheden. Dit werd tot op heden echter nog niet onderzocht. Hiervoor is er nood aan een instrument waarmee dergelijke specifieke woordenschat gemeten kan worden. Deze masterproef biedt een oplossing en beschrijft de ontwikkeling van een valide en betrouwbaar instrument dat peilt naar de kennis van specifieke woordenschat met betrekking tot patronen bij leerlingen van het eerste, tweede en derde leerjaar. In een eerste fase werd het concept ‘patroontaal’ gedefinieerd. Na analyse van verschillende bronnen en overleg met experten werden termen geselecteerd die we relevant achtten voor het verwerven van patroonvaardigheden. Zowel tijdens deze fase als tijdens het operationaliseren van de geselecteerde termen in bruikbare items werden de gemaakte keuzes in functie van zowel de indruks- als de inhoudsvaliditeit uitgebreid beargumenteerd. De begripsvaliditeit van het piloteringsinstrument werd nagegaan door middel van individuele pilotering bij tien leerlingen. Op basis van de resultaten alsook de mondelinge feedback van deze leerlingen konden we problematische termen en items aanpassen en zo de begripsvaliditeit optimaliseren. Hierna werd door middel van een klassikale afname van een test en een hertest bij 131 leerlingen uit verschillende leerjaren en twee verschillende scholen de betrouwbaarheid van het instrument geverifieerd. De resultaten van onze analyse toonden een hoge interne consistentie en grote test-hertestbetrouwbaarheid. Problematische gecorrigeerde item-totaalcorrelaties werden van naderbij bekeken en keuzes, om op basis van deze statistieken en kwalitatieve beoordeling in functie van validiteit bepaalde items al dan niet te verwijderen, werden andermaal beargumenteerd. Via al deze onderzoeksfases werd het doel van deze masterproef gerealiseerd. Het resulteerde in een valide en betrouwbaar instrument voor het meten van specifieke woordenschatkennis met betrekking tot patronen bij leerlingen van het eerste, tweede en derde leerjaar. Tot slot werden in deze masterproef zowel sterktes als beperkingen van het onderzoek belicht om uiteindelijk te eindigen met enkele voorstellen voor verder onderzoek.
Choose an application
Conjoint experiments have become extremely popular in political science in the past years. The seminal paper of Hainmueller, Hopkins, and Yamamoto (2014) has contributed to popularising the use of conjoint experiments to answer multi-dimensional research ques- tions with the presence of multiple experimental attributes that vary at the same time. Despite the importance of power analysis for survey-experimental techniques, researchers often disregard power calculations in the context of conjoint experiments. The main goal of this thesis is to show that conjoint designs, like any other factorial design, are sub- jected to rather strict power requirements. Specifically, I aim to show how the number of experimental attributes, trials, and subjects impact the statistical power of conjoint experiments. To this end, I begin by tracing the history of conjoint experiments, contextualising the the- sis within the contemporary empirical and methodological scholarship in political science. Following, I provide a brief overview of statistical power and underscore the potential threats to validity, reliability, and replicability that can arise from neglecting power con- siderations. Then, I introduce a simulation-based framework that leverages a flexible data-generating model to simulate conjoint data. Subsequently, I conduct an extensive literature review to gather information on the experimental designs typically employed in conjoint studies in political science. Using this information, I run a simulation to ex- plore the statistical properties of a wide range of commonly employed conjoint designs. Results show that—even with relatively large sample size and numbers of trials—conjoint experiments are not well suited to draw inferences for designs with large numbers of experimental attributes (≥ 15) and relatively small effect sizes (≤ 0.05). To gauge the extent to which the experimental designs typically employed in political science diverge from conventional power recommendations (α = .80), I conducted a retro- spective power analysis using the information obtained from the literature review. Results show that about one-third of the studies that I examined do not have sufficient power to discover the reported effects and are more prone to errors of sign (Type S error) and magnitude (Type M error) compared to designs recruiting larger samples or asking respon- dents for more trials. This supports the idea that disregarding power considerations for conjoint experimental designs can have serious consequences for theory testing and, more importantly, for the validity of scientific results. Hence, to help researchers to achieve adequate designs for future conjoint experiments, I develop a web application that can be used to perform a priori power analysis. This web application is accessible from any browser and is usable by researchers without any statistical background in conjoint ex- periments and statistical power. I conclude the thesis by pointing out the limitations of the used approach and a few recommendations for further research on the topic.
Choose an application
Naar aanleiding van de slechte rapporteringskwaliteit van single-case studies en het ontbreken van richtlijnen voor het beschrijven van de single-case studies in de gedragswetenschappen ontwierpen Tate et al. in 2016 de ‘Single-Case Reporting Guideline In BEhavioral Interventions’ (SCRIBE). Deze richtlijn had tot doel de rapporteringskwaliteit van single-case studies te verbeteren. Tot op heden zijn er nog geen onderzoeken te vinden die bekijken wat de samenhang is tussen de publicatie van de richtlijn en de rapporteringskwaliteit van single-case studies. Om aan dit gebrek tegemoet te komen luidt de onderzoeksvraag in deze masterproef dus: ‘Is er een samenhang tussen de publicatie van de SCRIBE richtlijn en de rapporteringskwaliteit van publicaties van single-case studies?’. Om op deze vraag een antwoord te bieden is er onderzocht of er na de publicatie van de richtlijn gemiddeld meer en kwalitatiever wordt voldaan aan de SCRIBE-richtlijn, hoe frequent de items geïdentificeerd kunnen worden in single-case studies en of de studies verschenen na de publicatie van de richtlijn al dan niet verwijzen naar de richtlijn. Naast deze onderzoeksvraag en bijhorende deelvragen, wordt er in de Inleiding vermeld wat single-case studies zijn en welke vormen ze kunnen aannemen en hoe de SCRIBE richtlijn is ontstaan en wat ze inhoudt. Vervolgens wordt er in de Methode geschetst dat er een scoringslijst wordt opgesteld aan de hand van de items van de richtlijn, dat er vervolgens single-case studies geselecteerd werden uit vier verschillende tijdschriften van vijf jaar voor en vijf jaar na de publicatie en dat deze gescoord werden op de scoringslijst. De score op alle items en de totale score werden vervolgens in SPSS ingegeven om verschillende analyses te kunnen uitvoeren. In de Resultaten sectie worden al deze analyses besproken en zien we dat er geen significant verschil is in rapporteringskwaliteit tussen artikels verschenen voor en na de publicatie van de richtlijnen. Verder wordt er aangegeven dat zes items uitstekend worden gerapporteerd, vijftien items goed scoorden en vijf items een slechte rapportering kenden. Er werd in slechts twee van de twintig artikels verschenen na de publicatie verwezen naar de SCRIBE richtlijnen. Als laatste vonden we nog bijkomend dat er geen significant verschil was tussen de twee onderzoeksdomeinen. In de discussie worden deze resultaten verder geïnterpreteerd en gekaderd en worden er beperkingen en suggesties voor vervolgonderzoek gegeven. Er lijkt geen samenhang te zijn tussen de publicatie van de SCRIBE richtlijn en de rapporteringskwaliteit van single-case studies. Ondanks dat 31 van de 32 gescoorde single-case studies een goede en slechts één een slechte rapporteringskwaliteit kenden, zou er mogelijks onderzocht kunnen worden waarom er nog niet vaak naar de richtlijn wordt verwezen en hoe de implementatie van deze zou kunnen verbeteren.
Choose an application
*Samenvatting masterproef* Klinische significantie bepalen is niet vanzelfsprekend. In de literatuur wordt op dit moment daartoe minstens één methode vaak gebruikt. Deze methode werd geïntroduceerd door Jacobson en Truax (1991). In de literatuur lijkt de discussie over de bruikbaarheid van deze methode echter stilgevallen. Dat zorgt ervoor dat op dit moment niet duidelijk is of deze methode wel een goede maat is voor klinische significantie. Daarnaast lijkt kritische literatuur van deze methode gemist, genegeerd of verworpen te worden. In dit onderzoek staat de vraag hoe klinische significantie van behandeleffecten bepaald kan worden centraal. In het eerste hoofdstuk wordt een algemene inleiding gegeven. Na die inleiding wordt het theoretisch kader geschetst van de methode van Jacobson en Truax (1991), gezien deze methode vaak gebruikt lijkt te worden in de onderzoekspraktijk. Vervolgens volgt een literatuurstudie over diezelfde methode. Daarmee wordt onderzocht hoe de methode doorheen de jaren eventueel is bekritiseerd, geëvolueerd en gebruikt. In het tweede hoofdstuk wordt ingezoomd op de methode van het huidig onderzoek. Enerzijds wordt een systematische review uitgevoerd, voorafgegaan door een citatie-analyse. Aan de hand van die citatie-analyse wordt getoetst of de methode werkelijk zo veelgebruikt is als wordt geopperd. In de systematische review wordt bestudeerd hoe de methode gebruikt wordt in de praktijk en hoe het gesteld is met de discussie daarrond. Deze review wordt aangevuld met een kwalitatieve analyse van onderzoeken die gebruik maken van de bestudeerde methode, om de resultaten in een breder kader te plaatsen. Ten slotte wordt aan de hand van empirische gegevens getoetst of de bestudeerde methode een goede maat is voor klinische significantie. Het laatste hoofdstuk betreft de discussie en conclusie. Hierin worden de resultaten bekeken en geïnterpreteerd, gevolgd door een algemene conclusie. Uit het onderzoek blijkt dat de methode van Jacobson en Truax (1991) inderdaad veel gebruikt wordt. In de praktijk lijkt ze echter niet altijd toegepast te worden zoals ze werd voorgesteld, wat een probleem kan vormen betreffende de assumpties van de methode. Daarnaast lijkt kritiek vaak ook afwezig. Ten slotte blijkt dat de methode van Jacobson en Truax (1991) geen ideale methode is voor het bepalen van klinische significantie. Om deze conclusies te verifiëren is het belangrijk dat deze resultaten in ander onderzoek worden gerepliceerd. Daarnaast lijkt het belangrijk dat in komend onderzoek de discussie over de methode weer op gang wordt gebracht.
Choose an application
Kansrekenen is van alle tijden: of we nu aan de loterij deelnemen, beslissen een paraplu mee te nemen of een gezelschapsspel spelen… Het zit zo in ons ingebakken dat we vaak onbewust met kansrekenen bezig zijn. Maar in welke mate kan dit worden aangeleerd? Momenteel maakt kansrekenen niet standaard deel uit van de leerdoelen in Vlaamse basisscholen. Nochtans blijkt uit onderzoek dat kinderen erg vatbaar zouden zijn voor het aanleren van deze vaardigheden. Men zou zich dus kunnen afvragen of kansrekenen geen plek verdient op school. Natuurlijk is het dan ook belangrijk het juiste materiaal te ontwikkelen waardoor kansrekenen bij leerlingen zou kunnen worden gestimuleerd. In deze masterproef wordt gekeken naar de pilootstudie van een lessenreeks, waarin onderzocht wordt of deze lessenreeks een haalbaar educatief middel is om kansrekenen bij kinderen te stimuleren. Het Wis & Co-project stelde een lessenreeks op waarmee zij kansrekenvaardigheden bij kinderen willen verbeteren. Vooraleer het effect van deze lessenreeks op grote schaal onderzocht wordt via een pre- en posttest, wordt de haalbaarheid ervan via een pilootstudie uitgetest. Er wordt geopteerd voor design-based research waarbij de onderzoeker als leerkracht de opgestelde lessen komt onderwijzen. Ter voorbereiding van de pilootstudie zelf werd er een hypothetical learning trajectory opgesteld waar de doelstelling, de manier van aanpak en het verwachte lesverloop wordt beschreven. Op deze manier van aanpak wordt in het hoofdstuk methoden dieper ingegaan. In het resultaten deel van deze masterproef wordt gedetailleerd het eigenlijke verloop van de drie lesmomenten van de pilootstudie beschreven. Tot slot wordt er gefocust op de twee onderzoeksvragen “In welke mate de ontwikkelde lessenreeks een haalbaar educatief middel voor het stimuleren van kansrekenen bij leerlingen uit het tweede leerjaar is?” en “hoe de pilootstudie van de ontwikkelde lessenreeks verloopt in vergelijking met de vooraf opgestelde hypothetical learning trajectories?”. Geconcludeerd wordt dat in de beperkte steekproef van de pilootstudie, de opgestelde lessenreeks effectief is om kansrekenvaardigheden bij kinderen te onderwijzen. Uitgebreider kwantitatief onderzoek zal moeten uitwijzen of deze resultaten kunnen veralgemeend worden.
Listing 1 - 8 of 8 |
Sort by
|