Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

Statistiek houdt zich bezig met het analyseren van data. Traditioneel bestaat een dataset uit data voor een aantal observaties en een aantal variabelen. Bijvoorbeeld kunnen de punten van elke student wiskunde (observatie) voor al zijn verschillende opleidingsonderdelen (variabelen) een dataset vormen. Uitschieters zijn observaties die afwijken van het patroon vertoond door de meerderheid van de observaties. Bij de analyse van de data, kunnen deze uitschieters enorm doorwegen op de resultaten. Robuuste statistiek is de tak van de statistiek die zich met het effect van uitschieters bezighoudt. Het ontdekken van uitschieters is belangrijk in deze tak maar ook de analyse van deze uitschieters en het ontwikkelen van methodes die minder gevoelig zijn voor uitschieters. In deze masterproef houden we ons vooral bezig met de volgende vraag: wanneer een uitschieter ontdekt is in een dataset, hoe vinden we dan de variabelen die het meest bijdragen aan het afwijkend gedrag van de uitschieter? Om deze vraag te beantwoorden, bespreken we een methode die gebaseerd is op de richting waarin de afwijking van de uitschieter maximaal is. De variabelen die deze richting het meest bepalen, worden dan geselecteerd. Afhankelijk van of de dataset hoog-dimensionaal is, d.w.z. uit relatief veel variabelen en weinig observaties bestaat, of laag-dimensionaal, zullen er andere technieken nodig zijn. Deze masterproef bestaat enerzijds uit de nodige achtergrondkennis en de theoretische onderbouwing voor de methodes. Anderzijds bespreken we een hoop simulatievoorbeelden en twee echte datasets om onze methodes te testen in verschillende situaties. Het praktische nut van onze methodes ligt vooral bij datasets met een hoog aantal variabelen. Hier is het namelijk zeer lastig om uitschieters te bestuderen.

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

In this thesis we investigate a new regression method for modelling binary outcomes. Such methods are commonly used in various fields and provide data-driven insights in situations where the outcome of interest is a choice between two alternatives. Some of the potential questions that such models can answer are the following: “How likely is it that a customer will buy an offered product?”, “How likely is it that a customer will default on its mortgage payments?” , “How likely is it that a patient will experience complications following a certain medical procedure?”. To answer these questions, there is a need for data. Such recorded (historical) data contains several observations, each consisting of predictors and an outcome. The predictors can be all kinds of quantitative or qualitative data. For the example of the operation, the age, weight and known allergies and other risk factors can be examples. A very popular type of regression model for binary outcomes is the logistic regression model, since it has a strong statistical foundation in the Generalized Linear Model (GLM) framework and easy interpretation in terms of odds ratios. However, the fitting procedure of choice for logistic regression, Maximum Likelihood Estimation (MLE), is not very suitable for many modern real-life applications. In the age of big data, the abundance of data is both a blessing and a burden: a large array of potential predictors is often available, but many of these are likely to be uninformative. Even more extreme is the case with more potential predictors than observations (n < p problems), which makes them impossible to fit using maximum likelihood. Ideally, a sparse regression method should perform a selection of informative predictors in an automatic and statistically justified manner. Another issue is the unwanted effect that outliers have on the estimates of maximum likelihood. An outlier is a peculiar observation (an anomaly) that can completely change the resulting fitted regression, potentially removing any usefulness the model had for all other observations. Ideally, a robust regression method has an automatic way to detect and remove the effects of such outliers. A recent invention is the Elastic Net – Least Trimmed Squares estimator (ENet-LTS), a regression method that automatically performs the selection of useful predictors as well as the removal of outlying observations for logistic regression. Given the very recent invention of this method, this thesis investigated potential improvements. One of these is the use of information criteria as an alternative to the computationally heavy cross-validation procedure for the tuning of hyperparameters. These hyperparameters are parameters that need to be determined outside of the usual fitting procedure but are detrimental for the performance of the model. To calculate the information criteria, a new way of estimating the degrees was introduced. The performances of these criteria were compared in a simulation study. It was found that the use of information criteria is competitive compared to cross-validation and provided shorter computations times. Finally, an important aspect in this thesis is the inclusion of a thoroughly revised and updated version of the existing software implementation in the statistical software R. The new version contains the information criteria approach (with degrees of freedom calculation), improved reweighting step and several other improvements and bugfixes.

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

Statistiek is de methodiek van het verzamelen en bestuderen van gegevens. Een verzameling van gegevens, of een dataset, wordt doorgaans gepresenteerd in tabelvorm. Elke rij vertegenwoordigt een bepaalde observatie en elke kolom stelt een variabele voor. Zo kunnen bijvoorbeeld de resultaten van alle leerlingen uit een klas (observaties) voor de verschillende vakken (variabelen) een dataset vormen. Zoals vaak in de wetenschappen bestaat ook statistiek uit verschillende deeldomeinen. Robuuste statistiek bijvoorbeeld houdt zich bezig met het effect van sterk afwijkende observaties in een dataset. Deze observaties, uitschieters genoemd, wijken af van het patroon gevormd door de grote meerderheid van de observaties. Bij de analyse van data kunnen ze sterk doorwegen op de resultaten. Om die reden zijn robuuste methoden ontwikkeld, die zich weinig laten beïnvloeden door uitschieters. Dergelijke methoden zijn bovendien in staat om sterk afwijkende observaties op te sporen. Wanneer een uitschieter gedetecteerd wordt in een dataset, betekent dit niet noodzakelijk dat de observatie in alle variabelen afwijkend gedrag vertoont. Zo kan een leerling mogelijk als uitschieter worden beschouwd wegens zwakke resultaten op school, niettegenstaande enkel de scores voor Frans en wiskunde zeer laag zijn, en de overige scores rond de mediaan liggen. Hierbij aansluitend vestigen we in deze masterproef de aandacht voornamelijk op het volgende probleem: eenmaal een uitschieter gedetecteerd is in een dataset, hoe kunnen dan de variabelen die het meest bijdragen tot het afwijkend gedrag van de uitschieter, geïdentificeerd worden? Om op deze vraag een antwoord te bieden, kunnen we de richting bekijken waarin de afwijking van de uitschieter maximaal is. Deze richting wordt bepaald door nagenoeg alle variabelen, hoewel sommige meer van belang zijn dan andere. Zij die zwaar doorwegen in het bepalen van de richting, hebben een grote impact op het afwijkend gedrag van de uitschieter. In deze masterproef bespreken we twee algoritmes die gebaseerd zijn op een soortgelijke richting. Echter, die richting wordt niet meer vastgelegd door alle variabelen, maar door slechts een deel van hen. Deze groep variabelen wordt uiteindelijk geselecteerd als de groep die de grootste bijdrage levert aan het afwijkend gedrag van de uitschieter. Bovenstaand probleem is vooral een hele uitdaging wanneer we te maken hebben met hoogdimensionale data, oftewel data met een zeer groot aantal variabelen. In genetica bijvoorbeeld bevatten datasets doorgaans honderden of duizenden genen (variabelen). Het is perfect mogelijk dat een observatie slechts voor enkele van deze genen abnormale waarden vertoont.