Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

This report describes what we have been working on during our internship at Reimagine. As our main project we tried to develop a model that automatically classifies a company into its subset of the domain of Artificial Intelligence (AI). Since labelled data was not accessible and labelling requires quite some time and effort, we decided to perform unsupervised topic modelling. Two techniques are compared: Latent Dirichlet Allocation and Non-Negative Matrix Factorisation. To obtain a training corpus we scraped the content of 151 Belgian AI companies and applied extensive data cleaning on it. The latter step mainly consisted of filtering out irrelevant words by removing stop words and named entities and reducing the vocabulary size with some common data preprocessing techniques. In order to train the models, we used the popular topic modelling library Gensim and we fine tuned the models' parameters based on an objective coherence score. After training, we used the same coherence score to compare both models, but we also created a subjective gold standard in order to compare it to human made clusters. Some interesting and surprising results came up, since the output resulted not to be in line with what we, as humans, expect from AI clusters. This, however, means there is little benefit in applying it commercially. Because of this, we started some experiments with semi-supervised topic modelling as well. Apart from this, we both have been working briefly on an ongoing project at Reimagine. Wai's work was about information extraction from invoices, while Ferre's work was about the improvement of a chatbot.

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

De Faculteit Ingenieurswetenschappen van de KU Leuven voorziet in een inleidende cursus wiskunde onder vorm van een MOOC voor eerstejaarsstudenten. Het doel van de MOOC van de KU Leuven is om studenten met verschillende onderwijsachtergronden voor te bereiden op een succesvol bachelor waar wiskunde een onderdeel van vormt. Als gevolg hiervan is het moeilijk om een MOOC te ontwikkelen dat voldoet aan de behoeften van elke student en tegelijkertijd aan de verwachtingen van docenten. Om het bovengenoemde probleem aan te pakken, overwegen we een individueel curriculum te presenteren op basis van de voorgeschiedenis van studenten en de verwachtingen van docenten. Het doel van dit proefschrift is om inzicht te krijgen in hoe we een gepersonaliseerde leertraject kunnen doen en hoe we de beheersingsniveaus van studenten in het domein van de aangeboden wiskundecursus kunnen achterhalen. De laatste jaren is er een stijgende trend in het gebruik van kunstmatige intelligentie en kunstmatige neurale netwerken om dit gepersonaliseerde leertraject efficienter te maken. Het DKT model draagt de voorkeur omdat het niet afhankelijk is van expliciete annotaties van experts en complexe vaardigheidsrelaties kunnen verkrijgen. Bovendien kunnen we het volgende antwoord van de student voorspellen. Als de student bijvoorbeeld net de 5e vraag heeft beantwoord, kan DKT het 6e antwoord van de studenten voorspellen op basis van zijn vijf antwoorden. We verwijzen naar twee verschillende datasets in de modelimplementatie. De eerste is ASSISTments skill builder als benchmark dataset, en de tweede is de KU Leuven MOOC.MOOC-modellen geven bevredigende AUC (Area Under Curve)-resultaten van ongeveer 83%. Het meest aantrekkelijk voordeel van het DKT-model is de mogelijkheid om vaardigheidsrelaties te kunnen extraheren tussen concepten zonder tussenkomst van menselijke experts. We eindigen met zinvolle clustering en relaties in MOOC-14 en ASSISTment2009 datasets. Een ander experiment dat we uitvoerden, is het vinden van een juiste aantal vragen bij een pre-beoordeling bij het aanvang van MOOC om het initie ̈le beheersingsniveau van studenten te detecteren. Op basis van de verkregen grafiek besluiten we dat ongeveer 25 of 30 vragen voldoende zijn om het initie ̈lebeheersingsniveau van de studenten voor deze cursus te bepalen. Vervolgens geeft ons model aan in welke van de 14 concepten de studenten kunnen slagen of falen, zal het de resultaten presenteren in het uitslag rapport en de student adviseren om vanaf de drie meest onvoldoende scorende testen verder te trainen. Samenvattend presenteert dit proefschrift het DKT- model voor het monitoren en begeleiden van de voortgang van studenten in het MOOC-platform van de KU Leuven en het bepalen van het vereiste aantal vragen in een pre-assessmentstap. Het model kan kennisconcept afhankelijkheden leren en kan juiste relaties opbouwen tussen kennisconcepten. Deze kennisconcept verbindingen kunnen worden gebruikt als richtlijn voor het detecteren van de vereiste relaties die nodig zijn om studenten aanbevelingen te geven om hun leercurve te verbeteren. De experimenten suggereren ook dat het toevoegen van een pre-beoordelingsstap aan ons online leerplatform de betrouwbaarheid van individuele aanbevelingen zal vergroten. We concluderen dat: het DKT-model geschikt is voor online leerplatforms die gericht zijn op studenten met verschil- lende onderwijsachtergronden en die hen uiteindelijk vergelijkbare kennisstaten moeten bieden.