Module: Advanced datamining

Cursusdoelen (leerdoelen)

• Het kunnen herkennen van toepassingen van neurale netwerken in het kader van classificatie en regressie
• Het begrijpen van de werking van een neuraal netwerk, waaronder vallen o.a. de begrippen (multi-layer) perceptron, cost-function en cross-entropy, (stochastic) gradient descent, back-propagation, soft-max, adaptive learning, verscheidene vormen van regularisatie en data-augmentatie
• Het kunnen implementeren en toepassen van een eigen basaal neuraal netwerk
• Het kunnen diagnostiseren en verhelpen van over- en underfitting
• Het kunnen onderscheiden van een aantal veelgebruikte netwerktopologieen, waaronder vallen deep neural networks, auto-encoders, recurrent neural networks, en convolutional neural networks

Inhoud

Veel biologische datasets zijn te onoverzichtelijk om in een oogopslag de biologische vraag erachter te kunnen oplossen. Door gebruik te maken van geautomatiseerde machine learning technieken kan in een grote, complexe dataset gezocht worden naar relevante patronen. Tijdens deze module wordt voortgebouwd op de inhoud van de module "Introductie datamining" en wordt dieper ingegaan op geavanceerdere datamining toepassingen, algoritmen en analyses. In het bijzonder wordt ingegaan op de werking van (Deep) Neural Networks, oftewel het Multi-Layer Perceptron. In de loop van deze module zal een neuraal netwerk vanaf de grond opgebouwd worden (in Python) door stapsgewijs een Perceptron uit te breiden met aanvullende features (activatiefuncties, cost-functies, gradient-descent, input-/hidden/output-layers, back-propagation, initialisatie, L1/L2-regularisatie, drop-out, data-augmentatie, batch/online-trainingsstrategieen). De toetsvorm bestaat uit het uitvoeren en inleveren van een programmeer-opdracht, gebruikmakend van het door jezelf geschreven neurale netwerk, die mondeling wordt nabesproken; hierbij zullen ook algemene theoretische vragen worden gesteld en besproken.

Literatuur en andere bronnen

Literatuur

• Witten, Frank, Hall & Pal. Data Mining - Practical Machine Learning Tools and Techniques (4th edition) ISBN 978-0-12-804291-5
• Goodfellow, Bengio & Courville - Deep Learning (1st edition) ISBN 978-0-26-203561-3 ("free" beschikbaar online: http://www.deeplearningbook.org/)

Web

• Blackboard course thema 11

Competenties

-

Werkvormen

• Werkcollege
• Hoorcollege

Ingangseisen

-

Ingangseisen toets

-

Voorkennis

• Knowledge and skills to program with python

Voorkennis kan worden opgedaan met

• previous informatics courses

Bronnen van zelfstudie

• Neural Networks and Deep Learning

Verplicht materiaal

-

Aanbevolen materiaal

-