Bij de vakgroep ISM worden al sinds een groot aantal jaren prototypen voor ICS ontworpen en getest om te onderzoeken of kunstmatig intelligente leermiddelen in staat zijn beoogde doelen te realiseren. Niet alleen zijn een groot aantal verschillende gewone simulaties ontwikkeld, maar ook is al een aantal malen geexperimenteerd met AI-technieken. Er zijn een aantal pilot-onderzoeken op het grensgebied van computersimulatie en knowledge engineering uitgevoerd [van Oenen, 1989; Botter, 1990]. Dit type onderzoek heeft veel interessante resultaten en een aantal redelijk goed functionerende prototypen, maar vooral bruikbare concepten opgeleverd [Min, 1992a; Min, 1993a, b, c]. Deze concepten (zoals ontwerpmethoden, vormen van instructie en de rol van feedback) willen wij hier graag verder uitbouwen. Aangaande deze zaken loopt er bij de vakgroep een onderzoek naar intelligente leer-, werk- en doe-omgevingen.
Dit onderzoek beoogt het in kaart brengen van kenmerken van (exploratieve) multimedia leerom- gevingen voor computersimulaties op basis van intelligente dynamische modellen. Het richt zich op het inventariseren van benodigde ontwerpregels en de ontwikkeling van een ontwerpmethode voor dit type leeromgevingen.
Het onderzoek was en is toepassingsgericht. Het wil AI-technieken toepassen op bestaande simulatiesystemen en wiskundige modellen, om bruikbaar te maken voor een aantal leer-, trainings- en opleidingssituaties.
Dit project wil voortbouwen op de idee'n en concepten van veel onderzoekers uit de wereld van de wiskundige modelvorming, zoals Ziegler, Elzas en Futo ("modelvormers"), en minder op de ideeen uit de cognitieve wetenschap en "intelligente tutor systemen" (ITS) [Elzas, …ren en Zeigler, 1986; Futo en Gergely, 1990].
Simulaties met "intelligente" feedback die ontstaan uit een combinatie van wiskundige modellen en kennistechnologie worden hier gedefinieerd als "intelligente computersimulatie", ICS of ICS-systemen. ICS en "intelligente feedback" dient niet verward te worden met ITS. De ICS component is een onlosmakelijk onderdeel van het model. Het maakt het model in al zijn reacties op wat een gebruiker er mee doet "intelligent". In ICS systemen kan bijvoorbeeld het verstoorde model "zelf" uitleg geven over wat zijn toestand is, en hoe het in die toestand gekomen. Bijvoorbeeld vanwege een bepaalde (verkeerde, goede of andere) interventie(s) van de lerende. Bij ITS is er sprake van en aparte (intelligente) tutor. Bij ICS is de instructie-component een apart probleem. Zie figuur 2 en 3. ICS bouwt voort op tradities uit de (wiskundige) modelvormingswereld, terwijl ITS voortbouwt op tradities uit de tutori'le courseware- en instructie-wereld [Elzas, …ren en Zeigler, 1986; Futo en Gergely, 1990, Kerckhoffs en Koppelaar, 1993].
Bij het STEAMER project van Hollan, Hutchins en Weitzman (1987) en het "crane boom problem" van Woolf (1987) werd duidelijk dat een van de problemen in hun leeromgevingen was het tot stand brengen van een goede koppeling tussen het dynamisch, wiskundig model en het expert system: de knowledge- en rule-base [Hollan, Hutchins en Weitzman, 1987; Woolf, 1987]. De mogelijkheden en de performance van de gemiddelde PC's is anno 1994 sterk verbeterd. Hollan, Hutchins en Weitzman (1987) maakten in hun artikel al wel melding dat "AI technology is ready for application to the design and implementation of computer-based instructional systems... by exploratory environments". Maar tot op heden (1994) was de performance van de PC te beperkt en zijn er weinig onderzoekers en ontwikkelaaars geweest die (vanwege responstijd-problemen) een onderwijskundig verantwoord prototype, laat staan een overdraagbaar concept of een ontwerpmethodiek voor "intelligente" computersimulatieprogramma's hebben gerealiseerd. 2)
De onderzoeksvragen die wij door middel van dit voorstel onder de loep willen nemen, zijn:
De subvragen die in dit kader zijn te stellen, zijn:
Het onderzoek zal (uiteindelijk) antwoord moeten geven op de hoofdvraag over hoe bij educatieve computersimulaties wiskundige modellen en op kennistechnologie gebaseerde principes, en AI-hulpmiddelen kunnen worden geïntegreerd, om dit type leeromgevingen bruikbaar te maken voor leer-, trainings- en opleidingssituaties.
Ook zal het onderzoek antwoord moeten geven op de vraag in hoeverre de beperkingen van wiskundige modellen kunnen worden opgeheven door een "redenerend systeem" dat zowel het gedrag van het model als dat van de gebruiker in de gaten houdt ("monitoren").
Toelichting:
De modelvormers, wiskundig onderlegde onderzoekers, zijn al jaren bezig met het opvangen van de beperkingen van wiskundige modellen (bijvoorbeeld dat alleen harde regels kunnen worden gemodeleerd) door verworvenheden uit de AI wereld en deze in de modellen zelf te integreren. Van deze inzichten --qua engineering en aanpak-- is mij niet bekend of zij algemeen toepasbaar zijn binnen de (educatieve) instrumentatietechnologie. Een probleem is duidelijk: het is tot op heden nog niet echt goed geslaagd om snelle on-line simulatiesystemen, laat staan leermiddelen (als boven gememoreerd) te ontwikkelen. Men signaleert in de literatuur (en elders) alleen maar stagnatie en problemen [Kerckhoffs en Koppelaar, 1993].
Er wordt in de literatuur weinig melding gemaakt van geslaagde, goede koppeling tussen wiskundige modellen en kennisbestanden ("rule-based", en met name wat betreft het doorrekenen van de gehele rule-base tijdens iedere tijdstap van het wiskundig model). Vrij recent maakte de Universiteit Eindhoven, in samenwerking met het RIKS, melding van een geslaagd experiment (Blom, 1990). Het betrof een real time experiment met een expert systeem bij "patient monitoring" (het SIMPLEXYS project). Contacten met de betreffende onderzoekers zijn reeds gelegd. Mogelijk is hun methodiek geschikt voor dit onderzoek.
De aanvragers willen bovengenoemde inzichten en (AI) concepten onderzoeken en deze toegankelijk maken voor toepassing in educatieve leeromgevingen voor simulaties. De koppeling tussen wiskundige modellen en kennisbestanden is met name een probleem i.v.m. de responstijden en daarmee rechtstreeks samenhangende terugkoppel problemen bij op gang gebrachte leerprocessen. Voor interactieve leeromgevingen is een goede performance (evenredig met de responstijd) en een snelle feedback op leerling zijn handelwijze een absolute voorwaarde. De snelheid waarmee de leerling feedback op zijn handelingen krijgt, in de te realiseren en te onderzoeken leeromgevingen moet het leerproces niet verstoren of frustreren. Motivatie voor verdere studie (als doel bij dit type leermiddelen) staat nu eenmaal voorop. 3) On-line, interactieve simulatieprogrammatuur moet snel en adequaat reageren op interventies van de lerenden. Een dergelijke, randvoorwaardelijke, eis is bij het inbouwen van knowledge-bases in de relevante, huidige (grote) simulaties geen sinecure.
Bij het didactisch gebruik van simulaties op basis van wiskundige modellen zijn er twee (technische) problemen die ook in grote lijnen hiervoor aangestipt zijn en waarvoor in de simulatie ge•ntegreerde expertsystemen of kennisbestanden een oplossing zouden kunnen bieden:
Voor zover er voor de benodigde interpretatie expertkennis aanwezig is, zou het aan de simulatie koppelen van een expertsysteem uitkomst kunnen bieden voor enerzijds het bijsturen van de simulatie op grond van uit de systeemtoestand te beredeneren conclusies en anderzijds het genereren van voor de gebruiker (leerling) relevante boodschappen ("model-driven" of "knowledge-base-driven" messages) [Min et al, 1992a]. Mondelinge of schriftelijke instructie is essentieel om "het leren opgang te brengen". Daarna kan allerlei "output" uit de open leeromgeving (bijv. "intelligente messages") het leerproces op gang houden. (Zie figuur 2.) [Min, 1992a].
Het oplossen van het eerste probleem (a) (dat ook voorkomt bij de nog steeds niet goed, snel en bevredigend werkende intelligente tutorsystemen (ITS) is echter een belangrijke voorwaarde voor het aanpakken van het tweede probleem (b) (dat vooral onderwijskundig van aard is).
Er moet worden benadrukt dat het onderzoek naar de inzetbaarheid van expertsystemen en kennisbestanden in het algemeen wordt gemotiveerd door het feit dat er bij veel simulaties zoveel combinaties van factoren kunnen optreden dat het ondoenlijk is om voor elke situatie een "vast bedrade" systeemreactie in te bouwen, terwijl een adequaat redenerend systeem voor elke situatie de benodigde reactie zou kunnen genereren. Het onderzoek richt zich dan ook op het ontwikkelen van methoden en technieken waarmee expertsystemen in een simulatie-omgeving zodanig kunnen worden geintegreerd dat in eerste instantie het eerste (a) en later ook het tweede probleem (b) (in elk geval voor een deel) kunnen worden opgelost.
Een niet onbelangrijke component die de AIO in samenwerking met anderen zal moeten overwinnen, is de technische complicatie ten onrechte in ICS-systemen voor elke opeenvolgende systeemtoestand telkens en de volgende toestand van het wiskundig model van de beschouwde simulatie moet worden uitgerekend en de gevolgtrekking moet worden bepaald die het aangekoppelde expertsysteem (rule base) daaruit trekt. Om de simulaties voldoende vlot te laten verlopen zet dit de rekenmogelijkheden van het gebruikte computersysteem danig onder druk. Het ontwikkelen van een tijdsefficiënte technologie voor het realiseren van ICS-systemen is daardoor noodzakelijkerwijze onderdeel van het onderzoek. In eerste instantie gaat het om de principes daarvoor. Om het onderzoek uitvoerbaar te maken, zal in het begin worden gewerkt met goed bekende, relatief eenvoudige simulatiemodellen. Afhankelijk van het verloop van het onderzoek zal worden geprobeerd te komen tot een zo geavanceerde mogelijke architectuur voor de implementatie van ICS-systemen. Welke doelen daarbij realistisch zijn, zal in de loop van het project verder worden bepaald.
Het gebruik van leeromgevingen voor simulaties als leermiddel om (voor de leerling wellicht saaie) leerstof eens op een dynamische manier onder de loep te nemen kan sterk motiverend blijken; voor zowel een leerling van de basisschool, als voor een cursist bij een bedrijfstraining, en alle doelgroepen daar tussen in. Leermiddelen voor simulatie dienen na afloop iemand te hebben geinspireerd tot verdere studie over het onderwerp. Stimuleren en motiveren gaat alleen maar goed als de dimensionering van de simulatie in orde is en er zinnige instructie (soorten opdrachten, diverse casussen, etc.) aanwezig is. De docent dacht in vroegere dagen veelal in termen van "vrij ontdekkend leren" en dat bijgeleverde papieren instructies niet zo belangrijk waren. Ze werden door de lerende ook vaak als storend ervaren. Veelal werd het bijgeleverde boekje en/of de werkbladen niet gebruikt. Electronische instructie, en zeker de pogingen om intelligente feedback te genereren, hadden aanvankelijk ook zo hun gebreken c.q. beperkingen. Dergelijke leermiddelen verdwenen dan, door sub-optimaal gebruik, in de kast. Electronische instructies kunnen naar onze mening, mits goed gedimensioneerd, dus rekening houdend met de bovenbesproken principes van parallellisme en feedback, een positieve verandering bewerkstelligen in dat soort situaties.
Onderzoek naar het inzetten van kennistechnologie bij de realisatie van effectieve leeromgevingen voor simulaties is juist nu de tools eindelijk snel en effectief genoeg zijn op vele plaatsen, en met name in het bedrijfsleven zeer aan de orde. De door ons te onderzoeken en te ontwikkelen ontwerptechnieken, ontwerpmethoden en richtlijnen voor het ontwerpen van dit type simulatie zullen naar onze verwachting kunnen worden toegepast in een groot aantal computersimulaties ten behoeve van bedrijven en instellingen zowel bij loklaal gebruik (op CD.ROM of CD-I) als bij gebruik op afstand (bij distance learning situaties).
Het project past in het VFO-thema van de vakgroep en sluit aan bij de projecten binnen het project "leeromgevingen voor computersimulatie". In globale zin betreft de opbrengst meer theorievorming over de keuze, het ontwerp, de ontwikkeling, het gebruik en de evaluatie van de verschillende presentatie- en interactievormen bij het instrumenteren, in het bijzonder bij gebruik van leeromgevingen voor computersimulatie. In specifieke zin dient dit project ook bij te dragen aan het versterken van de te hanteren technologie en de werkwijze waarmee dit type instrumentatie in het onderwijs moet worden vormgegeven. [Elzas et al, 1986; Gerrits, 1985; ter Hedde, 1989; Min, 1987, 1989a, b, c en 1993a, b, c; Moonen, 1991]
Simulaties worden gebruikt om twee soorten domeinen te leren begrijpen: conceptuele domeinen en operationele domeinen (zie van Berkum & de Jong, 1991). Bij conceptuele domeinen is geen inherente taak aanwezig, bij operationele domeinen (bijv. medische diagnose, "flight simulators") daarentegen wel. Het operationele karakter (een sequentie van stappen) wordt in de praktijk uitgevoerd in relatie met een conceptueel model dat onderwerp is van de operationele handelingen. Bij een medische diagnose is dit (een model van) het menselijk lichaam. In het onderhavige project ligt de nadruk op operationele domeinen. Traditioneel worden die domeinen op twee verschillende manieren aangepakt:
Het vernieuwende karakter van het voorgestelde project schuilt in het combineren van beide vormen van representatie (mathematische modellen en rule-based systemen) zodat zowel de conceptuele en operationele kant van een domein in de computer vertegenwoordigd zijn.
Het plan van aanpak kent de volgende belangrijke componenten:
1. Voortbouwen op bestaande expertise. De onderzoeker kan ruim gebruik maken van prototypen en pre-prototypen zoals die door de projectleider van dit project en de vakgroep ISM zijn uitgebracht op CD.ROM [4]. In augustus 1993 is er bij de Universiteit Twente onder de titel "Simulaties: experimentele producten voor simulatie en parallelle instructie" een CD.ROM uitgebracht met 11 engelstalige en een groot aantal andere, Nederlandstalige computersimulatie-programma's. Daarnaast staan er zeer veel anders-soortige producten (graphics, animaties, video-fragmenten, muziek, geluiden, stacks, teksten, etc.) op. De meeste producten zijn gebruikt voor onderzoek naar instrumentatietechnologische ontwerpvariabelen. Er is op deze CD.ROM alleen al om die reden een grote verscheidenheid aan soorten programma's terecht gekomen. De onderzoeker kan van al deze gegevens en prototypen gebruik maken. De simulatieprogramma's zijn gebouwd rondom modellen van Amerikaanse, Japanse, Russische, Duitse en Nederlandse oorsprong. De programma's behandelen uiteenlopende onderwerpen zoals fabrieksprocessen, processen in het menselijk lichaam, biologische systemen, de nederlandse economie, populatie dynamica en de ecologie. De simulatieprogramma's zijn allemaal verschillend van opzet. Er zijn simulatie-omgevingen met een eenvoudige instructie methode en met uitgebreide instructie. Er zijn simulaties die nu al reeds een bepaalde mate van "intelligente" feedback (teksten, zowel als video fragmenten) genereren. Ook zijn er simulatieprogramma's die uitsluitend de animatieweergavevorm mee hebben gekregen. De onderzoeker kan van alle prototypes gebruik maken.
2. Technische problemen oplossen. Een belangrijke component van het onderzoek is het overwinnen van bepaalde, te verwachten technische complicaties bij de nieuwe prototypen. De AIO zal daarom al in een vroegtijdig stadium, door het selecteren van de juiste Prolog- en Pascal-versies en door het maken van pre-prototypes hierover uitsluitsel moeten zien te verkrijgen.
3. Prototypen. Afhankelijk van het verloop van de analyse van problemen die zijn gesignaleerd bij
de bouw van het pre-prototypen, en de resultaten die uit de eerste experimenten zijn gekomen, en afhankelijk van inzichten verkregen uit de literatuur, en uit gesprekken met deskundigen, zal een zo geavanceerd mogelijk ontwerp voor een ICS toepassing en/of systeem worden gemaakt. De adviesgroep zal adviseren wanneer een succesvolle formule is gevonden en zo ja welke formule zal worden toegepast.
4. Concepten. Er zal moeten worden gedacht aan een gefaseerde opbouw van de functionaliteit, d.w.z. stap voor stap het prototype uitwerken; technische architectuur opbouwen en implementatiewerk zelf ter hand nemen; rekening houdend met minimale hulp van derden.
5. Literatuur. Literatuuronderzoek (onderwijskundig, instrumentatietechnologisch, zowel als over puur technische zaken) is in alle fases noodzakelijk.
6. Netwerken. Het opzetten van een netwerk van specialisten en onderzoekers die ook op dit terrein bezig zijn is essentieel.
7. Empirisch onderzoek. Het project wordt afgesloten met een empirisch onderzoek waarin wordt nagegaan of a) de door een ICS gegenereerde uitleg effecten heeft op de door de studenten verworven kennis en b) deze uitleg beter voor of tijdens (parallel aan) de interactie met het mathematisch model kan worden aangeboden. Hiertoe worden vier experimentele groepen gevormd waarbij:
- Proefpersonen uit Groep 1 alleen interacteren met het conceptuele simulatiemodel;
- Proefpersonen uit Groep 2 naast het conceptuele model feedback vanuit het operationele model krijgen;
- Proefpersonen uit Groep 3 uitgebreide uitleg krijgen voor interactie met het conceptuele model;
- Proefpersonen uit Groep 4 uitgebreide uitleg krijgen na interactie met het conceptuele model.
Deze groep 4 is een controle groep die evenveel informatie krijgt als de groepen 2 en 3, maar waarbij de uitleg geen invloed kan hebben op de interactie met het model. Gestreefd wordt naar 20 proefpersonen in elke experimentele groep, waarbij een matching op voorkennis plaats zal vinden. De totale interactietijd is vrij boven een vastgesteld minimum. Interactietijd zal worden vastgelegd en zonodig als covariaat worden meegenomen. De kennis van de verschillende groepen zal getoetst worden met een batterij van testen voor conceptuele en operationele kennis. Hierbij wordt aangesloten op ontwikkelingen in het SMISLE project waar zo'n batterij in ontwikkeling is (de Jong et al., 1994).
VOETNOTEN:
voetnoot 2) Recent is door TO-lab medewerkers en een student-assistent een eerste succesvol experiment gedaan met een soortgelijke koppeling als in STEAMER, tussen een bestaand wiskundig model en een toegevoegd kennisbestand. Het experiment (met CASCADE, versie MacTHESIS4.5) met 40 "rules" gaf voldoende aanleiding om te kunnen stellen dat kennistechnologie een extra functionaliteit geeft aan simulatie-programma's.
Voetnoot 3) Leermiddelen dienen op de eerste plaats te motiveren: te motiveren tot verdere studie. Op de tweede plaats komt pas het leren. (Stelling R. Min, 1982). Om deze reden is een onderscheid tussen "leermiddelen" (two way) en "instructiemiddelen" (die vaak "one-way"-achtig zijn) nuttig.
voetnoot 4) Een "prototype" is in hier een product/programma gemaakt door een (professionele) programmeur van een universiteit; een "pre-prototype" is hier een pilot-product of -programma gemaakt door de onderzoeker/ wetenschapper zelf.
van Berkum, J.J.A., & de Jong, T. (1991). Instructional environments for simulations. Education & Computing, 6, 305-358.
Jong, T. de (Editor) (1991) Computer simulations in an instructional context; Special issue; Educ. & Comp., vol 6, nos. 3,4.
Jong, T. de, (1992) Description of cognitive model, instructional support, learner model,
and learner interface libraries. SMISLE Rapport (vertrouwelijk), University of Twente.
de Jong, T., van Joolingen, W.R., Swaak, J., Brough, J., Scott, D., Valent, R., H„rtel, H., & Martin, E. (1994). The evaluation of SMISLE applications. EG project SMISLE, deliverable D18. Enschede: University of Twente.
Kommers, P, (1991) Hypertext and the aquisistion of knowledge: design and evaluation of
two user interfaces for the exploration of concept related text in educational settings. PhD
thesis, University of Twente, Enschede.
Min, F.B.M., (1985) Een expertsysteem gebaseerd op kansberekening; een poging tot ontmythologisering; een "didactisch voorbeeld". Computers op school, jaarg. 3, no. 2, 12-19.
Min, F.B.M., (1987) Computersimlatie als leermiddel; een inleiding in methoden en technieken. Academic Services B.V., Schoonhoven, ISBN 90 6233 282 X.
Min, F.B.M., (1989a) De rol van Object-georienteerde talen voor Computersimulatie; Inventarisatie van ervaringen met talen als SmallTalk en Prolog om Intelligente Computersimulatieprogramma's te kunnen ontwikkelen; Rapport Studiereis USA, maart 1988, Interne publicatie ISM (89.21), Universiteit Twente.
Min, F.B.M., (1989b) Ontwerpen op de Macintosh II; Een flexibele, overdraagbare algemene ontwerpomgeving voor het maken van nieuwe soorten geintegreerde leermidellen met Macitosh computers gebaseerd op HyperCard en gebruik gemaakt wordt van procedure-bibliotheken (CAILIB en SIMLIB) en MacTHESIS. Interne publicatie ISM (89.41), Universiteit Twente.
Min, F.B.M., (1989c) Computersimulatieprogramma's gemaakt met MacTHESIS en HyperCard; School en Computer, 9e jaargang, no. 2 (11-14)
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1991)
Computer simulation with HyperMedia for training operators in chemical industry. 4th international conference "Computer and Video in corporate training, ADCIS / Istituto Dalle Molle di Methodology Interdisiplinari (IDMI) Technoloy Transfer, CBT-developers workshop, nov. 19th 1990, Lugano. (T. Bernold and J.H. Finkelstein, eds)
Min, F.B.M., (1992a) Parallel Instruction: a theory for educational computer simulation; Interactive Learning International, Vol.8, no.3 (1992) 177-183.
Min, F.B.M., (1992b) Pilot-onderzoek naar leermodellenbij computersimulatie aan de hand van observaties van leergedrag. In: Gezond Onderwijs; C.P.M. van der Vleuten, A.J.J.A. Scherpbier, M.C. Pollemans (Eds), Uitgeverij Bohn Stafleu Van Loghum, Houten/Zaventem. (1992) p.130-137.
Min, F.B.M., (1993a) The heart as pump: the computer simulation program CARDIO. In: Modelling and simulation in physiology and biomedical enineering on a PC; Springer Verlag New York / Berlin ; Editors: D. Mšller and R. van Wijk van Brievingh. ISBN 0-387-97650-7
(boek) / ISBN 3-540-97650-7 (floppy's)
Min, F.B.M., (1993b) Fluid volumes: the computer simulation program FLUIDS. In: Modelling and simulation in physiology and biomedical enineering on a PC; Springer Verlag New York / Berlin; Editors: D. Mšller and R. van Wijk van Brievingh. ISBN 0-387-97650-7
(boek) / ISBN 3-540-97650-7 (floppy's)
Min, F.B.M.; (1993c) Educational Simulation Technology; Systems, programs and models. (Final editing: G. Kearsley) (op CD-ROM uitgebracht; in eigen
beheer, Universiteit Twente, TO / ISM)
Min, F.B.M., P.G. van Schaick Zillesen, B. Reimerink, M.R. Gmelich Meijling (1992)
MacTHESIS, an universal design system for building Computer simulation modules for education and training. In: Modellbildungssysteme - Konzepte und Realisierungen; conference about CBT on Univ. of Tubingen, nov. 1990; COMET Verlag fur Unterrichtssoftware, Duisburg (J. Wedekind and W. Walser, eds) ISBN 3-89418-709-9.
Moonen, J., (1990) Computers veranderen de wereld, doch veranderen ze ook het onderwijs? Inaugurele rede, Universiteit Twente Enschede, (jan. 1990)
Moonen, J. (1991) Toegepaste onderwijskundigen; Architecten of ingenieurs? In: Dijkstra S.,
H.P.M. Krammer & J.M. Pieters (Red.) (1991) De onderwijskundige ontwerper; Liber amicorum prof. E. Warries. Swets & Zeitlinger b.v., Amsterdam.
Moonen, J., and J. Schoenmaker; (1992) Evolution of courseware development methodology:
recent issues. In: Plomp, Tj. & J. Moonen (Eds), Implementation of computers in education.
Intern. J. of Educ. Res. , Vol. 17, no. 1, 109-121.
Schaick Zillesen, P.G. van, F.B.M. Min, M.R. Gmelich Meijling and B.Reimerink, (in druk)
Computer support of operator training: constructing and testing a prototype af a CAL supported simulation environment. Paper for the 2nd International Conference Corporate Training for effective Performance, COTEP II, 25-27 septemer 1991, Enschede;
Schaick Zillesen, P. van, and F.B.M. Min, (1988) A design system for educational computer simulation programs for computers used in secondary education in the Netherlands. (First printed in: Computers in Education; (editors: Lovis and Tagg)); second in: European Conference on Computers in Education (Laussanne 1988): de nederlandse
papers; PSOI reeks, nr. 49, Den Haag (1988)
Winkels, R. (1992) Explorations in intelligent tutoring and help. PhD-thesis, University of
Amsterdam, IOS Press, Amsterdam, Washington. In serie: Frontiers in artificial intelligence
and applications. ISSN 0922-6389.
Botter, B., (1990) Objectgeorienteerd programmeren en simuleren; een ontwerp (in Smaltalk) voor het computergestuurd ontwikkelen van simulaties. Afstudeerverslag Universiteit Twente, Enschede.
Elzas, M.S., T.I. …ren, B.P. Zeigler, (Editors) (1986) Modelling and Simulation Methodology in the Artificial Intelligence Era; Elsevier Science Publ. Amsterdam. ISBN 0-444-70130-3.
Futo, I., and T. Gergely, (1990) Artificial Intelligence in Simulation; Ellis Horwood Limited, New York.
Gerrits, D., (1985) Wiskundige modellen en computersimulatie; Pilotstudie naar geschikte modellen voor computersimulatieprogramma's in regulier onderwijs en in bedrijfsopleidingen; SVO publicatie, Universiteit Twente, Enschede.
Hedde, R. ter, (1989) De ontwikkeling van een interactief computersimulatieprogramma voor training bij de besturing van de Nederlandse sateliet ISO; INSAN: interactive satallite animation. Afstudeerverslag, Universiteit Twente, Enschede.
Hollan, J.D., E.L. Hutchins en L.M. Weitzman (1987) In: Kearsley, G., (Editor) Artificial Intelligence & Instruction; Applications and Methods. Addison-Wesley Publ. Comp., Reading, Massachusetts. (1987) page 126-127.
Kerckhoffs, E.J.H. and H. Koppelaar, (1993) Artificial Intelligence and Simulation; an introductory review. In: D. Mšller and R. van Wijk van Brievingh (Eds). Modelling and simulation in physiology and biomedical enineering on a PC; Springer Verlag New York / Berlin.
Koopal, W., (1993) Ontwerp, ontwikkeling en evaluatie van leeromgevingen voor simulatie;
een onderzoek naar de empirische waarde van parallelle instructie. Docteraalverslag
Universiteit Twente, Enschede.
Oenen, E-J. van, (1989) MacCOAT: een Computer Ondersteund Anamnese Trainingsprogramma in LPA MacPROLOG op de Macintosh II computer. Afstudeerverslag Universiteit Twente, Enschede.
Schaick Zillesen, P. van, (1990) Methods and techniques for the design of educational computer simulation programs and their validation by means of emperical research. Academisch proefschrift, Universiteit Twente, Enschede.
TNO Defence Research (1992) Annal Review 1992, TNO Netherlands Organization for Applied Scientific Research / TNO Defence Research / TNO Inst. for Human Factors.
Woolf, B.P. (1987) Theoretical frontiers in building a machine tutor. In: Artificial Intelligence & Instruction; Applications and Methods. Kearsley, G., (Editor) Addison-Wesley Publ. Comp., Reading, Massachusetts (1987).
Zwart, W.J. en F.B.M. Min, (1993) Information needs of students learning in computer simulation environments; Draft paper for the symposium Exploratory Learning with Computer Based Simulations at the 5 th EARLI conference, aug. 31 - sept-5 1993.
Enschede, gerestaureerd 2020