Redenerende en patroonherkennende machines kunnen direct ingrijpen in de wereld of een duidelijk advies geven. Voorbeelden zijn autonome voertuigen en automatische diagnostische systemen. Op grond van databases of sensorinformatie nemen ze een beslissing, in de regel een keuze uit een beperkt aantal mogelijkheden. Met behulp van leerprocedures zijn de onderliggende algoritmes geoptimaliseerd. Hoe moeten we voorkomen dat ze in een nieuwe, tijdens het leren onvoorziene situatie een onzinnige beslissing nemen?
Om de performance van lerende machines te optimaliseren wordt de beschikbare informatie vaak gereduceerd tot alleen een beperkt aantal relevante kenmerken. Wat niet nodig is om te meten of berekenen wordt achterwege gelaten. Bovendien, als het irrelevant is voor de beslissing is het een bron van ruis.
Veel systemen komen altijd tot een resultaat. Er is altijd een beslissing. Hebben ze al de mogelijkheid om deze te verwerpen dan is dat vaak gebaseerd op het met onvoldoende zekerheid moeten kiezen tussen twee of meer alternatieven.
Wordt een herkennend systeem geconfronteerd met een geheel nieuwe situatie, bijvoorbeeld een autonome auto op een weg met een niet-standaard lay-out, of een abusievelijk verkeerd gekleurd preparaat voor een microscoop, dan zou dit geconstateerd moeten worden op basis van kenmerken die mogelijkerwijs niet in de leerverzameling voorkomen. Ze waren bijvoorbeeld in het geheel niet in aanmerking genomen, of ze waren niet onderscheidend voor de te nemen beslissing. De informatie dat de onderhevige situatie buiten de oorspronkelijke systeemopzet valt mankeert. Dit betekent dat het niet mogelijk is om met betrouwbaarheid het nemen van een beslissing te weigeren en het systeem uit te schakelen, pauzeren of een operateur te waarschuwen. Er wordt dan ten onrechte toch een beslissing genomen.
Iemand, een chauffeur, een analist die geconfronteerd wordt met een volledige nieuwe, onbekende situatie, zal reageren met: “daar ben ik niet voor opgeleid”, of “dit is Niet Mijn Probleem (NMP)” en zal teruggaan naar de bron, de opdrachtgever of de input van het systeem. Hoe kunnen we een op kunstmatige intelligentie gebaseerd systeem voorzien van een NMP alarm?
Uit het bovenstaande blijkt dat er invoergegevens nodig zijn die in eerste instantie ongebruikt zijn gebleven. Mogelijkerwijs zijn er zelfs gegevens nodig die geheel niet in aanmerking zijn genomen. Omdat het om in principe onbekende situaties gaat zijn er geen voorbeelden om van te leren. Het is daardoor in het geheel niet duidelijk wat voor kenmerken er nodig zijn. Alles zou relevant kunnen zijn.
We moeten uiteraard realistisch blijven, maar toch proberen te bedenken welke van de kenmerken die in eerste instantie verworpen zijn, toch relevant kunnen zijn om het NMP alarm te triggeren. Dit leidt tot twee belangrijke observaties:
- Het zogenaamd opschonen van de data, in veel projecten een belangrijke stap, verwijdert voor onze doelstelling relevante gegevens. Moet deze opschoningsstap niet opnieuw worden bezien? Zijn de situaties en gegevens die verwijderd dreigen te worden niet juist relevant voor NMP alarmering?
- Voor het leren van een NMP detector zijn er weinig, en na opschonen geen voorbeelden. Het is een zogenaamd One-Class-Classifier (OCC) probleem. Er zijn alleen of voornamelijk positieve voorbeelden. De dimensionaliteit, het aantal mogelijke kenmerken, kan echter zeer groot zijn. Is deze groter dan 15 à 20, dan is dat voor de traditionele OCCs in de praktijk onmogelijk om een zinnig resultaat te bereiken.
Aan deze beide observaties zijn enkele onderzoeksvragen gekoppeld. Wat zijn goede richtlijnen voor het opschonen? Moet de data niet in drieën worden gesplitst: echt irrelevant, relevant voor probleem-bescherming, relevant voor het beslissingssysteem? Hoe kunnen procedures voor OCC zo worden gemodificeerd dat ze toch bruikbaar zijn bij hoge dimensies en relatief weinig voorbeelden? Hoe kan de performance van zo’n systeem worden gemeten?
Hoewel de vragen fundamenteel zijn zou zo’n onderzoek toch tegelijk aan enkele toepassingen gekoppeld moeten worden, als toets en als bron voor inspiratie.
