Van AI chatbots met foute antwoorden naar gevaarlijke manuals

Het EBU onderzoek dat aantoont dat chatbots in 45% van de gevallen foute antwoorden geven bevestigt de kritiek op deze AI toepassing. De ophef blijft echter gering en dat terwijl de impact van verkeerde, foute en zelfs misleidende antwoorden zeer groot kan zijn. EBU, dat is het Europa brede samenwerkingsverband van publieke omroepen, heeft in 18 landen en 14 talen aan de bekende AI engines 3.000 vragen gesteld. Zoiets gaat best snel, in het controleren van de antwoorden gaat de meeste tijd zitten. Volgens de NOS gaat er in 45% van de gevallen iets fout met het antwoord. Een op de drie antwoorden is serieus fout onder ander door het gebruik van evident misleidende bronnen. Een op de vijf antwoorden noemt verouderde informatie.

Verkeerde afslag

De kwaliteit van AI output is dus zeer bedenkelijk. Wie daar op vertrouwt om nieuws te volgen en te begrijpen neemt een verkeerde afslag. Zoveel is wel duidelijk, maar wat is de link met het IT kanaal. IT bedrijven maken niet alleen steeds meer gebruik van AI tooling voor de eigen processen, ze leveren het ook door aan klanten. Vertrouwen op de kwaliteit van de output is, afgaand op dit zeer omvangrijke onderzoek van EBU, zeer onverstandig. Of het nu om coding gaat of om support, de output van AI moet altijd gecontroleerd worden. Zo niet dat is het niet de vraag of, maar wanneer, dit de bocht uitvliegt met schade en schadeclaims als gevolg.

Manuals door AI

ITchannelPRO heeft inmiddels de nodige ervaring met het uitpluizen van communicatie van, of ondersteund door, AI. Zonder namen te noemen, we zien het daar met enige regelmaat behoorlijk fout gaan. Flyers over nieuwe producten met woorden die echt verkeerd zijn is nog tot daar aan toe. Als je vervolgens dat zelfde AI-gebrabbel terugziet in manuals dan is het ernstig. De obligate disclaimer in elke manual waarmee aansprakelijkheid en verantwoordelijkheid worden afgewezen is waarschijnlijk niet het product van een AI toepassing, maar ook dat zal weinig uitmaken.