Chatbots voor virtuele vriendschappen en therapie bij mentale problemen geven onbetrouwbare informatie en zijn soms schadelijk. Die conclusie trekt de Autoriteit Persoonsgegevens nadat ze negen populaire chatbotapps onder de loep had genomen.
De toezichthouder ziet dat veel van dit soort AI-chatbots niet in staat zijn om nuances in gesprekken te herkennen. Dat komt doordat onderliggende taalmodellen zijn getraind met de Engelse taal. Daardoor kunnen ze minder goed met Nederlands overweg.
“De AI-chatbots geven ongenuanceerde, ongepaste en soms zelfs schadelijke reacties op gebruikers die mentale problemen ter sprake brengen”, meldt de Autoriteit Persoonsgegevens (AP). Op momenten dat uit het gesprek blijkt dat de gebruiker kampt met een crisissituatie, verwijzen de chatbots niet of nauwelijks door naar professionele hulpinstanties.
Volgens AP-voorzitter Aleid Wolfsen moeten chatbots gebruikers daarnaast altijd duidelijk maken of zij met een mens of een machine in gesprek zijn. Dat gebeurt bij de onderzochte apps niet of nauwelijks.
“Mensen moeten weten waar ze aan toe zijn, daar hebben ze recht op”, zegt Wolfsen. “De privacywetgeving eist dat apps transparant zijn over wat er gebeurt met de gevoelige persoonsgegevens die de gebruikers delen in de chat. En straks verplicht ook de AI-wet dat chatbots transparant moeten zijn over dat gebruikers met AI te maken hebben.”
Laagdrempelig maar verslavend
De AP maakt niet bekend welke apps zijn onderzocht. Het gaat volgens de toezichthouder om negen van de populairste chatbots die in appwinkels als virtuele vriend, therapeut of lifecoach worden aangeboden. Voor mensen vormen dit soort apps een laagdrempelige manier om contact te maken of om over problemen te praten als professionele hulp niet beschikbaar is.
Mensen die met deze bots praten, komen in een realistische chatomgeving terecht. Ze kunnen soms zelfs bellen met een virtuele gesprekspartner. In de apps zijn vaak verslavende elementen gebouwd om mensen langer aan het chatten te houden. Zo stellen chatbots constant vragen terug en komen er bolletjes in beeld die aangeven dat de chatbot bezig is met antwoorden.
Sinds begin deze maand geldt een nieuwe AI-wet in Europa. Die verbiedt bepaalde manipulatieve en misleidende AI. Makers van chatbots moeten ervoor zorgen dat mensen geen schade wordt toegebracht. Het is nog niet bekend of de bevindingen van de AP tot maatregelen leiden.