
De fleste virksomheder stiller tre spørgsmål, inden de underskriver en softwarekontrakt: hvad kan det, hvad koster det, og hvornår kan vi gå i gang? For AI-systemer er det ikke nok. EU AI Act gør dig som deployer medansvarlig for, hvad systemet gør i din organisation, og det ansvar kan du ikke kontraktualisere dig ud af. Her er de fem spørgsmål du bør have svar på, inden du siger ja.
Leverandøren har pligt til at informere dig om systemets risikoklasse. Spørg direkte: er dette system klassificeret som høj-risiko under EU AI Act? Hvis leverandøren ikke kan svare, er det et rødt flag. Hvis svaret er nej, bør du selv vurdere det, fordi klassificeringen afhænger af, hvad systemet bruges til i din organisation, ikke kun hvad det teknisk set kan gøre. Et rekrutteringsmodul kan se uskadeligt ud hos leverandøren og stadig falde i høj-risiko kategorien, fordi du bruger det til at filtrere ansøgere.
AI-systemer bruger data til at producere output. Det er trivielt. Det, der ikke er trivielt, er at kortlægge hvilke data, fra hvilke systemer og med hvilken opdateringsfrekvens. Spørg leverandøren om en dataskitse. Hvad er inputtet? Trækker systemet på personoplysninger? Bruges data fra din organisation til at træne eller finjustere modellen? Sidstnævnte er vigtigt. Mange leverandører bruger kundedata til at forbedre deres modeller. Det kan være uproblematisk. Det kan også kræve eksplicit samtykke eller strider mod GDPR. Du skal vide det, inden du underskriver.
EU AI Act stiller krav om gennemsigtighed og menneskelig kontrol for højrisikosystemer. Men selv for systemer i lavere risikoklasser er det relevant spørgsmål: hvad sker der, når en medarbejder spørger systemet, hvorfor det anbefalede X frem for Y? Kan leverandøren give et svar på et niveau, som en ikke-teknisk person kan handle på? Systemer der er sorte bokse er svære at auditere, svære at forklare over for myndigheder og svære at stille til ansvar, hvis noget går galt.
Alle AI-systemer tager fejl. Spørgsmålet er ikke om, men hvornår og med hvilken konsekvens. Spørg leverandøren: hvad er systemets fejlrate under normale driftsforhold? Hvad er mekanismen for at opdage fejl? Hvem notificeres, og hvem har ansvaret for at rette op? For højrisikosystemer skal der være en formel procedure for menneskelig indgriben. Men princippet gælder bredere. Uden en klar fejlhåndteringsmodel vil den første alvorlige fejl afsløre, at ingen vidste hvem der ejede problemet.
EU AI Act er ikke et engangstjek. Kravene gælder løbende, og systemet ændrer sig, fordi leverandøren opdaterer det, fordi jeres brug af det udvikler sig, og fordi lovgivningen præciseres over tid. Afklar med leverandøren: hvad sker der, hvis opdateringer ændrer systemets risikoprofil? Hvem notificerer hvem? Hvilken dokumentation leverer leverandøren løbende? Og internt: hvem i din organisation ejer dette system og dets compliance-forpligtelser efter go-live? Det spørgsmål er overraskende sjældent afklaret, inden kontrakten underskrives.
Formålet er ikke at gøre AI-indkøb sværere. Formålet er at sikre, at du ved, hvad du køber, og hvad du tager ansvar for. De fem spørgsmål kan stilles på en time i et møde med leverandøren. Svarene giver dig grundlaget for at vurdere risikoen og tage en informeret beslutning. Hos We Lead Projects hjælper vi virksomheder med at gennemføre den vurdering, enten som en del af et AI Systems Audit eller som en dedikeret vendor due diligence-øvelse inden indkøb. Kontakt os, hvis du vil vide mere.

Brian P.N. Tofft
Managing Partner, We Lead Projects
Brian har mere end 30 års erfaring med projektledelse og IT-transformationer på tværs af brancher.
Kontakt os og hør hvordan vi kan hjælpe med dit næste projekt.
Kontakt os