Så här blir AI-användning etisk

Datainspektionen utreder användning av ansiktsigenkänning i skolan efter att en AI-lösning testats i Skellefteå. Viktig utredning, säger Ali Leylani som är AI-expert hos ledande it-aktören Atea, och uppmanar till etiska diskussioner utöver de juridiska.

AI-användning kommer potentiellt att kunna råda bot på många tidstjuvar inom skolan och dessutom finns stora möjligheter att utveckla lärandeprocessen för eleverna med hjälp av AI. Men precis som att den juridiska aspekten i form av GDPR inte får försummas behöver den etiska aspekten lyftas.

- AI-system designas i grunden av människor vilket innebär att subjektivitet och personliga värderingar riskerar att framhävas och förstärkas i de skapade algoritmerna. För att utveckla etisk AI som motverkar diskriminering och ojämlikhet måste eventuell partiskhet i algoritmer alltid granskas noga och uteslutas, förklarar Ali Leylani.

Ett aktuellt exempel är ett amerikanskt företag som upptäckte att deras AI-baserade rekryteringssystem uppvisade sexistiska tendenser när det sållade bland sökandes CV. Orsaken? Troligen träningsdata som härstammade från en tid där yrkena varit mansdominerade. Sådana fallgropar måste utvecklare hitta och idag är algoritmerna så pass avancerade att det krävs hög expertis för att förstå de bakomliggande mekanismerna. Inom skolan kan det handla om att upptäcka särskiljande behandling av etniska grupper eller kön.

- I skolan blir det jätteviktigt att algoritmerna som används har tränats till att fungera lika bra på all demografi, och inte diskriminerar vissa etniska bakgrunder eller kön. Det är också viktigt att den AI som används känns naturlig och inte upplevs som övervakande, säger Ali.

Att undvika känslan av övervakning bland elever är centralt för Atea vid AI-utveckling åt skolvärlden. Med den snabba utvecklingen och antalet uppkopplade enheter skulle det redan vara möjligt att följa elevernas rörelsemönster och samtalsämnen i syfte att exempelvis förhindra mobbning, men här sätts den personliga integriteten alltid främst. Sådan data samlas alltså inte in. Utöver att välja bort insamling av viss data ser man till att lagra elevernas data hos den enskilde skolan och inte via en molnserver. På så sätt får skolan full kontroll av den känsliga biometriska datan, och utomstående förhindras åtkomst.
 

Expertens checklista för etisk AI i skolan 

1. Var transparent och tydlig med de berörda om vilken data som samlas in. Förklara vad den ska användas till och på vilket sätt.
2. Säkerställ en säker hantering av all data och tänk på hur och var den lagras.
3. AI som medverkar i beslutsprocesser ska inte agera baserat på subjektiva slutsatser, t ex ogrundade uppfattningar om hur man ska tolka elevers känslotillstånd och posering i klassrummen.
4. Träningsdatan som formar algoritmerna till AI-lösningen måste vara inkluderande och balanserad. På så sätt säkerställer man en rättvis metod som motverkar diskriminering och värnar om de mänskliga rättigheterna.

Kontakt:
Therese Bengtner, PR-ansvarig, på therese.bengtner@atea.se eller 08-470 81 53

Atea är Nordens och Baltikums ledande obundna leverantör av it-infrastruktur. Vi bistår våra kunder med specialistkompetens, produkter och lösningar. I Sverige finns vi nära dig på ett trettiotal orter över hela landet, från Malmö i söder till Kiruna i norr med ca 2 500 medarbetare. För mer information, besök www.atea.se