App Store presses på AI-apper som lager overgrepsbilder

Hva skjedde

AppleInsider omtaler en Wired-rapport der San Franciscos byadvokat David Chiu skal ha sendt krav til Apple om å fjerne åtte AI-apper fra App Store. Appene beskrives som «nudify»-apper – tjenester som kan brukes til å lage ikke-samtykkende intime bilder av andre.

Ifølge omtalen er også Google adressert. Kravet skal ikke bare handle om å fjerne appene, men også om å bryte forretningsrelasjoner med utviklerne bak dem.

Hva det betyr

Dette er en App Store-sak, men først og fremst er det en misbrukssak. Slike apper kan brukes til å lage intime bilder uten samtykke, ofte også av mindreårige. Når de distribueres via store appbutikker, får de et lag av legitimitet de ikke bør ha.

Apple har lenge brukt App Store-kontroll som et argument for sikkerhet og kvalitet. Da må selskapet også tåle høyere forventninger når en appkategori er åpenbart skadelig. Spørsmålet er ikke bare om en enkelt app bryter en formulering i retningslinjene. Spørsmålet er om plattformen raskt nok klarer å identifisere en hel misbrukskategori.

For norske brukere er dette relevant fordi App Store er en global distribusjonskanal. Norske barn, unge og voksne bruker de samme plattformene, og skadepotensialet stopper ikke ved amerikanske bygrenser.

Min vurdering

Min take: Apple bør være mye mer aggressiv her enn i mange vanlige App Store-tvister. Dette er ikke en uenighet om betalingslenker, emulatorer eller skyspill. Dette er verktøy som kan brukes til å produsere seksualiserte bilder uten samtykke.

Det vanskelige er at generativ AI gjør grensen mellom «bildeverktøy» og «misbruksverktøy» mer flytende. Men akkurat «nudify»-kategorien er ikke subtil. Når selve bruksområdet er å kle av andre digitalt, bør terskelen for fjerning være lav.

Apple kommer ofte i klem mellom to argumenter: selskapet vil ha kontroll over App Store, men kritiseres for vilkårlig håndheving. Her er kontrollargumentet på sitt sterkeste. Hvis Apple mener App Store skal være tryggere enn det åpne nettet, må slike apper ut raskt – og utviklere som bygger for misbruk bør ikke bare kunne laste opp neste variant under nytt navn.

I Norge bør skole, foreldre og arbeidsgivere også lese dette som en beredskapssak. Det holder ikke å si «ikke del bilder». Nå kan skade oppstå selv når offeret ikke har delt intime bilder i det hele tatt.

Bilde: Apple

Hva du bør gjøre

• Foreldre bør snakke med ungdom om AI-baserte overgrepsbilder, ikke bare tradisjonell bildedeling.
• Skoler bør ha rutiner for håndtering av deepfake- og «nudify»-saker før første alvorlige hendelse oppstår.
• Brukere bør rapportere slike apper direkte i App Store og til relevante plattformer.
• Apple bør vurdere utviklerrelasjoner, ikke bare enkeltnedlastinger, når appene åpenbart er bygget for misbruk.
• Ikke del eller videresend slike bilder, selv for å «vise hva som skjer» – det kan forsterke skaden.

Kilder

• AppleInsider