Sexualizovaná vyobrazení nezletilých generovaná umělou inteligencí na sociálních sítích: Po pobouření kolem chatbota Grok na síti X se naléhavost snah o lepší ochranu na internetu zvýšila. Evropská unie má k dispozici několik nástrojů, ty se však jeví jako nedostatečné k tomu, aby zneužívání zabránily.
Evropská unie nasazuje v reakci na rozsáhlé pobouření nad využíváním umělé inteligence (AI), které porušuje soukromí a důstojnost lidí, těžký kalibr.
Brusel zvažuje možnost klasifikovat vytváření sexuálních deepfakes jako zakázanou praktiku podle Aktu o umělé inteligenci v reakci na skandál se sexualizovanými snímky vytvořenými chatbotem Grok AI, který je integrován do platformy X Elona Muska.
Grok pobuřuje
Po dlouhodobé mezinárodní kritice zavedla společnost xAI Elona Muska v polovině ledna nová omezení týkající se sexuálně sugestivních obrázků generovaných umělou inteligencí v chatbotu Grok. Tento krok následoval poté, co Grok umožňoval uživatelům digitálně nahrazovat oblečení žen bikinami a v některých případech vytvářet sexualizovaná vyobrazení nezletilých.
První snímky lidí svlékaných bez jejich souhlasu („nudifikace“) se začaly šířit už několik dní po spuštění této funkce, jejich rozšíření však výrazně zesílilo zejména kolem silvestrovské noci. Podle CNN bylo jen mezi 5. a 6. lednem pomocí technologie Grok vygenerováno nejméně 6700 sexuálních snímků. Často se přitom týkaly žen nebo nezletilých.
„Grok nyní nabízí takzvanou ‚peprnou funkci‘, která zobrazuje explicitní sexuální obsah, přičemž některé výstupy jsou generovány s dětskými rysy. To není žádná pikantnost. To je nelegální. Je to otřesné,“ řekl tehdy novinářům mluvčí EU pro digitální záležitosti Thomas Regnier.
Evropská komise, která v EU plní roli digitálního dohlížitele, uvedla, že vezme na vědomí nová opatření přijatá společností X a přezkoumá je. Úředníci varovali, že pokud se tyto kroky ukážou jako nedostatečné, EU zváží využití plného rozsahu Aktu o digitálních službách (DSA).
Místopředsedkyně Evropské komise Henna Virkkunenová uvedla, že komise v rámci Aktu o umělé inteligenci zvažuje výslovný zákaz těchto typů sexuálních snímků generovaných umělou inteligencí a jejich zařazení mezi nepřijatelná rizika.
„Zákaz škodlivých praktik v oblasti umělé inteligence by mohl být relevantní při řešení problému nekonsenzuálních sexuálních deepfakeů a dětské pornografie,“ uvedla Virkkunenová, která je rovněž komisařkou odpovědnou za technologickou suverenitu, bezpečnost a demokracii, během plenárního zasedání Evropského parlamentu ve Štrasburku tento týden. Dodala také, že Akt o digitálních službách (DSA) snižuje riziko šíření online sexuálního materiálu bez souhlasu.
Připomněla také, že komise v rámci svého šetření platformy X podle DSA zaslala společnosti žádost o informace týkající se technologie Grok.
Platforma byla požádána, aby uchovala všechny interní dokumenty a data s ní související až do konce roku. „Nyní zkoumáme, do jaké míry by platforma X mohla porušovat DSA, a nebudeme váhat přijmout další opatření, pokud tomu důkazy budou nasvědčovat,“ uvedla.
Komise již dříve zvýšila tlak na platformu X, která dostala začátkem prosince pokutu ve výši 120 milionů eur za porušení pravidel transparentnosti. EU trvá na tom, že svá pravidla prosadí, přestože to vyvolalo odpor americké administrativy.
„DSA je v Evropě velmi jasný. Všechny platformy musí mít své záležitosti v pořádku, protože to, co zde generují, je nepřijatelné, a dodržování práva EU není možností. Je to povinnost,“ prohlásil Regnier na vrcholu skandálu na začátku ledna.
Minulý týden vyzvala skupina asi 50 poslanců Evropského parlamentu komisi, aby zakázala aplikace umělé inteligence používané k vytváření nahých snímků na trhu EU.
X jakožto nepostradatelá platofrma
Navzdory kritice X téměř všichni vysocí představitelé EU nadále zveřejňují příspěvky právě tam, místo aby využívali evropské alternativy, uvádí výzkum agentury dpa.
Předsedkyně Evropské komise Ursula von der Leyenová a další přední představitelé stále nemají oficiální účty na Mastodonu, německé alternativě. Virkkunenová si založila oficiální účet na Mastodonu v lednu. Vysocí politici EU jsou také aktivní na Bluesky, další americké platformě, která nyní získává na popularitě.
Komise obhajuje pokračující používání X kvůli jeho dosahu: Mastodon má podle firem přibližně 750.000 měsíčních uživatelů, zatímco X kolem 100 milionů.
Dlouhá právní cesta k větší bezpečnosti na internetu
Cesta k ochraně nezletilých v EU je složitá, protože se střetávají otázky soukromí, podnikání a ochrany. Dochází k překrývání několika předpisů:
- Kontrola chatů
Komise v roce 2022 navrhla nařízení, které by vyžadovalo, aby platformy detekovaly a hlásily obrázky a videa zneužívání (materiály týkající se sexuálního zneužívání dětí) i pokusy predátorů kontaktovat nezletilé.
Plán, kterému se přezdívá kontrola chatů, podporovalo několik organizací na ochranu dětí, zároveň ale v rámci 27členného bloku vyvolal ostrou debatu o soukromí a vedl k obviněním z masového sledování.
Konečné znění legislativy se očekává k projednání na začátku roku 2026. Jeho cílem je překlenout rozdíl mezi přístupem Evropského parlamentu zaměřeným na ochranu soukromí a přáním Rady EU po širokých dobrovolných pravomocích skenování.
Poslanci prodloužili dočasná dobrovolná opatření skenování až do dubna 2026, aby se zabránilo právnímu vakuu, a zároveň zdůraznili naléhavost zavedení trvalého řešení.
- Akt o digitálních službách
Evropská unie využívá Akt o digitálních službách (DSA) k sankcionování online platforem prostřednictvím vysokých pokut, požadavků na okamžité provozní změny a v krajních případech i dočasného pozastavení jejich služeb. Pokuty mohou být uloženy, pokud platformy poruší povinnosti vyplývající z DSA, nedodrží dočasná opatření nebo poruší své závazky.
Jedná se o nařízení EU pro bezpečnější online prostředí, které vyžaduje, aby platformy řešily nelegální obsah, chránily uživatele a zvyšovaly transparentnost.
- Akt o umělé inteligenci
Akt o umělé inteligenci byl přijat v roce 2024 a je prvním a dosud jediným komplexním právním rámcem pro oblast umělé inteligence na světě. Zavádí systém založený na hodnocení rizik pro regulaci technologií AI v EU s cílem zajistit jejich bezpečnost, důvěryhodnost a respektování základních práv a zároveň podporovat inovace.
Zakazuje některé nepřijatelné praktiky AI, jako je například sociální hodnocení, a stanovuje pravidla pro oblasti vysokého rizika použití AI například v kritické infrastruktuře nebo zaměstnání. Dále ukládá omezení pro manipulativní využití AI, jako jsou například deepfakes zaměřené na děti.
- Zákazy sociálních médií
Francie, která zvažuje zákaz používání sociálních sítí pro děti mladší 15 let, od letošního léta testuje aplikaci pro ověřování věku vyvinutou Evropskou komisí. Tento nástroj je jednou z několika metod používaných k ověřování věku uživatelů internetu, což je problém jak pro technologické giganty, tak pro úřady.
Individuální úsilí
Španělská ministryně pro mládež a děti Sira Regová na začátku ledna požádala generální prokuraturu, aby prošetřila, zda Grok nepáchá trestné činy související se šířením materiálů týkajících se sexuálního zneužívání dětí.
V současnosti Španělsko vyvíjí vlastní zákon na ochranu nezletilých v digitálním prostředí. Zákon posiluje rámec ochrany osobní integrity a soukromí proti novým formám porušování spojeným s využíváním technologií, jako je umělá inteligence, a potvrzuje, že nejlepší zájmy dítěte musí vždy převážit nad jakýmkoli digitálním obchodním modelem.
Bulharsko zvýšilo úsilí v boji proti sexuálnímu zneužívání dětí online prostřednictvím mezinárodní spolupráce mezi bezpečnostními složkami, prostřednictvím národních preventivních kampaní a politických diskusí v souladu s legislativou EU. V roce 2025 se bulharské orgány podílely na velké mezinárodní operaci, která zablokovala Kidflix, jednu z největších platforem pro sexuální zneužívání dětí na světě, kterou mezi lety 2022 a 2025 používaly téměř 2 miliony uživatelů.
Rumunsko má k boji proti materiálům zobrazujícím sexuální zneužívání dětí ve svém trestním zákoníku legislativní mechanismy. Úřady usilují o rozšíření a modernizaci těchto pravidel.
Od roku 2025 se v rumunském parlamentu projednává důležitý návrh zákona na ochranu dětí online (nazývaný Zákon o online dosažení plnoletosti) a Rumunsko se rovněž postupně účastní implementace pravidel EU týkajících se prevence a boje proti sexuálnímu zneužívání online. Zákon o online dosažení plnoletosti zavádí povinné ověřování věku a souhlas rodičů pro nezletilé (do 16 let) při přístupu k online službám, jako jsou sociální sítě či herní a streamovací platformy.
Bosna a Hercegovina, která patří mezi kandidátské země EU, stále nemá žádný specifický zákon upravující tuto oblast. V Bosně a Hercegovině vyplývá trestní odpovědnost za výrobu, šíření a držení takového materiálu z trestních zákonů týkajících se sexuálního zneužívání dětí, ale ty neobsahují výslovná ustanovení o obsahu generovaném nebo simulovaném umělou inteligencí.
EU zavedla soubor doplňkových nástrojů a opatření k ochraně svých občanů, mladých i starších, před škodlivými praktikami online, nicméně slabými stránkami jsou problémy s vymáháním, algoritmické zesilování škodlivého obsahu, nekonzistentní národní implementace a debaty o vyvážení bezpečnosti a ochrany soukromí.
Zdroj: enr spolu s agenturami AFP, Agerpres, ANSA, BTA, dpa, EFE, FENA
