‚Stačí program za pár korun.‘ Jak vzniká hrozba jménem deepfakes a co falešná videa odhalí

Praha 22. ledna 2024 Sdílet na Facebooku Sdílet na Twitteru Sdílet na LinkedIn Tisknout Kopírovat url adresu Zkrácená adresa Kopírovat do schránky Zavřít

Na jaké falešné video – jestli tomu tak můžu říkat – z poslední doby jsi narazila? Jak dokonalé bylo?
Když jsem se připravovala, tak jsem si jich pár prošla a musím říct, že úplně dokonalá zatím nejsou. Nenarazila jsem na žádné, kde bych na první pohled nevěděla, že tam něco nesedí. Když řeknu příklad – dělala jsem sama sebe. Zkoušela jsem vytvořit avatara Jany Magdoňové. Překvapivě to nebylo složité. Kdyby fungovalo všechno, jak mělo, a nemusela jsem řešit nějaké technické problémy, měla bych ho třeba do 15 minut hotový. Potřebovala jsem k tomu jenom svůj telefon a počítač. Vlastně by mi stačil jenom notebook. Stačilo natočit dvě minuty svého videa, to poslat na jednu stránku, která si ještě chtěla ověřit, jestli jsem to opravdu já, jestli můj hlas a můj obraz sedí. Když mi to všechno potvrdili, vytvořili mi avatara. Potom už stačilo napsat text, který můj avatar přečetl. Jednoduché, nic složitého. Ale to konkrétní video… Kdyby se tam daly filtry, trošku to rozostřit, tak potom by se asi těžko zjišťovalo, jestli to je, nebo není realita. Kdybys na to narazil v rámci sociálních sítí, tak bys tomu třeba mohl uvěřit. Na druhou stranu, když se na to video díváš, vidíš, že to nesedí. Pohyb tváře, pohyb pusy a intonace jsou trošku zvláštní. Takže videa ještě nejsou dokonalá.

Říkáš, že sis vytvořila vlastního avatara – to jsou naše podobizny, které potom umělá inteligence zpracovává tak, že vypadají jako reální lidé a promlouvají tak, jak by ti lidé promlouvali?
Přesně tak, jsem to já. Jsem stejně oblečená, vypadám stejně jako na videu, které jsem tam poslala. Ale jsem schopná si dát do úst věci, které jsem nikdy neřekla. Ani jiný jazyk není problém. Najednou můžu mluvit čínsky nebo španělsky, což reálně neumím. Takže i tyto možnosti avatar umožňuje.

Potenciální hrozba

Podvodníci tedy mohou vytvořit skutečné lidi, kteří jsou na místech, kam by se nikdy nepodívali nebo říkají věci, které by nikdy neřekli?
Avatar, který jsem zkoušela, podle mě nejde úplně lehce podvrhnout. Nemůžu si vytvořit avatara třeba tebe, pokud s tím nebudeš souhlasit. Musela jsem poslat video sebe, kde je vidět jenom tvář. Nemáchám nikde rukama, jsem v klidném a tichém prostředí a mluvím dvě minuty ve větách, které mají začátek a konec. Musím mluvit klidně, aby umělá inteligence moji mluvu dobře zachytila. Jakmile video nahraju do systému, tak pokud systém vyhodnotí, že tam opravdu nejsou problémy – že bych třeba máchala rukama nebo moc házela hlavou –, požádá mě, abych ještě přečetla další text, který mi vygeneruje. Je to text, ve kterém já, jako Jana Magdoňová, souhlasím s tím, že tato stránka bude pro potřeby avatara využívat mé video. U jeho čtení se musím nahrávat. Pokud umělá inteligence vyhodnotí, že moje nahrané video sedí s druhým nahraným videem – je to stejná osoba a stejný hlas –, tak až potom avatara vytvoří. Mně osobně to třeba třikrát řeklo, že to nesedí, že si nejsou jistí, jestli je to ta stejná osoba. Druhé video jsem tedy třikrát předělávala. Takže momentálně si neumím představit, že by to šlo zneužívat. Na druhou stranu si myslím, že to je otázka týdnů, možná měsíců, než vzniknou jiné stránky, jiné možnosti, kde už třeba nebude potvrzování potřeba. 

Videa už se skutečně objevují minimálně u známých tváří. Neříkám, že jsou perfektní, ale už se na internetu objevují a můžeš na ně narazit. Není to tak dávno, co před hrozbou videí varoval sám šéf BIS Michal Koudelka. 

Stává se to podle tebe problémem?
Například v USA to řeší hodně. Velký problém je v tom, že zneužívají celebrity, jako třeba Taylor Swift. Co jsem se ale dívala, tak videa mají zmanipulovaný pouze začátek – na celebritu se díváme jenom pár vteřin, a zbytek videa jsou záběry, kde už není vidět, ale má to ukázat, že to je ona. Její obličej už pak není potřeba. Je to kompilace videí, dobrý střih, přidaný zvuk a tak dále. Není to celé dělané jenom umělou inteligencí, že by celebrita mluvila celou dobu a my se na ni detailně dívali. To pak samozřejmě zvyšuje pravděpodobnost, že rozeznáme, že tam něco nesedí. Ale pokud to funguje, šíří se to na sociálních sítích jako reklama, třeba na nějakou investiční platformu, která vás nutí odevzdat svoje bankovní údaje a okradou vás… Pokud to na vás jen tak vykoukne na sociální síti a vy to nečekáte, tak na to podle mě spousta lidí opravdu může kliknout a může se nechat nachytat.

Jen bych chtěla upozornit, že deepfakes nejsou nový fenomén, jak okrádat lidi. Je to pořád určitý druh manipulace, ale je to nový prostředek a způsob, jak to udělat. Cíl je pořád stejný – zmanipulovat a okrást lidi, donutit je udělat něco, co by normálně neudělali. V USA je to opravdu velký problém. Videa s falešnými celebritami mají miliony zhlédnutí. Velké platformy, jako třeba YouTube, Facebook a Google je stahují, ale nedaří se jim to naprosto stoprocentně. A i když video jednou stáhnou, objeví se potom tři další. Je to nekonečný boj, který se velkým platformám zatím nedaří vyřešit. 

Víme, kdo videa vytváří a za jakým účelem? Jsou to podvodníci?
Když se budeme bavit o amerických videích, která nejspíš brzy přijdou i do ČR – a už částečně přišla –, tak tato videa vytváří klasičtí kriminálníci, kteří chtějí okrást lidi. Velmi často si s tím hrají mladí lidé, někdy i děti, které se snaží si přijít k nějakým penězům. Konkrétně v USA se řeší, že to dělají mladiství. Zatím to nejsou žádné sofistikované kampaně organizovaných skupin, ale je otázka času, kdy se toho chytnou. Možná už se toho dokonce nechytly, jen o tom třeba momentálně nevíme.

K vytvoření avatara tedy stačí – kromě dobře nashromážděného materiálu – jenom nějaký program dostupný na internetu?
Stačí, a je to program za pár korun. Co jsem zkoušela já, tak v rámci registrace jsem měla možnost si avatara vytvořit zadarmo. Další funkce už samozřejmě byly placené, ale první byl zdarma. Takže vyzkoušet si to může opravdu každý. Když to potom někdo chce zneužívat, tak se s tím platformy samozřejmě snaží bojovat. Uvidíme, jak se jim to bude dařit do budoucna. Konkrétně video zatím není dokonalé, ale pokud se budeme bavit o hlasu, to už je jiná písnička.

Rozeznávání AI

Říkala jsi, že třeba intonace nemusí v lecčem sedět. Je obtížné to rozeznat pro lidi, kteří na video narazí na sociálních sítích? Je vůbec ještě v lidských silách to rozpoznat?
Videa jsou zatím většinou kompiláty statických obrázků anebo už použitých reálných videí s hlasem, který dělá umělá inteligence. Hlas se opravdu špatně rozeznává. Na University College London proběhl v loňském roce experiment, kdy se přes 530 lidí snaží rozeznat falešnou řeč. Uspěli v 73 procentech případů, což na jednu stranu vypadá jako úspěch, ale na druhou stranu to byl experiment, kdy věděli, že mají rozeznávat umělou inteligenci od reálného hlasu. Soustředili se na to, seděli v klidu a říkali ano, nebo ne. Pokud ale na takový hlas člověk narazí v rámci denního provozu – nečeká to, není na to připravený –, tak je minimální šance, že podvržený hlas rozeznáš. Ještě když to posloucháš třeba na ulici, ve sluchátkách, nesoustředíš se na to, nemáš čistý studiový zvuk, tak si myslím, že je to už opravdu velmi obtížné. Tady už nemůžeš jít po kvalitě nahrávky, ale spíš sledovat jeho smysl a co říká. 

Rozumím, prostě na to potřebuješ čas a klidné prostředí…?
Viděla jsem zajímavý projekt Josefa Šlerky v rámci Investigace.cz, kdy manipuloval bývalého prezidenta Václava Klause. Vytvořil umělý hlas, kterým Václav Klaus říká, že věří v klimatickou změnu – úplný opak toho, co normálně říká. V článku je velmi hezky popsán způsob, jakým donutili umělou inteligenci vytvořit text a dát to do hlasu. Podle mě není úplně snadné to rozeznat.

Tady už se dostáváme do docela zajímavého, někdy až nebezpečného kontextu. To už opravdu můžeš dávat někomu do úst věci, které nikdy neřekl a můžeš ho manipulovat úplně jiným způsobem. Josef Šlerka navíc chtěl, aby umělá inteligence zanalyzovala už předchozí texty Václava Klause. Takže to nebylo tak, že by on sám napsal text, který má říkat. Text vytvořila sama umělá inteligence, navíc tak, aby to dávalo smysl a aby navazovala na jeho předchozí texty. To mi přišlo zajímavé.

Předpokládám, že když ne člověk, tak počítač to rozeznat umí. Existují na to už nějaké programy?
Rozeznat umělou inteligenci je opravdu velký problém. Společnost OpenAI, která vytvořila ChatGPT, se snažila vytvořit program, který bude rozeznávat texty, jež ChatGPT napíše. Loni tento program stáhla, protože byl naprosto neúspěšný – měl falešnou pozitivitu, nerozeznal text, který napsala umělá inteligence anebo člověk. Zkrátka to nefungovalo. Rozhodně bych neřekla, že si stáhnete program a budete mít jistotu, že to vytvořila nebo nevytvořila umělá inteligence. Samy programy to vyhodnocují tak, že spíše ano, spíše ne, neřeknou to stoprocentně. Úspěšnost programů zatím není vysoká, a rozhodně bych na ně nespoléhala.

Proč lidé avatary vytvářejí? Na podzim má ve Velké Británii vystoupit hologram Elvise Presleyho, tomu rozumím. Ale když řešíme zneužitelnost – na sociálních sítích můžu potkat Petra Pavla, který mi bude prodávat léčivou mast. Toto je ten banálnější případ, ale může mi Petr Pavel říkat, abych třeba volil konkrétní stranu v nadcházejících volbách?
Co už můžeš na sociálních sítích potkat, je falešný Petr Pavel, který nabízí investice na falešnou platformu. A není to jen Petr Pavel, ale i Andrej Babiš nebo Michael Žantovský. Už jsem viděla i videa se slovenskou prezidentkou Zuzanou Čaputovou. Takže to už reálně funguje, a už jsme na to upozorňovali v článku.

Motivace je zase stejná, ta se nemění – vydělat peníze, někoho zmanipulovat a okrást. Cíl je většinou výdělek. Pak jsou samozřejmě cíle, kdy chcete člověka zmanipulovat, aby si myslel nebo udělal něco jiného, než by sám chtěl. Tady se už můžeme bavit o videích před volbami, která se taky objevila. U těchto videí ale ještě nemáme moc příkladů, které můžeme zmínit.

Situace v Evropě

Existují už třeba v Evropě videa, která nutí lidi hodit do urny jiný lístek, než by si oni sami přáli, kvůli tomu, že je na něm přesvědčuje známá osobnost?
Není to o tom, že by osobnost přesvědčovala. Známe video ze slovenských voleb, rozhovor slovenské novinářky Denníku N s předsedou strany Progresivní Slovensko Michalem Šimečkou o zmanipulovaných volbách. Byl to zvuk a k tomu fotografie, ne přímo video. Nikoho nepřesvědčoval o tom, že má někomu hodit hlas. Mohl ale třeba některé lidi odradit jít volit, nebo vyvolat nedůvěru ve volební systém na Slovensku. Video se objevilo pár dní před volbami. Neumím říct, jakým způsobem je ovlivnilo, jestli vůbec, ale v prvních momentech, kdy se objevilo na sociálních sítích, se začalo šířit opravdu velmi rychle. Hlavně jakmile se dostalo na Facebook. Ten je hlavní platformou, kde Slováci berou informace o zpravodajství, což je trošku děsivé. Takže jakmile se video dostalo na Facebook, tak se dostalo k opravdu velkému množství lidí. Neumíme však říct, jestli na to koukali lidé s tím, že ví, že to je deepfake a že to není skutečné, nebo už byli přesvědčení. Určitě v tuto chvíli neumíme říct, jestli ovlivnilo volby, ale je to příklad deepfake videa, které se objevilo před volbami a přímo se jich týkalo.

Že by tedy deepfake videa v konkrétní zemi výsledky voleb skutečně ovlivnily, pro to zatím důkazy nemáme?
Britský deník The Financial Times píše, že se objevilo několik videí v Bangladéši. Tam prý už výsledky voleb mohly ovlivnit. Ale opět je hrozně problematické to změřit.

Reagují vlády na světě na to riziko? Je to přece jen velké ohrožení.
Zařadila bych to ke stejným podvodům, jako když se objeví text nebo zmanipulovaná fotka. Je to jenom další prostředek manipulace lidí. Takže ano, vlády řeší zmanipulované texty, zmanipulovaná videa i fotky. Je to pořád stejné, se stejným cílem, jenom nový prostředek. 

Pokud se budeme bavit o umělé inteligenci a legislativě, tak v Česku žádnou nemáme, ale vzniká na úrovni EU. Tam už se o tom mluví od roku 2021. V červnu 2023 Evropský parlament schválil, jak by Akt o umělé inteligenci měl vypadat. Teď v prosinci prošel takzvaným trialogem, což znamená, že se na něm shodli poslanci Evropského parlamentu, členské státy a komise. V tuto chvíli by měl vznikat finální text Aktu. To znamená, že na úrovni EU už legislativa vzniká a je velmi blízko, ale jakmile vznikne, tak účinnost nebude okamžitá, bude to trvat třeba ještě půl roku, rok, je to odstupňované. Nicméně legislativa umělou inteligenci řeší, a řeší to na několika úrovních. Rozděluje to, jak moc nebezpečná je – zda má nízkou míru rizikovosti, nebo vysokou, a pak je riziko neakceptovatelné, to jsou způsoby použití umělé inteligence, které jsou zakázané. Tam jsou v případě porušení opravdu mnohamilionové pokuty.

Jak se bránit

Mohou se lidé dotčení deepfake nějak bránit?
Tady bych asi doporučila právo, které už existuje. Máme nějaké nactiutrhání a podvody. To funguje. Je jedno, jestli nás někdo podvede falešným e-mailem, telefonátem nebo videem. Pořád se jedná o podvod.

Existují triky, které by deepfake odhalily?
Spousta falešných videí se šíří jako placená reklama, takže se dá třeba částečně odfiltrovat tím, že si nastavíme takzvaný ad blocker, aby se nám nezobrazovaly reklamy. S tím samozřejmě asi nebudou moc souhlasit velké platformy, jako je YouTube nebo Facebook.

To znamená, že je příspěvek třeba označen titulkem ‚sponzorováno‘…?
Přesně tak. A pak – i když je to trošku knížecí rada – jít po smyslu sdělení. Když vám celebrita nebo politik doporučuje nějakou platformu na investování, tak to zní divně. Nebo když uslyšíte, že někdo o něčem mluví a je to úplně v opačným smyslu, než je jeho běžný narativ. Musíme hledat, odkud video je, jaké jsou zdroje a jít spíš po smyslu než po vizuální a audio stránce sdělení. Ale myslím, že nás čeká velmi zajímavé období. A co možná pomůže nejvíc, je osvěta – vědět, že to vůbec může existovat. Spoustu lidí ani nenapadne, že se něco takového dá zneužít. To možná bude pro nás jediná cesta rozšířit povědomí, že něco takového vůbec může být.

V podcastu byly kromě zvuků z Českého rozhlasu využity tyto zdroje: Archiv Jany Magdoňové, Česká televize a youtubové kanály Věda, výzkum a inovace, Yahoo Finances, Today a The Hollywood Reporter.