Firmy po celém světě stále častěji využívají umělou inteligenci (AI). Problém tkví v tom, že algoritmy mohou diskriminovat lidi na základě barvy pleti. Podle vědkyně z Cambridge Eleanor Drageové jsou AI nástroje často postavené na pseudovědě podobné frenologii z 19. století. „Technologie není jen nástrojem, ale sama vytváří rasovou diskriminaci tím, že označuje nebílé lidi za více nebezpečné než lidi s bílou barvou kůže,“ líčí v rozhovoru.

Rozhovor Praha 6:00 26. listopadu 2023 Sdílet na Facebooku Sdílet na Twitteru Sdílet na LinkedIn Tisknout Kopírovat url adresu Zkrácená adresa Kopírovat do schránky Zavřít

Zabýváte se profilováním lidí pomocí umělé inteligence. Tyto metody používají státní složky, jako například policie, ale také náboráři v rámci pracovních pohovorů. Můžete prosím přiblížit, jak tyto technologie využívají rekrutéři?
Jde o využití nástrojů umělé inteligence v online náborových řízeních. Tyto nástroje slibují, že na základě struktury obličeje a mimiky dokážou identifikovat osobnostní charakteristiky uchazečů. AI pomůcky reagují na tři trendy v oblasti náboru.

Prvním trendem je fakt, že náborová řízení už dlouhou dobu neprošla žádnými inovacemi, a proto se zaměstnanci personálních oddělení snaží nalézt nové metody.

Druhým trendem je narůstající počet uchazečů na jednotlivé pracovní pozice. Tohle je problém zejména v Británii a Spojených státech. Z toho důvodu získalo popularitu například automatické čtení životopisů. Jeho cílem je doručit náborářům pouze relevantní životopisy, aby tak mohli věnovat více času relevantním uchazečům.

Třetím trendem je rostoucí důraz na diverzitu a inkluzi při náboru. AI nástroje se často prezentují jako řešení těchto oblastí. Ve své práci se snažím zhodnotit účinnost těchto AI nástrojů a zda skutečně splňují to, co jejich výrobci slibují. Analyzuji, zda algoritmy, které výrobci těchto nástrojů používají, skutečně fungují.

Co přesně slibují tvůrci těchto nástrojů umělé inteligence?
Tvrdí, že dokážou vyhodnotit osobnostní charakteristiky lidí pouze na základě jejich obličeje a to bez ohledu na pohlaví nebo rasu uchazečů. Nicméně není třeba být odborníkem na feminismus nebo diskriminaci, abyste pochopili, že tohle jednoduše není pravda. Co tyto nástroje skutečně přinášejí, je návrat pseudovědy, podobné frenologii z 19. století.

Když to zjednoduším, tak tvůrci těchto AI nástrojů tvrdí, že na základě tvaru nosu lze určit, zda jste vhodný kandidát.

Na jakých vědeckých poznatcích jsou nástroje postavené? Existuje nějaký vědecký důkaz, že skutečně fungují?
To je dobrá otázka, protože definice toho, co je a co není věda, je v současné době často předmětem debat. Platí to zejména v případě informatiky, neboť žijeme v čím dál tím více konzumním světě. V Silicon Valley, kde se především mladí muži honí za úspěchem, se snaží najít důkazy, že nový produkt nebo inovace skutečně fungují.

Pokud se pokusím odpovědět, neexistují žádné vědecké důkazy, které by prokazovaly účinnost umělé inteligence při náborech zaměstnanců. Nicméně tito vývojáři často argumentují tím, že se opírají o psychometriku, což je metoda s vědeckým základem.

Problém ovšem tkví v rozdílu mezi psychometrikou, která není založena na technologiích, a psychometrikou, která naopak využívá právě technologie a je často používána při náborech. To je ale problematické, neboť nemáme žádné důkazy, že tyto AI nástroje nezohledňují gender a rasu uchazečů. Nevíme, na bázi čeho jsou jejich doporučení vyhodnocované.

Jaké portály využívají umělou inteligenci v náborových řízení?
Ve svém výzkumu jsem zabývala společnostmi, jako jsou například Hireview nebo My Interview. 

Už jste zmínila, že tyto nástroje jsou zejména rozšířené ve Velké Británii a Spojených státech. Existuje tam nějaká regulace, kterou se tvůrci AI pomůcek musí řídit?
Částečně. Například v americkém státě Illinois existuje zákon, který vyžaduje, aby tvůrci nástrojů AI přesně deklarovali, jaké osobní charakteristiky budou hodnoceny na základě snímků obličeje daného kandidáta.

Něco podobného existuje také v New Yorku. Nicméně, co je důležité a co se stále neděje, je to, že kandidáti nemají možnost si vybrat, zda chtějí být takto posuzováni. Kandidáti ucházející se o práci nemají momentálně žádnou garanci, že nebudou vyřazeni z výběrového řízení, pokud se nechtějí podrobit tomuto náborovému procesu. Je důležité, aby mladí lidé měli jistotu, že nemusí podstoupit tento proces, aniž by za to byli trestáni nebo diskriminováni na stále konkurenčnějším pracovním trhu. 

Tyto náborové nástroje mohou obzvlášť ublížit lidem s autismem, těm, kteří mají potíže udržovat oční kontakt, nebo jim přijde tento způsob náboru nepříjemný.

Existuje nějaká regulace v rámci Velké Británie?
Ne, v Británii neexistuje žádná taková regulace.

Jak často jsou tyto nástroje využívané?
Stále častěji. Jejich využití v období pandemie covidu významně vzrostlo. Původně jsme si mysleli, že to po skončení pandemie opadne, ale to se nestalo.

Očekávám, že technologie budou stále více využívány v procesu náborových řízení. V Japonsku je to například již velmi rozšířené a není žádný důvod očekávat, že by se to mělo změnit. To nutně neznamená, že je to špatně.

Chápu tedy správně, že během pandemie byly nástroje umělé inteligence prezentovány jako pozitivní vychytávka a dnes se to nekontrolovatelně rozšiřuje?
Přesně tak a to, co vidíme dnes, je teprve první várka podobných inovací. Problémem je, že v citlivých oblastech, jako je například diskriminace na pracovním trhu, není prostor pro experimentování. Nemám na mysli to, že by se tyto nástroje neměly nadále vyvíjet, jen bychom se neměli zcela zbavit stávajících praktik, například klasických pracovních pohovorů, a neměli bychom stavět na ideologiích, které byly již vyvráceny v průběhu 20. století.

Umělou inteligenci nevyužívají jen náboráři, ale i státní aparáty, například policie. Můžete přiblížit jak?
Je velmi jednoduché ukázat prstem na Čínu, o které se v tomto kontextu často hovoří. Nicméně je důležité sledovat i ostatní vlády, které tyto nástroje nakupují.

Například britská vláda nedávno investovala pět milionů liber do AI technologie, která byla použita ke sledování a monitorování Black Lives Matter protestů v americkém Baltimoru a Los Angeles.

Spolu s kolegou jsme tuto technologii analyzovali a zjistili jsme, že identifikuje lidi s odlišnou než bílou barvou kůže a označuje je za nebezpečnější než lidi s bílou barvou kůže.

V jakých oblastech, kde se využívá AI, jsou lidé nejzranitelnější?
Evropská unie stanovila několik úrovní rizikovosti pro AI nástroje: vysoké riziko, přijatelné riziko a nízké riziko. Nicméně záleží také na kontextu, ve kterém jsou tyto nástroje využívány, spíše než samotném nástroji.

Kontextem myslím například použití AI v rámci policie, kontroly hranic, náborových procesů, zdravotnictví a dalších oblastí. To jsou ty nejkritičtější oblasti, kde může dojít k újmě na lidských právech. Samozřejmě i nástroje s nízkým rizikem mohou negativně ovlivnit lidi. Osobně nechci hodnotit, jaké jsou nejvíce ohrožující negativní dopady AI, protože to silně závisí na kontextu a na daném jednotlivci.

Umělá inteligence bude rozumět emocím. Lidskou podobu bychom měli tabuizovat, říká se kybernetik

Číst článek

Evropská unie připravuje legislativu na regulaci umělé inteligence, tak zvaný AI Act. Bere tato regulace v potaz využití AI právě například státními složkami?
AI Act se například vůbec nesoustředí na použití umělé inteligence policií. Myslím si, že tohle je velmi nešťastné. Je důležité, aby veřejnost byla informována o používání AI policií a na základě toho měla možnost lobbovat proti technologickým společnostem, které se snaží co nejvíce využít AI nástroje.

Podívejte se na Microsoft, který vlastní většinu AI profilovacích nástrojů v Brazílii a většinu nástrojů, které policie a vězeňská služba využívá v Jižní Africe. Mají maximální zájem, aby jejich technologie nebyly AI Actem označeny jako „velmi rizikové“ a byly co nejvíce rozšířené po celém světě. Mají také dostatek finančních prostředků na politický lobbing.

V rámci svého výzkumu se věnujete rasové diskriminaci v rámci umělé inteligence. Můžete blíže popsat, co přesně má rasa společného s AI?
Je důležité, jak státní orgány zachází s kategoriemi, jako je pohlaví a rasa, protože přispívají k našemu chápání toho, co je považováno za normální, a co ne. Například když policie posuzuje nebezpečí protestu, určuje, jak na danou událost bude veřejnost reagovat.

Je rozdíl, zda na místo dorazí pár běžných policejních hlídek nebo silně ozbrojení policisté. Problém spočívá v tom, že stále častěji tuto roli přebírají technologie využívající AI k profilování lidí na základě barvy pleti.

Mluvím o tom, že technologie ovlivňuje náš pohled na svět a už neslouží pouze jako nástroj. Mám za to, že technologie není jen nástrojem, ale sama vytváří rasovou diskriminaci tím, že označuje nebílé lidi za nebezpečnější než lidi s bílou barvou kůže. Myslím si, že je důležité, aby lidé chápali, že technologie spoluvytváří náš pohled na svět.

Často hovoříte o umělé inteligenci v kontextu feminismu. Považujete AI za feministický nástroj? Je schopna přispět k větší genderové rovnosti?
Existuje mnoho různých směrů feminismu a mnoho různých typů AI, takže nechci hovořit za všechny. Nicméně viděla jsem mnoho prototypů AI technologií, které by mohly mít přínos v oblasti genderové rovnosti.

Myslím si, že otázkou není, zda je AI feministickým nástrojem, ale zda dokáže tato technologie přispět k dosažení větší genderové rovnosti. Například jsem spolupracovala na dokumentárním filmu zabývajícím se tématem ženského genitálního mrzačení. Film je mimo jiné o vývojářích aplikace využívající AI, která umožnila ženám sdílet své zkušenosti s tímto zákrokem. Aplikace byla navržena tak, aby chránila uživatelská data a skutečně pomáhala obětem. Myslím si, že je to skvělý příklad toho, jak AI může sloužit feministickým cílům.

Rozhovor poskytla Eleanor Drageová pro server iROZHLAS.cz a server Voxpot.cz.

Anna Košlerová Sdílet na Facebooku Sdílet na Twitteru Sdílet na LinkedIn Tisknout Kopírovat url adresu Zkrácená adresa Kopírovat do schránky Zavřít