Un generator de inteligență artificială a fost folosit pentru a face ca vocile celebrităților să citească mesaje ofensatoare

sky news: ‘Extra safeguards’ coming after AI generator used to make celebrity voices read offensive messages

‘Măsuri de protecție suplimentare’ după ce un generator de inteligență artificială a fost folosit pentru a face ca vocile celebrităților să citească mesaje ofensatoare

Oamenii au folosit un generator de voce online pentru a crea clipuri false în care Emma Watson citește Mein Kampf al lui Adolf Hitler, Joe Biden anunță că trupele americane vor merge în Ucraina pentru a lupta împotriva invaziei Rusiei, iar actorii din Războiul Stelelor spun mesaje profund ofensatoare, misogine și rasiste.

De Tom Acres, 31 Ianuarie 2023, SkyNews

Emma Watson se numără printre cei a căror voce a fost folosită pentru a genera clipuri false. Foto: Jacques Witt/SIPA/Shutterstock

O companie de tehnologie vocală care utilizează inteligența artificială (IA) pentru a genera discursuri realiste, declară că va introduce măsuri de protecție suplimentare după ce instrumentul său gratuit a fost folosit pentru a genera voci de celebrități care citeau declarații extrem de nepotrivite.

ElevenLabs a lansat o așa-numită suită de clonare a vocii la începutul acestei luni.

Aceasta permite utilizatorilor să încarce clipuri cu o persoană care vorbește, care sunt folosite pentru a genera o voce artificială.

Aceasta poate fi apoi aplicată funcției de sinteză vocală text-to-speech a firmei, care oferă în mod implicit o listă de caractere cu diferite accente, care pot citi simultan până la 2.500 de caractere de text.

Nu a durat mult până când internetul în general a început să experimenteze cu această tehnologie, inclusiv pe celebrul site 4chan, unde au fost generate clipuri în care actrița din Harry Potter, Emma Watson, a citit un pasaj din Mein Kampf al lui Adolf Hitler.

Alte fișiere găsite de SkyNews au inclus ceea ce pare a fi Joe Biden anunțând că trupele americane vor merge în Ucraina și un David Attenborough cu gura mare care se laudă cu o carieră în NavySeals.

Au fost vizați regizorul de film James Cameron, Tom Cruise, vedeta din Top Gun, și Joe Rogan, prezentator de podcasturi, pe lângă alte clipuri cu personaje fictive, care citesc adesea mesaje profund ofensatoare, rasiste sau misogine.

‘Un weekend nebunesc’

Într-o declarație pe Twitter, ElevenLabs – care a fost fondată anul trecut de către fostul inginer de la Google Piotr Dabkowski și fostul strateg de la Palantir Mati Staniszewski – a cerut feedback cu privire la modul în care să prevină utilizarea abuzivă a tehnologiei sale.

„Un weekend nebunesc – mulțumim tuturor pentru că au încercat platforma noastră Beta”, a spus aceasta.

„În timp ce vedem că tehnologia noastră este aplicată în proporție covârșitoare pentru o utilizare pozitivă, observăm, de asemenea, un număr tot mai mare de cazuri de utilizare abuzivă a clonării vocale. Dorim să cerem ajutorul comunității Twitter pentru gânduri și feedback!”

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

Compania a precizat că, deși poate ‘urmări orice sunet generat’ până la utilizatorul care l-a creat, a dorit să introducă și ‘măsuri de siguranță suplimentare’.

Aceasta a sugerat să solicite verificări suplimentare ale contului, cum ar fi solicitarea detaliilor de plată sau a actelor de identitate, verificarea drepturilor de autor ale cuiva pentru clipurile pe care le încarcă sau renunțarea totală la instrument pentru a verifica manual fiecare cerere de clonare a vocii.

Însă, începând de marți dimineață, instrumentul a rămas online în aceeași stare.

Site-ul web al companiei sugerează că tehnologia sa ar putea fi folosită într-o zi pentru a da voce articolelor, buletinelor informative, cărților, materialelor educaționale, jocurilor video și filmelor.

SkyNews a contactat compania ElevenLabs pentru a obține comentarii suplimentare.

Pericolele media generate de IA

Avalanșa de clipuri vocale nepotrivite ne reamintește de pericolele pe care le implică lansarea instrumentelor de inteligență artificială în sfera publică, fără a exista suficiente măsuri de protecție – printre exemplele anterioare se numără un chatbot Microsoft care a trebuit să fie retras după ce a fost învățat rapid să spună lucruri jignitoare.

La începutul acestei luni, cercetătorii de la gigantul tehnologic au anunțat că au realizat o inteligență artificială text-to-speech numită VALL-E, care poate simula vocea unei persoane pe baza a doar trei secunde de sunet.

Aceștia au declarat că nu vor face publică această unealtă deoarece ‘ar putea implica riscuri potențiale’, inclusiv ‘falsificarea identificării vocii sau imitarea unui anumit vorbitor’.

Tehnologia prezintă multe dintre aceleași provocări ca și videoclipurile deepfake, care au devenit din ce în ce mai răspândite pe internet.

Anul trecut, a fost distribuit online un videoclip deepfake în care Volodymyr Zelenskyy le spunea ucrainenilor să ‘depună armele’.

Acest lucru a avut loc după ce creatorul unei serii de videoclipuri deepfake realiste ale lui Tom Cruise, deși clipuri mai relaxate, în care actorul era prezentat făcând trucuri de magie și jucând golf, a avertizat audiența cu privire la potențialul acestei tehnologii.