ElevenLabs promuje swoje narzędzia AI do zastosowań takich jak audiobooki i gry wideo; niedawno osiągnęło status „jednorożca”, pozyskując 80 milionów dolarów przy wycenie 1,1 miliarda dolarów w nowej rundzie finansowania współprowadzonej przez firmę venture Andreessen Horowitz. Spółka została założona przez Matiego Staniszewskiego oraz Piotra Dąbkowskiego. Zbudowane przez nich rozwiązanie z zakresu generowanego, a wręcz klonowanego audio, uważa się za najlepsze na świecie.
Każdy może zarejestrować się w płatnej usłudze firmy i sklonować głos z próbki audio. Polityka bezpieczeństwa firmy mówi, że najlepiej jest uzyskać czyjąś zgodę przed sklonowaniem ich głosu, ale klonowanie bez zgody może być dozwolone do różnych celów niekomercyjnych, w tym „przemówień politycznych przyczyniających się do debat publicznych”.
W oświadczeniu przekazanym w piątek wieczorem przez CEO ElevenLabs, Matiego Staniszewskiego, powiedziano, że firma jest „zobowiązana do zapobiegania nadużyciom narzędzi audio AI”, ale nie może komentować konkretnych incydentów. ElevenLabs podejmuje działania w przypadkach nadużycia, w tym poprzez współpracę z władzami.
Firma Pindrop, która opracowuje narzędzia do identyfikacji syntetycznego audio, twierdziła w poście na blogu w miniony czwartek, że jej analiza audio z połączenia wskazuje na technologię ElevenLabs lub „system używający podobnych komponentów”. Zespół badawczy Pindrop sprawdził wzorce w klipie audio z ponad 120 różnymi silnikami syntezy głosu w poszukiwaniu dopasowania, ale nie spodziewał się znaleźć go, ponieważ identyfikacja pochodzenia wygenerowanego przez AI audio może być trudna. Wyniki były zaskakująco jasne, mówi CEO Pindrop, Vijay Balasubramaniyan. - Wyszło ponad 99 procent, że to było ElevenLabs - mówi.
Zespół Pindrop pracował nad 39-sekundowym klipem, który firma uzyskała z jednego z robopołączeń wygenerowanych przez AI. Starali się zweryfikować swoje wyniki, analizując również próbki audio znane z tego, że zostały stworzone przy użyciu technologii ElevenLabs, a także innym narzędziem syntezy głosu, aby sprawdzić metodologię.
To nie pierwszy raz, gdy badacze podejrzewali, że narzędzia ElevenLabs zostały wykorzystane do propagandy politycznej. We wrześniu ub. roku NewsGuard, firma śledząca dezinformację w internecie, twierdziła, że konta TikTok dzielące teorie spiskowe przy użyciu wygenerowanych przez AI głosów, w tym klona głosu Baracka Obamy, używały technologii ElevenLabs. „Ponad 99 procent użytkowników na naszej platformie tworzy interesujące, innowacyjne, użyteczne treści,” powiedział ElevenLabs w oświadczeniu przesłanym do The New York Times w tamtym czasie, „ale zdajemy sobie sprawę, że zdarzają się przypadki nadużycia, i ciągle rozwijamy i wdrażamy zabezpieczenia, aby je ograniczyć.”