ElevenLabs

Infotaula d'organitzacióElevenLabs
Dades
Tipussocietat Modifica el valor a Wikidata
Indústriaintel·ligència artificial Modifica el valor a Wikidata
Camp de treballintel·ligència artificial Modifica el valor a Wikidata
Lloc webelevenlabs.io Modifica el valor a Wikidata
X: elevenlabsio LinkedIn: elevenlabsio Musicbrainz: 08d3888a-f7b8-4f41-a259-2b5148fb4796 Modifica el valor a Wikidata

ElevenLabs és una empresa de programari especialitzada en el desenvolupament de programari de síntesi de veu amb so natural mitjançant l'aprenentatge profund.

Ha estat reconeguda com una de les principals empreses darrere de l'auge de la IA en curs.[1]

Història

ElevenLabs va ser cofundat el 2022 per Piotr Dąbkowski, un antic enginyer d'aprenentatge automàtic de Google i Mateusz Staniszewski, un antic estrateg de desplegament de Palantir.[2] Tots dos es van criar a Polònia, i la seva inspiració per fundar ElevenLabs, segons informa, prové de veure pel·lícules americanes doblades de manera inadequada.[3][4]

Dąbkowski i Staniszewski van considerar inicialment diferents opcions de finançament, inclosa la possibilitat de col·laborar amb una acceleradora de startups. El gener de 2023 van revelar haver aconseguit una ronda prèvia de 2 milions de dòlars. L'especialització de la startup en intel·ligència de veu d'IA, un camp encara emergent a Europa, va tenir un paper important per atraure inversors. El finançament pre-llavor va ser liderat principalment per Credo Ventures, i es va unir per Concept Ventures.[5]

El gener de 2023, ElevenLabs va llançar públicament la seva plataforma beta.[6]

El juny de 2023, ElevenLabs va recaptar una ronda de finançament Sèrie A de 19 milions de dòlars amb una valoració d'uns 100 milions de dòlars,[7][8] tot i que l'empresa no tenia cap oficina i només 15 empleats.[9][8] La ronda de finançament va ser codirigida per l'empresa de capital risc Andreessen Horowitz, l'antic conseller delegat de GitHub Nat Friedman i l'empresari Daniel Gross. També va comptar amb la participació d'individus destacats com SV Angel, Mike Krieger (cofundador d'Instagram), Brendan Iribe (cofundador d'Oculus), Mustafa Suleyman (cofundador de Deepmind) i Tim O'Reilly (fundador de Deepmind). O'Reilly Media). També es va anunciar que Andreessen Horowitz s'uniria a la junta directiva d'ElevenLabs.[10]

El 22 de gener de 2024, ElevenLabs va recaptar 80 milions de dòlars addicionals en finançament de la Sèrie B, augmentant la valoració total de l'empresa a 1.100 milions de dòlars. La ronda de finançament va ser liderada per Andreessen Horowitz, Friedman, Gross i Sequoia Capital. A més, la companyia va anunciar una sèrie de nous productes, com ara el seu mercat de veu, AI Dubbing Studio i l'aplicació mòbil.[11]

Productes

ElevenLabs és conegut principalment pel seu programari de text a veu assistit per IA basat en navegador, Speech Synthesis, que pot produir un discurs real sintetitzant l'emoció i l'entonació vocals.[12] L'empresa afirma que els seus models estan entrenats per interpretar el context del text i ajustar l'entonació i el ritme en conseqüència.[13] Utilitza algorismes avançats per analitzar els aspectes contextuals del text, amb l'objectiu de detectar emocions com la ira, la tristesa, la felicitat o l'alarma, que permeten al sistema entendre el sentiment de l'usuari,[14] donant com a resultat una inflexió més realista i més humana.. La startup està en procés de patentar aquesta tecnologia.[15] Al seu lloc beta, els usuaris poden enviar text i generar fitxers d'àudio a partir d'una selecció de veus predeterminades. Els usuaris de pagament tenen la possibilitat de carregar mostres de veu personalitzades per crear nous estils vocals mitjançant l'eina de clonació de veu de l'empresa.[16]

La biblioteca de veu és la funció de l'empresa per compartir perfils de veu únics creats amb la seva tecnologia de disseny de veu. Aquests perfils de veu predissenyats permeten als usuaris seleccionar la veu que millor s'adapti a les seves necessitats, en lloc de crear-ne una des de zero.[17] Ara hi ha més de 1.000 veus creades per la comunitat a la biblioteca. Una altra eina anomenada VoiceLab permet als usuaris clonar veus a partir d'uns quants fragments d'àudio i poden crear veus sintètiques completament noves.[18]

Usos

Els casos d'ús d'ElevenLabs abasten diversos sectors.

Els creadors de contingut han utilitzat ElevenLabs per a podcasts, narracions i programes d'humor.[19][20][21] El març de 2023, el còmic Drew Carey va utilitzar l'eina de clonació de veu d'ElevenLabs per recrear la seva veu per a un episodi del seu programa de ràdio, Friday Night Freakout.[13] L'abril de 2023, el presentador de televisió i ràdio polonès Jaroslaw Kuzniar va utilitzar una versió sintetitzada de la seva veu per oferir una sèrie de podcasts sobre la invasió russa d'Ucraïna.[22] Seth Godin també ha utilitzat ElevenLabs per narrar el seu podcast centrat en IA.[23]

Tim Green, antic jugador i autor de la NFL, utilitza la tecnologia de clonació de veu d'IA d'ElevenLabs per al seu podcast, "Tim Green's Nothing Left Unsaid".[24] Diagnosticat amb una forma d'esclerosi lateral amiotròfica de progressió lenta, la capacitat de Green de comunicar-se verbalment s'ha vist afectada. La tecnologia d'IA li permet organitzar i participar en converses profundes amb diversos convidats mitjançant una versió clonada de la seva veu d'enregistraments anteriors. Aquest ús innovador de la tecnologia d'ElevenLabs permet a Green continuar contribuint a discussions importants malgrat la seva condició.

El març de 2023, Super-Hi-Fi, un servei d'automatització de streaming, es va associar amb ElevenLabs per llançar un servei de ràdio totalment automatitzat anomenat "AI Radio", utilitzant el programari d'ElevenLabs per donar veu al seu DJ virtual a partir de les indicacions generades amb ChatGPT.[25] ElevenLabs també s'ha emprat per narrar jocs i donar veu als personatges del joc en col·laboració amb el desenvolupador de jocs suec Paradox Interactive i Magicave, amb seu al Regne Unit.[26][27]

Referències

  1. ↑ Kanetkar, Callum Burroughs, Riddhi. «The FOMO is real for venture capitalists paying big premiums to invest in AI startups right now» (en anglès americà). Business Insider. [Consulta: 10 desembre 2023].
  2. ↑ Kanetkar, Riddhi. «This startup, founded by ex-Google and Palantir staffers, uses AI to generate realistic voiceovers. Here's the 14-slide pitch deck ElevenLabs used to raise $2 million.» (en anglès americà). Business Insider. [Consulta: 9 febrer 2023].
  3. ↑ «Now hear this: Voice cloning AI startup ElevenLabs nabs $19M from a16z and other heavy hitters» (en anglès americà). VentureBeat, 20-06-2023. [Consulta: 25 juliol 2023].
  4. ↑ Wiggers, Kyle. «Voice-generating platform ElevenLabs raises $19M, launches detection tool» (en anglès americà). TechCrunch, 20-06-2023. [Consulta: 25 juliol 2023].
  5. ↑ Kanetkar, Riddhi. «Hot AI startup ElevenLabs, founded by ex-Google and Palantir staff, is set to raise $18 million at a $100 million valuation. Check out the 14-slide pitch deck it used for its $2 million pre-seed.» (en anglès americà). Business Insider. [Consulta: 25 juliol 2023].
  6. ↑ «A new AI voice tool is already being abused to make deepfake celebrity audio clips» (en anglès americà). Engadget. [Consulta: 3 febrer 2023].
  7. ↑ «The trials and tribulations of AI voice tech» (en anglès). Financial Times, 21-06-2023.
  8. ↑ 8,0 8,1 Hunt, Simon. «AI firm ElevenLabs achieves $100 million valuation within months of launch» (en anglès). Evening Standard, 20-06-2023. [Consulta: 25 juliol 2023].
  9. ↑ Wiggers, Kyle. «Voice-generating platform ElevenLabs raises $19M, launches detection tool» (en anglès americà). TechCrunch, 20-06-2023. [Consulta: 25 juliol 2023].
  10. ↑ «Now hear this: Voice cloning AI startup ElevenLabs nabs $19M from a16z and other heavy hitters» (en anglès americà). VentureBeat, 20-06-2023. [Consulta: 25 juliol 2023].
  11. ↑ «ElevenLabs Releases New Voice AI Products and Raises $80M Series B», 22-01-2024.
  12. ↑ «Generative AI comes for cinema dubbing: Audio AI startup ElevenLabs raises pre-seed» (en anglès americà). Sifted, 23-01-2023. [Consulta: 3 febrer 2023].
  13. ↑ 13,0 13,1 Ashworth, Boone «AI Can Clone Your Favorite Podcast Host’s Voice» (en anglès). Wired. ISSN: 1059-1028.
  14. ↑ «This Podcast Is Not Hosted by AI Voice Clones. We Swear» (en anglès). Wired. ISSN: 1059-1028.
  15. ↑ Kanetkar, Riddhi. «Hot AI startup ElevenLabs, founded by ex-Google and Palantir staff, is set to raise $18 million at a $100 million valuation. Check out the 14-slide pitch deck it used for its $2 million pre-seed.» (en anglès americà). Business Insider. [Consulta: 25 juliol 2023].
  16. ↑ Frauenfelder, Mark. «Software lets you design new synthetic voices from scratch» (en anglès americà). Boing Boing, 12-01-2023. [Consulta: 3 febrer 2023].
  17. ↑ «As Generative AI booms, this British startup secures $2M to imitate human voices — TFN» (en anglès americà). Tech Funding News, 25-01-2023. [Consulta: 5 febrer 2023].
  18. ↑ «Now hear this: Voice cloning AI startup ElevenLabs nabs $19M from a16z and other heavy hitters» (en anglès americà). VentureBeat, 20-06-2023. [Consulta: 25 juliol 2023].
  19. ↑ Knibbs, Kate «Generative AI Podcasts Are Here. Prepare to Be Bored» (en anglès). Wired. ISSN: 1059-1028.
  20. ↑ Suciu, Peter. «Arrested Succession Parody On YouTube Features 'Narration' By AI-Generated Ron Howard» (en anglès). Forbes. [Consulta: 25 juliol 2023].
  21. ↑ Fadulu, Lola «Can A.I. Be Funny? This Troupe Thinks So.» (en anglès). , 06-07-2023.
  22. ↑ «Sztuczna inteligencja czyta głosem Jarosława Kuźniara. Rewolucja w radiu i podcastach» (en polonès). Press.pl, 09-04-2023. [Consulta: 25 abril 2023].
  23. ↑ «Now hear this: Voice cloning AI startup ElevenLabs nabs $19M from a16z and other heavy hitters» (en anglès americà). VentureBeat, 20-06-2023. [Consulta: 25 juliol 2023].
  24. ↑ «Tim Green's Nothing Left Unsaid».
  25. ↑ McLane, Paul. «AI Radio Demonstrates AI Partnership» (en anglès americà). Radioworld, 29-03-2023. [Consulta: 25 abril 2023].
  26. ↑ «Now hear this: Voice cloning AI startup ElevenLabs nabs $19M from a16z and other heavy hitters» (en anglès americà). VentureBeat, 20-06-2023. [Consulta: 25 juliol 2023].
  27. ↑ «Magicave announces Beneath The Six game with an AI narrator» (en anglès americà). VentureBeat, 06-07-2023. [Consulta: 26 juliol 2023].