Šis puslapis yra apie kaip generuojama kalba: sujungiamieji klipai, parametriniai vokoderiai, „WaveNet“ stiliaus neapdorotas garsas ir neuroniniai modeliai, kuriuos šiandien maršrutizuoja „GSpeech“. Tai ne sąrašas „kodėl verta pridėti grotuvą“ – jis gyvuoja toliau. svetainės TTS privalumaiTai taip pat nėra „WordPress“ diegimo instrukcija.
Aktyvioje svetainėje nepasirenkate mokslinio darbo. Balsą pasirenkate debesies konsolėje. Pasirinkus šį variantą, Vieningas dirbtinio intelekto balso variklis (komercinis) gali naudoti „OpenAI“, „Gemini“, „Google Cloud“, „Chirp3 HD“, „Neural2“, „Polyglot“ ir „WaveNet“ – API raktų nereikia. Apdorojimas debesyje, serverio apkrova neleidžia sintezei veikti jūsų kilmės vietoje.
Sintezės procesas (kas iš tikrųjų vyksta)
Kalbos sintezė paverčia rašytinius žetonus bangos forma. Svetainės grotuvas yra tik paskutinis žingsnis: paleisti failą. Įdomus darbas yra ankstesnis.
- Tekstas - izoliuotas straipsnis, paryškintas fragmentas (RHT) arba išversta eilutė. Izoliacija yra produkto darbas, o ne vokoderio straipsnis.
- Lingvistinė analizė - žodžiai, kirtis, pauzės. Čia pateikiami išmaniojo tarimo slapyvardžiai: prekės ženklo eilutės, kurias modelis kitu atveju atspėtų.
- Akustinis modelis - sujungiamieji vienetai, parametrinis vokoderis arba neuroninis tinklas, kuris prognozuoja garsą.
- Bangos formos išėjimas - vieną kartą išsaugoma skiltyje „Sukurti vieną kartą, laikyti ir leisti“, tada transliuojama. Naršyklė speechSynthesis praleidžia šią parduotuvę ir naudoja bet kokią pateiktą OS.
Trys TTS modelių šeimos
Sujungiamasis TTS saugo trumpus kalbėtojų įrašus ir juos iš naujo sujungia. Kalbėtojo ar emocijos keitimas paprastai reiškia naujos duomenų bazės įrašymą. Klasikiniai „Siri“ stiliaus paketai panaudojo šią idėją.
Parametrinis TTS išsaugo kalbos ypatybes modelio parametruose. Ankstesnės versijos dažnai skambėjo mažiau natūraliai nei sujungimas, nes garsas buvo perduodamas per vokalistas.
Neuroninės sistemos yra tos istorijos viršūnėje. Vadovėliuose vis dar egzistuoja taisyklėmis pagrįsti ir statistiniai sistemų paketai. Tai, ką girdite „GSpeech“ komerciniuose balsuose, yra dirbtinio intelekto sintezė: „OpenAI“, „Gemini“, „Google Cloud Neural2“ / „Polyglot“ / „Chirp3 HD“ ir „WaveNet“, o ne vietinis sujungimo bankas jūsų PHP serveryje.
„WaveNet“: neapdorotos bangos formos modeliavimas
„WaveNet“ pakeitė parametrinę istoriją, numatydama garso signalo pavyzdį po pavyzdį, užuot pateikusi kompaktišką spektrogramą vokoderiui. „Google“ 2016 m. atliktas darbas parodė, kad išplėstinis konvoliucinis tinklas gali apimti tūkstančius laiko žingsnių. Neapdorotas garsas yra tankus – paprastai 16 000 pavyzdžių per sekundę ar daugiau – todėl autoregresyvus generavimas yra brangus, tačiau jis užfiksuoja lūpų trinktelėjimus ir garsiakalbių ypatybes, kurių sujungiamieji klijai dažnai nepastebi.
PixelRNN bei PixelCNN parodė, kad vaizdą galima generuoti po vieną kanalą. „WaveNet“ yra šios idėjos vienmatė versija: visiškai konvoliucinis tinklas, kurio išsiplėtimo koeficientai eksponentiškai didina receptyvųjį lauką.
Mokymo metu įvesties duomenys yra realios įrašytos bangų formos. Atrankos metu kiekvienas žingsnis remiasi numatomu tinklo pasiskirstymu, pateikia tą atkarpą atgal ir tęsiasi. Dėl šios kilpos ankstyvasis „WaveNet“ buvo skirtas tik tyrimams; vėlesni stekai jį supaprastino iki gamybinės „Google TTS“.
MOS ir 2016 m. atotrūkis
„Google“ įvertino „WaveNet“ prieš tuo metu geriausias parametrines ir sujungiamąsias sistemas, naudojant Vidutiniai nuomonės balai (MOS) - aklai žmonių vertinimai (originalioje ataskaitoje daugiau nei 500 įvertinimų iš 100 testo sakinių). Šiuose testuose „WaveNet“ daugiau nei perpus sumažino likusį atotrūkį nuo žmogaus kalbos JAV anglų ir mandarinų kinų kalbų atveju. Tai yra tyrimų etapas, o ne „GSpeech“ rinkodaros balas.
„WaveNet“ yra viena iš „Unified AI Voice Engine“ šeimos. Vėlesni paketai – Dvyniai TTS, Chirp3 HD„Neural2“, „Polyglot“ ir „OpenAI“ – tai, ką pasirenkate kaip balsą debesies konsolėje. „WordPress“ sistemoje „WaveNet“ kontrolinio taško diegti nereikia.
Gemini TTS: raginimais kontroliuojama kalba
„WaveNet“ numatė kitą garso pavyzdį. Dvyniai TTS yra vėlesnis „Google“ kalbos generavimo kelias: jūs aprašote, kaip skaitymas turėtų skambėti natūralia kalba – stilius, akcentas, tempas, tonas, emocijos, pateikimas – ir modelis atlieka šią funkciją. Štai kodėl „GSpeech“ pasirinktiniai balso raginimai bei Balso vibracijos (stiliai, o ne papildomi balso ID) svarbūs „Gemini“ kalboje: valdiklis yra raginime, o ne naujame sujungiamajame banke.
Kalbinis valymas vis tiek atliekamas pirmiausia. Išmanieji tarimo slapyvardžiai gali išplėsti akronimą arba užrakinti prekės ženklo žetoną; tada „Gemini“ ištaria paruoštą eilutę su prašomu pristatymu. Oficialios API pastabos: Dvyniai TTS.
Aukščiausios kokybės „Gemini“ pasakojimas, kai klausymo leidimas yra puslapio dalis: pavyzdiniai įrašai, prekės ženklo aiškinamieji tekstai, produkto tekstas.
Ta pati raginimų kalba kaip ir „Pro“, tik patobulinta greitesniam generavimui įrašų ar SKU kataloge.
Gemini Pro
Gemini Pro yra itin realistiškas „Gemini“ TTS modelis „GSpeech“ viduje. Rašote pasirinktinį balso raginimą taip, kaip trumpai apibūdintumėte pasakotoją: ramesnis produkto paaiškinimas, ryškesnis tinklaraščio įrašas, griežtesnis akcentas, lėtesnis tempas, daugiau emocijų. Matomas HTML lieka aiškus skaitytojams ir SEO. Nėra atskiro „Gemini“ rakto, jokio „Google AI Studio“ projekto, jokios papildomos teikėjo konsolės.
Techniškai tai vis dar yra debesies sintezė, o tada saugomas failas. Pakartotiniai klausymai yra atkūrimas, o ne naujas „Gemini“ įrašas pirmyn ir atgal. Naudokite „Pro“, kai garsas yra patirtis – tai svarbus straipsnis arba produkto puslapis, kuriame pateikimas turėtų atrodyti kryptingas, o ne bendro pobūdžio.
Gemini Flash
Gemini Flash yra ta pati „Gemini“ TTS šeima, sukurta greičiui. Užduočių žodynas atitinka „Pro“ (stilius, akcentas, tempas, tonas, emocijos, pateikimas), todėl galite vieną kartą sugalvoti balso nurodymą ir pakartotinai jį naudoti, o „Flash“ greičiau varto puslapius. Katalogo darbinis arkliukas: daug įrašų, „WooCommerce“ aprašymai, daugiakalbiai juodraščiai. Perkelkite pagrindinį URL į „Pro“, kai norite paskutinio našumo elemento.
Chirp3 HD: Google Cloud’s current HD neural family
Chirp3 HD nėra „WaveNet su nauju pavadinimu“. „WaveNet“ (2016 m.) modeliavo neapdorotą garsą su išplėstinėmis konvoliucijomis. „Neural2“, „Polyglot“ ir „WaveNet“ balsai vis dar yra „Google Cloud“ kataloge (toliau – „Google“ debesijos katalogas). 230 + aukštas: „Standard“, „WaveNet“, „Neural2“, „Polyglot“, „Journey“, „Studio“, „News“). „Chirp3 HD“ yra vėlesnė „Google“ didelės raiškos debesies TTS karta – sukurta realizmui ir natūraliai intonacijai, o ne plokščiam garsiam skaitymui. Oficialios pastabos: Čirp 3 HD.
„GSpeech“ viduje „Chirp3 HD“ yra debesies konsolės balsas: jokio „Google Cloud“ projekto, jokio paslaugos paskyros JSON. Jūs pasirenkate balsą; sintezė atliekama iš jūsų šaltinio; failas išsaugomas ir atkuriamas per viso puslapio, mygtuko, apskritimo, slankiojo, konteksto arba RHT režimą. Greitis ir aukštis lieka konsolėje. Prekių ženklų pavadinimai vis tiek priklauso išmaniojo tarimo slapyvardžiams – šis sluoksnis nepriklauso nuo to, kurią „Google“ šeimą pasirinkote.
Kada rinktis „Chirp3 HD“ ir „Gemini“: „Chirp3 HD“, kai norite gamybinės „Google Cloud HD“ neuroninės kokybės ir nuoseklaus, nuo įrenginio nepriklausomo skaitymo. „Gemini Pro“ / „Flash“, kai norite natūralios kalbos raginimų valdymo stiliui ir emocijoms. Abu yra komerciniai „Unified AI Voice Engine“ keliai. Variklio suma yra 300+ balsų per 98 kalbos („Gemini“ ~30 × 3, skirtų „Chirp 3 HD“, „Flash“ ir „Pro“ kiekvienai kalbai, plius „OpenAI 11 × 2“ ir „Google Cloud“ katalogas). Balso vibracijos yra stiliai, o ne papildomi ID.
- Neural2 - plačiai naudojami gamybiniai neuroniniai balsai tame pačiame „Google Cloud“ kataloge.
- Poliglotas - geresnis daugiakalbystės / tarpkalbinis meistriškumas.
- „WaveNet“ – 2016 m. neapdorotų bangų formų šeima, vis dar prieinama kaip katalogo balsai, o ne vienintelis „Google“ kelias.
Vieningas dirbtinio intelekto balso modulis, palyginti su naršyklės TTS
Įrenginio speechSynthesis yra vietinė API. Balsai skiriasi priklausomai nuo OS. Nėra failo „Generuoti vieną kartą, laikyti ir leisti“, nėra išmaniojo garso sinchronizavimo funkcijos, kai pasikeičia TVS kopija, ir nėra balso vibracijų raginimo sluoksnio. „GSpeech Cloud Processing“ paleidžia modelį debesyje, išsaugo failą, o valdiklis jį paleidžia. Laikinos generavimo problemos neištrina anksčiau sugeneruotų failų. Failai nepašalinami, kai paskyra grįžta į nemokamą planą. Naujas generavimas vis tiek vyksta pagal aktyvų planą.
models: "OpenAI, Gemini, Google Cloud, Chirp3 HD, Neural2, Polyglot, WaveNet"
langs: "98 languages, 300+ voices (commercial)"
control: "Voice Vibes + Smart Pronunciation Aliases"
keys: "No API Keys Required"Balso vibracijos (komercinės) yra skirtos užduoties pusei, o ne naujas sujungiamasis bankas. Slapyvardžiai nustato, kaip tariamas prieigos raktas, nekeisdami matomo HTML. Abu yra valdymo sluoksniai, papildantys bet kokį akustinį modelį, kurį variklis pasirinko tam balsui.
Teksto įgarsinimo technologijos DUK
Modeliai ir srautai – ne įskiepio sąranka.
-
Ar „GSpeech“ naudoja „WaveNet“ kiekvieno klausymo metu?
Ne. „WaveNet“ yra viena iš daugelio „Google“ šeimos narių. Vieningas dirbtinio intelekto balso variklis taip pat nukreipia „Neural2“, „Polyglot“, „Chirp3 HD“, „Gemini“ ir „OpenAI“ balsus, priklausomai nuo pasirinkto balso. „Generate Once, Keep and Play“ reiškia, kad pakartotiniam atkūrimui naudojamas išsaugotas failas, o ne naujas tyrimo stiliaus pavyzdžio ciklas.
-
Kodėl vis dar minima sujungiamoji TTS?
Tai istorinis pradinis taškas: įrašytų vienetų sujungimas. Neuroniniai modeliai generuoja garsą, o ne klijuoja skiemenis. Sujungimo ir „WaveNet“ metodų supratimas paaiškina, kodėl šiuolaikiniai komerciniai balsai gali pakeisti stilių be naujos įrašymo sesijos.
-
Ar galiu paleisti šiuos modelius savo serveryje?
„GSpeech“ svetainės produktas yra debesijos apdorojimo produktas, be serverio apkrovos. Jūs netalpinate „WaveNet“, „Gemini“ ar „OpenAI“ „WordPress“ sistemoje. Nereikia API raktų: atsiskaitymas ir raktai lieka debesies konsolėje.
-
Ar 2016 m. MOS šiandien taikomas „GSpeech“?
Šiame puslapyje pateikta MOS diagrama yra „Google“ paskelbtas „WaveNet“ įvertinimas. „GSpeech“ nepretenduoja į tą patį skaičių kiekvienam dabartiniam balsui. Dabartinė komercinė kokybė priklauso nuo aukščiau pateikto modulio derinio, o ne nuo 2016 m. MOS balo perspausdinimo kaip produkto įvertinimo.
-
„Gemini Pro“ ir „Gemini Flash“ – kuo skiriasi?
Ta pati „Gemini“ TTS šeima ir ta pati pasirinktinė balso komandų kalba (stilius, akcentas, tempas, tonas, emocijos, pateikimas). „Flash“ yra greitesnė katalogams; „Pro“ yra tikslesnis būdas pagrindiniams puslapiams. Nei vienam iš jų nereikia „Gemini“ API rakto „GSpeech“ – balsą pasirenkate debesies konsolėje.
-
Ar „Chirp3 HD“ yra tas pats, kas „WaveNet“?
Ne. „WaveNet“ yra „Google“ 2016 m. neapdorotų bangų modelių šeima. „Chirp3 HD“ yra vėlesnė didelės raiškos „Cloud TTS“ karta, skirta realizmui ir intonacijai. „Neural2“, „Polyglot“ ir „WaveNet“ balsai vis dar egzistuoja „Google Cloud“ kataloge (daugiau nei 230 aukštų). „GSpeech“ pateikia „Chirp3 HD“ kaip konsolės balsą be „Google Cloud“ projekto.
Nuo popieriaus iki balso konsolėje
Sujungiamieji bankai, parametriniai vokoderiai ir „WaveNet“ neapdorotos bangos formos derinimas yra šios linijos. „Gemini TTS“ („Pro“ / „Flash“) prideda greito valdymo signalą; „Chirp3 HD“ yra dabartinė „Google Cloud“ HD neuroninių sistemų šeima. „GSpeech“ svetainėje dabartinį „Unified AI Voice Engine“ girdite per valdiklį – visą puslapį, mygtuką, apskritimą arba... Skaityti paryškintą tekstą (RHT) – su failais, saugomais po pirmojo generavimo. Norėdami sužinoti „ar mano URL turėtų turėti grotuvą“, naudokite straipsnį apie privalumus. Norėdami sužinoti „wp-admin“ paspaudimų duomenis, naudokite instrukcijas.
