Logo cs.nowadaytechnol.com

Tři Nové Vícejazyčné Moduly USE Se Blíží K TensorFlow

Obsah:

Tři Nové Vícejazyčné Moduly USE Se Blíží K TensorFlow
Tři Nové Vícejazyčné Moduly USE Se Blíží K TensorFlow

Video: Tři Nové Vícejazyčné Moduly USE Se Blíží K TensorFlow

Video: Tři Nové Vícejazyčné Moduly USE Se Blíží K TensorFlow
Video: Делаем перенос стилей изображений с помощью Keras и Tensorflow | #17 нейросети на Python 2024, Březen
Anonim
Image
Image

Google je jedním z průkopníků výzkumu AI a řada jejich projektů se začala obracet. AlphaZero od společnosti Google DeepMind tým byl průlomem ve výzkumu AI díky schopnosti programu naučit se komplikované hry sám (bez lidského tréninku a zásahu). Google také odvedl vynikající práci Programy pro zpracování přirozeného jazyka (NLPs), což je jeden z důvodů, proč je Google Assistant efektivní v porozumění a zpracování lidské řeči.

Google nedávno oznámil vydání tří nových POUŽÍVEJTE vícejazyčné moduly a poskytnout více vícejazyčných modelů pro načítání sémanticky podobného textu.

První dva moduly poskytují vícejazyčné modely pro načítání sémanticky podobného textu, jeden optimalizovaný pro výkon načítání a druhý pro rychlost a menší využití paměti. Třetí model se specializuje na vyhledávání otázek a odpovědí v šestnácti jazycích (USE-QA) a představuje zcela novou aplikaci USE. Všechny tři vícejazyčné moduly jsou trénovány pomocí víceúčelového rámce duálního kodéru, který je podobný původnímu modelu USE pro angličtinu, zatímco používají techniky, které jsme vyvinuli pro vylepšení duálního kodéru s přístupem softmax s aditivní marží. Jsou navrženy nejen k udržení dobrého výkonu učení přenosu, ale také k provádění dobrých úkolů sémantického načítání.

Zpracování jazyka v systémech prošlo dlouhou cestou, od základní syntaktické syntaktické analýzy stromu až po velké vektorové asociační modely. Porozumění kontextu v textu je jedním z největších problémů v poli NLP a Universal Sentence Encoder to řeší převodem textu ve vysokodimenzionálních vektorech, což usnadňuje hodnocení a označení textu.

Image
Image

Podle Google „ Všechny tři nové moduly jsou postaveny na sémantické vyhledávací architektuře, která obvykle rozděluje kódování otázek a odpovědí do samostatných neuronových sítí, což umožňuje vyhledávat mezi miliardami potenciálních odpovědí během milisekund. „Jinými slovy, to pomáhá při lepší indexaci dat.

Všechny tři vícejazyčné moduly jsou trénovány pomocí víceúčelového rámce duálního kodéru, který je podobný původnímu modelu USE pro angličtinu, zatímco používají techniky, které jsme vyvinuli pro zdokonalení duálního kodéru pomocí přístupu aditivní marže softmax. Jsou navrženy nejen k udržení dobrého výkonu učení přenosu, ale také k dobrému provádění úkolů sémantického načítání. “Funkce Softmax se často používá k úspoře výpočetního výkonu umocněním vektorů a následným vydělením každého prvku součtem exponenciálu.

Architektura sémantického vyhledávání

"Všechny tři nové moduly jsou postaveny na sémantických vyhledávacích architekturách, které obvykle rozdělují kódování otázek a odpovědí do samostatných neuronových sítí, což umožňuje hledat mezi miliardami potenciálních odpovědí během milisekund." Klíčem k použití duálních kodérů pro efektivní sémantické vyhledávání je předkódování všech odpovědí kandidátů na očekávané vstupní dotazy a jejich uložení do vektorové databáze, která je optimalizována pro řešení problému nejbližšího souseda, což umožňuje rychlé a velké prohledávání velkého počtu kandidátů přesnost a odvolání. “

Tyto moduly si můžete stáhnout z TensorFlow Hub. Další informace najdete v úplném příspěvku blogu GoogleAI.

Doporučuje: