BERT (nyelvi modell)

BERT

Információ

Fejlesztette	Google Kutatás ( d )
Az első verzió	2018
Letét	github.com/google-research/bert
Adatok mérete	110 000 000 és 340 000 000 paraméter
típus	Nyelvi modell Transformer modell
Engedély	Apache licenc 2.0 verzió
Weboldal	ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

A természetes nyelvi feldolgozás , BERT , betűszó Kétirányú Encoder képviseletek Transformers , a nyelvi modell által fejlesztett Google 2018-ban Ez a módszer jelentősen jobb teljesítményt nyelv automatikus feldolgozását .

Használja alkalmazásokban

A 2019. október 25, A Google hivatalosan bejelenti, hogy a BERT mostantól integrálva van egyes üzleti szolgáltatásaiba (Cloud TPU , a TensorFlow könyvtár ), és hogy a bevezetésére a következő napokban kerül sor, először az angol, majd a többiek számára. A Mountain View cég ezt a változást a Google algoritmusának legjelentősebb változásának minősíti 5 éven keresztül, amikor a RankBrain elindult.

A módszert a francia nyelvhez igazították 2019-ben, CamemBERT és FlauBERT modellekkel. CamemBERT-t 138 GB-os, FlauBERT-t 71 GB-os szöveges korpuszra készítették elő.

Bibliográfia

• https://arxiv.org/abs/1810.04805 .

Lásd is

Kapcsolódó cikkek

• Stanford kérdés megválaszolása adatkészlet
• Word2vec

Külső linkek

• Github könyvtár

Megjegyzések és hivatkozások

1. „  Hogyan BERT, a legnagyobb frissítés a Google világát algoritmus  ” (megajándékozzuk 1 -jén május 2020 )
2. (in) "  Open Sourcing BERT: State-of-the-art Pre-Training for Natural Language Processing  " a Google AI Blogban (hozzáférés: 2019. október 30. )
3. https://arxiv.org/abs/1911.03894
4. https://arxiv.org/abs/1912.05372