Til modeli

Til modeli (ingl. language model) − tábiyiy tildiń itimal modeli bolıp tabıladı.^[1] 1980 jılı birinshi zárúr statistikalıq til modeli usınıs etildi hám onjıllıqta IBM “Shennon stilinde” tájiriybeler alıp bardı, onda tildi modellestiriwdi jaqsılawdıń potencial derekleri tekstti boljaw yamasa dúzetiwde adam subyektleriniń ónimliligin baqlaw hám tallaw arqalı anıqlandı.^[2]

Til modelleri sóylewdi tanıw (itimallıǵı tómen (mısalı, sandıraq) izbe-izliklerdi boljawdıń aldın alıwǵa járdem beriw), mashinalıq awdarma, tábiyiy tildiń generaciyası (adamǵa uqsas tekstti kóbirek jaratıw), optikalıq simvollardı tanıw, qoljazbanı tanıw, atap ótsek hár túrli wazıypalar ushın paydalı, grammatikalıq indukciya, hám informaciyanı izlew.

Házirgi waqıtta úlken til modelleri olardıń eń jetik forması - úlken maǵlıwmatlar jıynaǵınıń (kóbinese hámmege ashıq internetten alınǵan sózlerdi paydalanadı), neyron tarmaqlardıń hám transformatorlardıń kombinaciyası. Olar aldın taza statistikalıq modellerdi, mısalı sóz n-gram til modeliniń ornın basqan qaytalanatuǵın neyron tarmaǵına tiykarlanǵan modellerdi almastırdı.

Neyron modeller

Qaytalanatuǵın neyron tarmaq

Úziliksiz kórinisler sózlerdi kirgiziwdi qaytalanatuǵın neyron tarmaqqa tiykarlanǵan til modellerinde isleydi (úziliksiz keńislik til modelleri retinde de belgili).^[3] Bunday úziliksiz keńislikti ámelge asırıwshılar ólshemli unamsızlıqtı ańsatlastırıwǵa járdemlesedi, bul sózlik qorınıń kólemine qaray eksponencial túrde artıp baratırǵan sózlerdiń itimal izbe-izlik sanınıń aqıbeti bolıp tabıladı, soń maǵlıwmatlardıń azlıǵı mashqalasın payda etedi. Neyron tarmaqlar sózlerdi neyron tarmaqtaǵı salmaqlardıń sızıqlı emes kombinaciyası retinde kórsetiw arqalı bul máseleniń aldın aladı.

Bahalaw hám kórsetkishler

Til modelleriniń sapasın bahalaw tiykarınan tilge baǵdarlanǵan tipli wazıypalardan jaratılǵan adam tárepinen islegen model kórsetkishleri menen salıstırıw arqalı ámelge asırıladı. Basqa, azıraq ornatılǵan sapa testleri til modeliniń ishki xarakterin izertleydi yamasa usınday eki modeldi salıstıradı. Til modelleri ádette dinamikalıq bolıwǵa hám olar kóretuǵın maǵlıwmatlardan úyreniwge arnalǵanı ushın, ayırım usınılǵan modeller oqıw tezligin izertleydi, mısalı oqıw qıysıq sızıǵın tekseriw arqalı.^[4]

Derekler

↑ Jurafsky, Dan; Martin, James H. „N-gram Language Models“,. Speech and Language Processing, 3rd, 2021.
↑ Rosenfeld, Ronald. Two decades of statistical language modeling: Where do we go from here?. https://figshare.com/articles/journal_contribution/6611138.
↑ Karpathy. „The Unreasonable Effectiveness of Recurrent Neural Networks“. 1-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 27-yanvar 2019-jıl.
↑ Karlgren, Jussi; Schutze, Hinrich (2015), „Evaluating Learning Language Representations“, International Conference of the Cross-Language Evaluation Forum, Lecture Notes in Computer Science, 254–260-bet, doi:10.1007/978-3-319-64206-2_8, ISBN 9783319642055 {{citation}}: Unknown parameter |publisher= ignored (járdem)

[1] Jurafsky, Dan; Martin, James H. „N-gram Language Models“,. Speech and Language Processing, 3rd, 2021.

[2] Rosenfeld, Ronald. Two decades of statistical language modeling: Where do we go from here?. https://figshare.com/articles/journal_contribution/6611138.

[3] Karpathy. „The Unreasonable Effectiveness of Recurrent Neural Networks“. 1-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 27-yanvar 2019-jıl.

[4] Karlgren, Jussi; Schutze, Hinrich (2015), „Evaluating Learning Language Representations“, International Conference of the Cross-Language Evaluation Forum, Lecture Notes in Computer Science, 254–260-bet, doi:10.1007/978-3-319-64206-2_8, ISBN 9783319642055 {{citation}}: Unknown parameter |publisher= ignored (járdem)

[1]

[2]

[3]

[4]