Qaraqalpaqsha Wikipedia

Tereń oqıtıw

Tereń oqıtıw, (ingl. Deep Learning) kóbinese Tereńletip oqıtıw dep te ataladı, neyronlardı yamasa neyronlar qatlamların qollanıp, gipoteza keńisligin hám usı keńislikten úyreniw usılın anıqlaw múmkinshiligin beredi, olar ierarxiyalıq strukturanı payda etedi. Bul modelge aldınnan belgilengen operaciyalar toplamına salıstırǵanda kóbirek iykemlilik beredi, quramalı úlgiler hám úlken kólemli maǵlıwmatlardı nátiyjeli qayta islewge múmkinshilik beredi.

Representing images on multiple layers of abstraction in deep learning
Tereń oqıtıwda súwretlerdi kóp qatlamlı abstrakciya arqalı kórsetiw[1]

Tereń oqıtıw - bul usınıs úyreniw ushın neyron tarmaqlardı qollanatuǵın mashinalıq oqıtıw usıllarınıń bir bólegi. Bul taraw biologiyalıq neyroilimnen ilham aladı hám jasalma neyronlardı qatlamlarǵa jaylastırıw hám olardı maǵlıwmatlardı qayta islewge "úyretiw" átirapında qurılǵan. "Tereń" sózi tarmaqta kóp qatlamlardı (úshten bir neshe júz yamasa mıńǵa shekem) qollanıwdı bildiredi. Qollanılatuǵın usıllar baqlanatuǵın, yarım-baqlanatuǵın yamasa baqlanbaytuǵın bolıwı múmkin.[2]

Geypara keń tarqalǵan tereń oqıtıw tarmaq arxitekturalarına tolıq baylanısqan tarmaqlar, tereń isenim tarmaqları, qaytalanatuǵın neyron tarmaqları, konvolyuciyalıq neyron tarmaqları, generativlik qarama-qarsı tarmaqlar, transformatorlar hám neyron radiaciya maydanları kiredi. Bul arxitekturalar kompyuter kóriwi, sóylewdi tanıw, tábiyiy tildi qayta islew, mashina awdarması, bioinformatika, dári dizaynı, medicinаlıq súwret analizi, klimat ilimi, material tekseriw hám taxta oyınları programmaları sıyaqlı tarawlarda qollanılǵan, olar adam ekspert dárejesine teń hám geypara jaǵdaylarda onnan da joqarı nátiyjeler bergen.[3][4][5]

Neyron tarmaqlarınıń dáslepki formaları biologiyalıq sistemalardaǵı, ásirese adam miyindegi maǵlıwmattı qayta islew hám tarqatılǵan baylanıs noqatlarınan ilham alǵan. Biraq, házirgi neyron tarmaqları organizmlerdiń miy funkciyasın modellestiriwdi niyet etpeydi hám bul maqset ushın ulıwma tómen sapalı modeller dep esaplanadı.[6]

Sholıw

Kópshilik házirgi tereń oqıtıw modelleri konvolyuciyalıq neyron tarmaqları hám transformatorlar sıyaqlı kóp qatlamlı neyron tarmaqlarına tiykarlanǵan, biraq olar tereń isenim tarmaqları hám tereń Bolcman mashinalarındaǵı túyinler sıyaqlı tereń generativ modellerde qatlam boyınsha shólkemlestiriliwi múmkin bolǵan propoziciyalıq formulalardı yamasa latent ózgeriwshilerdi de óz ishine alıwı múmkin.[7]

Negizinde, tereń oqıtıw - bul kiris maǵlıwmatlardı azǵana abstrakt hám quramalı kórsetiwge ózgertiwge qatlamlar ierarxiyası qollanılatuǵın mashinalıq oqıtıw algoritmleriniń klassı. Mısalı, súwretti tanıw modelinde, hám kiris súwret (piksellerdiń tenzorı retinde kórsetilgen) bolıwı múmkin. Birinshi kórsetiw qatlamı sızıqlar hám sheńberler sıyaqlı tiykarǵı formаlardı anıqlawǵa háreket etiw múmkin, ekinshi qatlam sheklerdiń jaylasıwın payda etedi hám kodlaydı, úshinshi qatlam murın hám kózlerdi kodlaw múmkin, al tórtinshi qatlam súwrette júz bar ekenin tanıw múmkin.

Áhmiyetlisi, tereń oqıtıw processi qaysı ózgesheliklerdi qaysı dárejede optimal jaylastırıwdı ózi úyrene aladı. Tereń oqıtıwǵa deyin, maǵlıwmatlardı klassifikaciya algoritmi islewi ushın qolaylıraq kórsetiwge ózgertiw kóp jaǵdaylarda qolda isleylenetuǵın ózgeshelikler injeneringіn talap etetuǵın edi. Tereń oqıtıw usılında ózgeshelikler qolda islenbeydi hám model maǵlıwmatlardan paydalı ózgeshelik kórsetiwlerin avtomatik túrde tabadı. Bul qolda sazlawdıń kerek emes ekenin bildirmeydi; mısalı, qatlamlar sanınıń hám qatlam ólshemleriniń ózgeriwi abstrakciyalanıwdıń hár qıylı dárejelerin beriwi múmkin.[8][2]

"Tereń oqıtıw" termininiń "tereń" sózi maǵlıwmatlar ózgeretuǵın qatlamlar sanın bildiredi. Anıǵıraq aytqanda, tereń oqıtıw sistemalarında áhmiyetli kredit belgilew jolı (KBJ) (ingl. credit assignment path, CAP) tereńligi bar. KBJ - bul kiristen shıǵısqa shekem bolǵan ózgerisler dizbegi. KBJlar kiris penen shıǵıs arasındaǵı potencial sebepli baylanıslardı súwretleydi. Aldıǵa baǵdarlanǵan neyron tarmaǵı ushın, KBJlardıń tereńligi tarmaqtıń tereńligine teń hám jasırın qatlamlar sanına bir qosılǵanǵa teń (sebebi shıǵıs qatlamı da parametrlengen). Signal bir qatlamnan bir neshe ret óte alatuǵın rekurrent neyron tarmaqları ushın, KBJ tereńligi sheksiz bolıwı múmkin.[9] Sayız oqıtıwdı tereń oqıtıwdan ayıratuǵın ulıwma qabıl etilgen tereńlik shegarası joq, biraq kópshilik izertlewshiler tereń oqıtıw KBJ tereńligi ekiden joqarı ekenine kelisedi. Tereńligi eki bolǵan KBJnıń universal jaqınlastırıwshı ekenligin, yaǵnıy qálegen funkciyanı emulaciya qıla alatuǵını kórsetilgen.[10] Bunnan tısqarı, qosımsha qatlamlar tarmaqdıń funkciya jaqınlastırıw qábiletin arttırmaydı. Tereń modeller (KBJ > eki) sayız modellerge qaraǵanda jaqsıraq ózgesheliklerdi shıǵarıp ala aladı, sonlıqtan qosımsha qatlamlar ózgesheliklerdi effektiv úyreniwge járdem beredi.

Tereń oqıtıw arxitekturaların sıqmar qatlam-qatlam usılı menen dúziw múmkin. Tereń oqıtıw bul abstrakciyalardı sheshiwge hám qaysı ózgeshelikler iskerlikti jaqsılaytuǵının anıqlawǵa járdem beredi.[8]

Tereń oqıtıw algoritmlerin baqlanbaytuǵın oqıtıw wazıypalarına qollanıw múmkin. Bul áhmiyetli artıqmashlıq, sebebi belgisiz maǵlıwmatlar belgilengen maǵlıwmatlarǵa qaraǵanda kóbirek. Baqlanbaytuǵın usılda oqıtıla alatuǵın tereń strukturalarǵa tereń isenim tarmaqları mısal bola aladı.[8][11]

Tereń Oqıtıw termini mashinalıq oqıtıw jámiyetine 1986-jılı Rina Dehter tárepinen kiritilgen,[12] al jasalma neyron tarmaqlarına 2000-jılı Igor Ayzenberg hám onıń kásiplesleri tárepinen Bul sheklik neyronları kontekstinde kiritilgen.[13][14] Degen menen, onıń payda bolıw tariyxı kórinetuǵınınan quramalıraq.[15]

Interpretaciyalar

Tereń neyron tarmaqları ulıwma jaǵdayda universal jaqınlastırıw teoreması [16][17][18][19] yamasa itimallıq juwmaǵı [20][21][8][9][22] kózqarasınan interpretaciyalanadı.

Klassikalıq universal jaqınlastırıw teoreması shekli ólshemdegi bir jasırın qatlamı bar aldıǵa baǵdarlanǵan neyron tarmaqlardıń úziliksiz funkciyalardı jaqınlastırıw qábiletine tiyisli.[16][17][18][19] 1989-jılı birinshi dálil sigmoid aktivlestiriw funkciyaları ushın Djordj Saybenko tárepinen basıp shıǵarıldı[16] hám 1991-jılı Kurt Xornik tárepinen aldıǵa baǵdarlanǵan kóp qatlamlı arxitekturalarda ulıwmalastırıldı.[17] Sonǵı izertlewler universal jaqınlastırıwdıń Kunixiko Fukushimanıń dúzetilgen sızıqlı birlik sıyaqlı sheklenbegen aktivlestiriw funkciyaları ushın da orınlı ekenin kórsetti.[23][24]

Tereń neyron tarmaqları ushın universal jaqınlastırıw teoreması keńligi sheklengen, biraq tereńligi ósiwine ruqsat etilgen tarmaqlardıń qábiletine tiyisli. Lu hám basqalar. ReLU aktivlestiriwi bar tereń neyron tarmaǵınıń keńligi kiris ólsheminen qatań úlken bolsa, onda tarmaq qálegen Lebeg integrallanıwshı funkciyanı jaqınlastıra alatuǵının; eger keńlik kiris ólshemine teń yamasa kishi bolsa, onda tereń neyron tarmaǵı universal jaqınlastırıwshı bolmaytuǵının dálilledi.

Itimallıq interpretaciyası[22] mashinalıq oqıtıw tarawınan kelip shıǵadı. Ol juwmaq,[21][7][8][9][11][22] sıyaqlı oqıtıw hám testlewdiń optimizaciya koncepciyaların óz ishine aladı, olar sáykes túrde saykes keliw hám ulıwmalastırıw menen baylanıslı. Anıǵıraq aytqanda, itimallıq interpretaciyası aktivlestiriw sızıqsızlıǵın jıynaw bólistiriw funkciyası retinde qaraydı.[22] Itimallıq interpretaciyası neyron tarmaqlarda dropout regularizatorın kirgiziliwine alıp keldi. Itimallıq interpretaciyası Xopfild, Widrow hám Narendra sıyaqlı izertlewshiler tárepinen kiritilgen hám Bishop sıyaqlı izertlewshilerdiń sholıwlarında keń tarqalǵan.[25]

Tariyxı

1980-jılǵa deyin

Eki túrli jasalma neyron tarmaǵı (JNT) bar: aldıǵa baǵdarlanǵan neyron tarmaǵı (ABNT) yamasa kóp qatlamlı perceptron (KQP) hám rekurrent neyron tarmaqlari (RNT). RNTlarda baylanıs strukturasında cikllar bar, ABNTlarda joq. 1920-jılları Vilgelm Lenc hám Ernst Izing tiykarınan neyron tárizli sheklik elementlerinen turatuǵın oqıtılmaytuǵın RNT arxitekturası bolǵan Izing modelin dúzdi.[26][27] 1972-jılı Shunichi Amari bul arxitekturanı adaptiv etti.[28] Onıń oqıtılatuǵın RNTı 1982-jılı Djon Xopfild tárepinen qayta basıp shıǵarıldı.[29] Basqa erte rekurrent neyron tarmaqları1971-jılı Kaoru Nakano tárepinen basıp shıǵarıldı.[30][31] 1948-jılı sonday-aq Alan Tyuring "Intellektual mashinalardı" boyınsha óz ómirinde basılıp shıǵarılmaǵan jumıs isledi,[32] onda "jasalma evolyuciya hám oqıtılatuǵın RNTlar menen baylanıslı ideyalar" bar edi[33]

Frank Rozenblatt (1958)[34] 3 qatlamlı perceptrondı usındı: kiris qatlamı, oqıtılmaytuǵın tosınnan salmaqlı jasırın qatlam hám shıǵıs qatlamı. Ol keyinirek 1962-jılı variantlardı hám kompyuter eksperimentlerin, sonıń ishinde sonǵı eki qatlamı oqıtılatuǵın salmaqlı bolǵan "adaptiv preterminal tarmaqlı" tórt qatlamlı perceptron versiyasın (bul jerde ol X. D. Blok hám B. W. Nayttı atap ótedi) kiritken kitap shıǵardı.[35]: 16-bólim Kitapta R. D. Djozeftiń (1960)[36] bul tórt qatlamlı sistemanıń "variantına funkcionallıq jaǵınan ekvivalent" bolǵan erterek tarmaǵı keltirilgen (kitapta Djozef 30 dan artıq ret tilge alınadı). Solay etip, Djozefti oqıtılatuǵın jasırın birlikleri bar durıs adaptiv kóp qatlamlı perceptronlardıń avtorı dep esaplaw kerek pe? Tilekke qarsı, oqıtıw algoritmi funkcionallıq emes edi hám oǵan umtıldı.

Birinshi isleytuǵın tereń oqıtıw algoritmı Maǵlıwmatlardı qayta islewdiń Toparlıq usılı boldı, ol qálegen tereńliktegi neyron tarmaqlardı oqıtıw usılı, 1965-jılı Aleksey Ivaxnenko hám Lapa tárepinen basıp shıǵarıldı. Olar onı polinom regressiyasınıń bir túri[37] yamasa Rozenblatt perceptronınıń ulıwmalastırılıwı dep esapladı.[38] 1971-jılǵı maqalada bul usıl menen oqıtılǵan segiz qatlamlı tereń tarmaq súwretlengen,[39] ol regressiyalıq analiz arqalı qatlam-qatlam oqıtıwǵa tiykarlanǵan. Artıq jasırın birlikler bóleklengen validaciya toplamı járdeminde qırqıp taslanadı. Túyinlerdiń aktivlestiriw funkciyaları Kolmogorov-Gabor polinomaları bolǵanlıqtan, bular kóbeytiwshi birlikleri yamasa "dárwazaları" bar birinshi tereń tarmaqlar edi.

Stoxastikalıq gradient túsiw usılı menen oqıtılǵan birinshi tereń oqıtıw kóp qatlamlı perceptronı 1967-jılı Shunichi Amari tárepinen basıp shıǵarıldı.[40] Amaridiń studentı Saito ótkergen kompyuter eksperimentlerinde, eki ózgertiletuǵın qatlamı bar bes qatlamlı KQP sızıqlı ajıratılmaytuǵın pattern klassların klassifikaciyalaw ushın ishki kórsetiwlerdi úyrendi. Keyingi apparatlıq támiyinlew hám giperparametr sazlawlarındaǵı rawajlanıwlar stoxastikalıq gradient túsiwdi házirgi waqıtta basım oqıtıw texnikasına aylandırdı.

1969-jılı Kunixiko Fukushima ReLU (dúzetilgen sızıqlı birlik) aktivlestiriw funkciyasın kirgizdi.[23] Dúzetkish tereń oqıtıw ushın eń keń tarqalǵan aktivlestiriw funkciyasına aylandı.

Konvolyuciyalıq qatlamlar hám úlgi kemitiw qatlamları bar konvolyuciyalıq neyron tarmaqları (KNT) ushın tereń oqıtıw arxitekturaları 1979-jılı Kunixiko Fukushima tárepinen kirgizilgen Neokognitronnan baslandı, biraq ol keri tarqalıw usılı menen oqıtılmadı.[41][42]

Keri tarqalıw - bul 1673-jılı Gottfrid Vilgelm Leybniz tárepinen islep shıǵarılǵan dizbekli qaǵıydanıń differenciallanatuǵın túyinler tarmaǵına effektiv qollanılıwı. "Qátelerdi keri tarqatıw" terminologiyası 1962-jılı Rozenblatt tárepinen kirigizilgen, biraq ol onı qalay ámelge asırıwdı bilmedi, degen menen Genri Dj. Kelli 1960-jılı basqarıw teoriyası kontekstinde keri tarqalıwdıń úziliksiz aldın alıwshısına iye edi.[43] Keri tarqalıwdıń házirgi forması birinshi ret Seppo Linnaynmaanıń magistrlik dissertaciyasında (1970) basıp shıǵarıldı.[44] G.M. Ostrovskiy hám basqalar onı 1971-jılı qayta basıp shıǵardı.[45] Paul Verbos keri tarqalıwdı 1982-jılı neyron tarmaqlarına qollandı (onıń 1974-jılǵı PhD dissertaciyası, 1994-jılǵı kitapta qayta basılǵan, ele algoritmdi súwretlemegen edi[45]). 1986-jılı Devid E. Rumelxart hám basqalar keri tarqalıwdı keń tarqattı, biraq dáslepki jumısqa silteme bermedi.[46]

1980-2000 jıllar

Waqıt keshigiw neyron tarmaǵı (WKNT) 1987-jılı Aleks Vaybel tárepinen KNTnı fonema tanıwǵa qollanıw ushın kirgizildi. Ol konvolyuciyalardı, salmaqlardı bólisiw hám keri tarqalıwdı qollandı. 1988-jılı Vey Chjan keri tarqalıw menen oqıtılǵan KNTnı álipbe tanıwǵa qollandı.[47] 1989-jılı Yann Lekun hám basqalar pochtadaǵı qolda jazılǵan ZIP kodların tanıw ushın LeNet dep atalatugın KNTnı dúzdi. Oqıtıw 3 kún talap etti. 1990-jılı Vey Chjan KNTnı optikalıq esaplaw apparatında ámelge asırdı.[48] 1991-jılı KNT medicinаlıq súwret obyektin segmentaciyalaw[49] hám mammogrammalarda emshek rakın anıqlaw[50] ushın qollanıldı. Yann Lekun hám basqalarınıń sanlardı klassifikaciyalaytuǵın 7 dárejeli KNTsı LeNet-5 (1998) bir qansha banklar tárepinen 32x32 piksel súwretlerge cifrlastırılǵan qolda jazılǵan cheklerdegi sanlardı tanıw ushın qollanıldı.[51]

Qaytalanatuǵın neyron tarmaqları (QNT) (ingl. Recurrent neural networks, RNN)[26][28] 1980-jıllarda qosımsha rawajlandı. Qaytalanıw izbe-izlikti qayta islew ushın qollanıladı hám qaytalanatuǵın tarmaqlardı ashqanda, ol matematikalıq jaqtan tereń túrdegi aldıǵa baǵdarlanǵan qatlamǵa uqsaydı. Nátiyjede, olardıń uqsas qásiyetleri hám máselesi bar, olardıń rawajlanıwı bir-birine tásir etken. QNT da eki dáslepki tásirli jumıslar - bul Jordan tarmaǵı (1986)[52] hám Elman tarmaǵı (1990) boldı,[53] olar QNT dı kognitiv psixologiya máselerin úyreniwde qollandı.

1980-jıllarda, uzaq kredit berilgen jollar menen tereń oqıtıw ushın keri tarqalıw jaqsı islemedi. Bul máseleni sheshiw ushın 1991-jılı Yurgen Shmidxuber óz-ózin úyretiw arqalı bir waqıtta bir dárejede aldınnan úyretiletuǵın QNT ierarxiyasın usındı, bunda hár bir QNT óz keyingi kirisin boljaydı, bul tómendegi QNT nıń kelesi kútilmegen kirisi bolıp tabıladı.[54][55] Bul "neyron tariyx qısqartıwshısı" kóp sanlı óz-ózin shólkemlestiriwshi waqıt masshtablarında ishki kórsetpelerdi úyreniw ushın boljamlı kodlawdı paydalanbaydı. Bul keyingi tereń oqıtıwdı áhmiyetli dárejede jeńillestiriwi múmkin. QNT ierarxiyası joqarı dárejeli bólsheklewshi tarmaqtı tómendegi dárejeli avtomatlastırıwshı tarmaǵına jiberip, bir QNT ǵa biriktiriliwi múmkin.[54][55] 1993-jılı neyron tariyx qısqartıwshısı waqıt boyınsha ashılǵan QNT da 1000 nan artıq izbe-iz qatlamlardı talap etetuǵın "Júdá Tereń Oqıtıw" máselesin sheshti. ChatGPT daǵı "P" usınday aldınnan oqıtıwǵa tiyisli.

Sepp Xoxrayterdiń diplom jumısı (1991) neyron tariyx qısqartıwshısın,[54] ámelge asırdı hám jobalanatuǵın gradient máselesin anıqladı hám talladı.[56][57] Xoxrayter jobalanatuǵın gradient máselesin sheshiw ushın qaytalanatuǵın qaldıq baylanıslardı usındı. Bul 1995-jılı jarıq kórgen uzaq qısqa múddetli este saqlaw (UQMES) ge alıp keldi. UQMES mıńlaǵan ayırım waqıt adımları aldın bolǵan waqıyalardı este saqlaw talap etiletuǵın uzaq kredit berilgen joldı "júdá tereń oqıtıw" wazıypaların úyrene aladı.[9] Sol UQMES ele házirgi arxitektura emes edi, oǵan 1999-jılı kirgizilgen "umıtıw dárwazası" kerek boldı[6], keyin ala ol standart QNT arxitekturası boldı.

1991-jılı Yurgen Shmidxuber bir tarmaqtıń jetiskenligi ekinshi tarmaqtıń sátsizligi bolatuǵın nóllik summadaǵı oyın túrinde bir-biri menen jarısatuǵın qarsılas neyron tarmaqlardı da járiyaladi.[58] Birinshi tarmaq - shıǵıs úlgileri boyınsha itimallıq bólistirilwin modellestiretuǵın generativlik model. Ekinshi tarmaq bul úlgilerge ortalıqtıń reakciyaların boljaw ushın gradient túsiw jolı menen úyrenedi. Bul "jasalma qızıǵıwshılıq" dep ataladı. 2014-jılı bul princip generativ qarsılas tarmaqlarda (GQT) qollanıldı.[59]

1985-1995 jıllar aralıǵında, statistikalıq mexanikadan ilham alıp, Terry Seynovski, Piter Dayan, Djeffri Xinton hám basqalar tárepinen bir neshe arxitekturalar hám metodlar islep shıǵıldı, olardıń ishinde Bolcman mashinası,[60] sheklengen Bolcman mashinası,[61] Helmgolc mashinası, hám oyaw-uyqı algoritmi bar.[62] Bular tereń generativ modellerin qadaǵalawsız oqıtıw ushın dizayn etilgen edi. Biraq, olar keri tarqalıw algoritmine salıstırǵanda esaplaw jaqtan qımbatıraq edi. 1985-jılı járiyalanǵan Bolcman mashinasın úyretiw algoritmi 1986-jılı keri tarqalıw algoritmi tárepinen kóleńkede qalǵanǵa shekem qısqa waqıt dawamında keń tarqalǵan edi (b. 112 [63]). 1988-jılǵı tarmaq protein strukturasın boljawda eń joqarı kórsetkishke eristi, bul bioinformatikada tereń oqıtıwdıń dáslepki qollanılıwlarınan biri edi.[64]

Sóylewdi tanıw ushın JNT nıń sayız hám tereń oqıtıwı (mısalı, qaytalanatuǵın tarmaqlarda) kóp jıllar dawamında izertlendi. Bul metodlar hesh qashan sóylewdi diskriminativ túrde úyretilgen generativ modeller tiykarındaǵı bir tekli emes ishki-qollap islengen Gauss aralaspa modeli/Jasırın Markov modeli (GAM-JMM) texnologiyasınan artıq nátiyje kórsete almadı. Gradient kemeyiwi hám neyron boljamlı modellerdegi waqıtlıq korrelyaciya strukturasınıń háreketiniń [65] hálsiz ekenligi sıyaqlı tiykarǵı qıyınshılıqlar tallap shıǵıldı. Qosımsha qıyınshılıqlar - oqıtıw maǵlıwmatlarınıń jetispewshiligi hám sheklengen esaplaw quwatı edi.

Kópshilik sóylewdi tanıw izertlewshileri neyron tarmaqlardı taslap, generativ modellestiriw menen shuǵıllandı. 1990-jıllardıń aqırında SRI International bunnan awlaq boldı. AQSH húkimetiniń NSA hám DARPA támiyinlegen ǵárejeti menen SRI sóylew hám sóylewshini tanıw boyınsha izertlew alıp bardı. Larri Xek basshılıǵındaǵı sóylewshini tanıw toparı 1998-jılǵı NIST Sóylewshini Tanıw bahalaw sınawında sóylewdi qayta islew boyınsha tereń neyron tarmaqlarda áhmiyetli tabısqa eristi.[66][67] Bul Nuance Verifier de qollanıldı hám tereń oqıtıwdıń birinshi iri industrial qollanılıwın kórsetti.

"Raw" ózgesheliklerdiń qollap islengen optimizaciyadan joqarı qoyıw principi birinshi ret 1990-jıllardıń aqırında "raw" spektrogramma yamasa sızıqlı filtr-bank ózgeshelikleri boyınsha tereń avtoenkoder arxitekturasında tabıslı izertlendi, bul spektrogrammalardan ózgermelew basqıshların óz ishine alatuǵın Mel-Kepstral ózgesheliklerinen artıqmashlıǵın kórsetti. Sóylewdiń raw ózgeshelikleri, tolqın formaları keyinirek úlken masshtablı jaqsı nátiyjeler berdi.[68]

2000-jıllar

Neyron tarmaqlardıń rawajlanıwı toqtap qaldı, hám 1990-2000 jıllarda Gabor filtrleri hám tirewshi vektor mashinaları (TVM) sıyaqlı wazıypaǵa tiyisli qollap islengen ózgesheliklerdi paydalanatuǵın ápiwayı modeller artıqmashlıq ala basladı, sebebi jasalma neyron tarmaqlardıń esaplaw qunı joqarı edi hám miydiń biologiyalıq tarmaqlardı qalay dúziwi haqqında túsinik jetispedi.

2003-jılı UQMES (LSTM) ayırım wazıypalarda dástúrli sóylew tanıwshılar menen básekilese alatugın boldı.[69] 2006-jılı Aleks Greyves, Santiago Fernandes, Faustino Gomes hám Shmidxuber onı UQMES dásteleri menen konnekcionistlik waqıtlıq klassifikaciya (KWK)[70] menen birlestirdi. 2009-jılı ol tutasqan qoldan jazıwdı tanıw boyınsha pattern tanıw jarısında jeńiske erisken birinshi QNT boldı.[9]

2006-jılı Djeff Xinton, Ruslan Salaxutdinov, Osindero hám Texlerdiń publikaciyalarında[71][72] generativ modellestiriw ushın tereń isenimlilik tarmaqları rawajlandırıldı. Olar birinshi sheklengen Bolcman mashinasın oqıtıw arqalı úyretiledi, soń onı muzlatıp, birinshisiniń ústine ekinshisin oqıtadı hám solay dawam etedi, keyin qálegen waqıtta qadaǵalanǵan keri tarqalıw arqalı jetilistiriw múmkin. Olar MNIST súwretleriniń tarqalıwı sıyaqlı joqarı ólshemli itimallıq tarqalıwların modellestire alatuǵın edi, biraq tutasıw áste boldı.[73][74][75]

Yann LeCunnıń aytıwınsha, tereń oqıtıwdıń sanaat tarawındaǵı tásiri 2000-jıllardıń basında baslandı, sol waqıtta CNT lar AQSH ta jazılǵan barlıq cheklerdiń 10% ten 20% ke shekemin qayta isleytuǵın edi. Úlken kólemli sóylewdi tanıwda tereń oqıtıwdı sanaatta qollanıw 2010-jıl átirapında baslandı.

2009-jılǵı NIPS Sóylewdi Tanıw ushın Tereń Oqıtıw seminarı sóylewdiń tereń generativ modelleriniń sheklewleri hám quwatlıraq apparat hám úlken kólemli maǵlıwmatlar toplamları menen tereń neyron tarmaqlardıń ámeliy bolıw múmkinshiligi menen motivlengen edi. Tereń isenimlilik tarmaqlardıń (TIT) generativ modellerin paydalanıp TTT lardı aldınna úyretiw neyron tarmaqlardıń tiykarǵı qıyınshılıqların jeńedi dep isenilgen edi. Biraq, úlken, kontekstke baylanıslı shıǵıs qatlamların paydalanǵanda TTT lar ushın aldınnan úyretiwdi úlken kólemli oqıtıw maǵlıwmatları menen almastırıw ápiwayi keri tarqalıw jolı menen sol waqıttaǵı eń jetilik Gauss aralaspa modeli (GAM)/Jasırın Markov Modeli (JMM) hám rawajlanǵan generativ modelge tiykarlanǵan sistemalarǵa salıstırǵanda qáteler sanın áhmiyetli dárejede tómenletkeni anıqlandı. Eki túrli sistema payda etken tanıw qáteleriniń tábiyatı xarakterli túrde hár qıylı boldı,[76] bul barlıq iri sóylewdi tanıw sistemalarında qollanılatuǵın bar bolǵan júdá nátiyjeli, runtime sóylew dekodlaw sistemasına tereń oqıtıwdı integraciyalaw boyınsha texnikalıq túsinikler berdi.[77][78] 2009-2010 jıllar átirapındaǵı GAM (hám basqa generativ sóylew modellerin) TTT modelleri menen salıstırıw sóylewdi tanıw ushın tereń oqıtıwǵa dáslepki industrial investiciyalardı xoshametledi.[76] Bul analiz diskriminativ TTT lar hám generativ modeller arasında salıstırmalı iskerlik (qáte múǵdarı 1.5% ten kem) penen júrgizildi.[79][76][80] 2010-jılı izertlewshiler tereń oqıtıwdı TIMIT ten úlken sózlikli sóylewdi tanıwǵa keńeytti, bul sheshim aǵashları menen dúzilgen kontekstke baylanıslı JMM hallarına tiykarlanǵan TTT nıń úlken shıǵıs qatlamların qabıl etiw arqalı ámelge asırıldı.[81][77]

Tereń oqıtıw revolyuciyası

 
Tereń oqıtıwdıń mashinalıq oqıtıwdıń bir bólimi ekenligin hám mashinalıq oqıtıwdıń jasalma intellekttiń (JI) bir bólimi ekenligin túsindiriw

Tereń oqıtıw revolyuciyası CNN- hám GPU-ǵa tiykarlanǵan kompyuter kóriw sisteması dógereginde baslandı.

Keri tarqatıw arqalı úyretilgen CNN-ler onlaǵan jıllar dawamında bar bolǵan hám NN-lerdiń GPU ámelge asırılıwları jıllar dawamında, sonıń ishinde CNN-ler de bar edi,[82] kompyuter kóriw sistemasında alǵa ilgerilewge GPU-larda CNN-lerdiń tezrek ámelge asırılıwı kerek bolǵan. Keyinirek, tereń oqıtıw keń tarqalǵan sayın, arnawlı apparat támiynatı hám algoritm optimizaciyaları tereń oqıtıw ushın arnawlı islep shıǵıldı.

Tereń oqıtıw revolyuciyası ushın tiykarǵı alǵa ilgerilewlerdiń biri apparat támiynatındaǵı rawajlanıwlar, ásirese GPU bolǵan.[82] Bazı erte jumıslar 2004-jılǵa barıp taqaladı. 2009-jılı Raina, Madhavan hám Andrew Ng 30 Nvidia GeForce GTX 280 GPU-larında úyretilgen 100M tereń isenim tarmaqları haqqında xabar berdi, bul GPU-ǵa tiykarlanǵan tereń oqıtıwdıń erte kórsetpesi edi. Olar 70 ese tezIrek úyretiwdi xabarladı.

2011-jılı Dan Ciresan[83][84] Ueli Meier, Jonathan Masci, Luca Maria Gambardella hám Jurgen Schmidhuber tárepinen DanNet dep atalǵan CNN birinshi ret vizual nızamlılıqlardı tanıw jarısında adamnan joqarı nátiyje kórsetti, dástúriy usıllardı 3 ese artıq nátiyje menen jeńip ótti. Keyin ol basqa jarıslarda da jeńiske eristi.[85][86] Olar sonday-aq, GPU-daǵı maksimal birlestiriw CNN-leri iskerlikti áhmiyetli dárejede jaqsılaǵanın kórsetti.[3]

2012-jılı Andrew Ng hám Jeff Dean tek ǵana YouTube videolarınan alınǵan belgisiz súwretlerdi kórip, joqarı dárejeli túsiniklerdi, mısalı, pıshıqlardı tanıp biliw ushın úyrengen FNN dúzdi.

2012-jıl oktyabr ayında Alex Krizhevsky, Ilya Sutskever hám Geoffrey Hinton tárepinen jaratılǵan AlexNet úlken kólemli ImageNet jarısında sayız mashinalıq oqıtıw usıllarınan áhmiyetli parq penen jeńiske eristi. Keyingi ózgeriwler Karen Simonyan hám Andrew Zisserman tárepinen jaratılǵan VGG-16 tarmaǵın[4] hám Google kompaniyasınıń Inceptionv3 in óz ishine aladı.[87]

Súwret klassifikaciyasındaǵı tabıs keyin súwretler ushın sıpatlamalar (jazıwlar) jaratıwdıń qıyınıraq wazıypasına keńeytildi, kóbinese CNN hám LSTM birlesiwi sıpatında.

2014-jılı eń joqarı texnologiya 20 dan 30 ǵa shekem qatlamı bar "júdá tereń neyron tarmaqların" úyretiw edi.[88] Júdá kóp qatlamlardı úyiw úyretiw anıqlıǵınıń ádewir tómenlewine alıp keldi, bul "degradaciya" máselesi dep tanıldı. 2015-jılı júdá tereń tarmaqlar úyretiw ushın eki texnika islep shıǵıldı: Highway Network 2015-jıl may ayında járiyalandı, al qaldıq neyron tarmaǵı (ResNet) 2015-jıl dekabr ayında járiyalandı. ResNet ashıq dárwazalı Highway Net sıyaqlı háreketlenedi.

Shama menen sol waqıtta, tereń oqıtıw kórkem óner tarawına tásir ete basladı. Erte mısallar Google DeepDream (2015) hám neyron stilin kóshiriw (2015), di óz ishine aladı, olardıń ekewi de VGG-19 sıyaqlı aldınnan úyretilgen súwret klassifikaciyası neyron tarmaqlarına tiykarlanǵan edi.

Generativ qarsılasıw tarmaqı (GAN) (Ian Goodfellow hám basqalar, 2014) (Jurgen Schmidhuber'diń jasalma qızıǵıwshılıq principine tiykarlanǵan[59]) ) 2014-2018 jıllar aralıǵında generativ modellestiriwde eń joqarı texnologiya bolıp qaldı. Nvidia'nıń StyleGAN (2018)[89] Tero Karras hám basqalardıń Progressive GAN'ına tiykarlanıp júdá joqarı sapada súwretler jaratadı. Bunda GAN generatorı kishi ólshemnen úlken ólshemge qaray piramida tárizinde ósedi. GAN járdeminde súwret jaratıw keń qollanıldı hám deepfake'ler haqqında talqılawlardı keltirip shıǵardı.[90] Diffuziya modelleri (2015)[91] sol waqıttan baslap generativ modellestiriwde GAN'lardan ozıp ketti, DALL•E 2 (2022) hám Stable Diffusion (2022) sıyaqlı sistemalardı payda etti.

2015-jılı Google'diń sóylewdi tanıw texnologiyası LSTM tiykarlanǵan model arqalı 49% jaqsılandı hám onı aqıllı telefonlardaǵı Google Voice Search arqalı jetkilikli etti.[92]

Tereń oqıtıw hár túrli tarawlarda, ásirese kompyuter kóriwi hám avtomatik sóylewdi tanıw (ASR) sistemalarında eń aldıńǵı qatarlı texnologiya bolıp esaplanadı. TIMIT (ASR) hám MNIST (súwret klassifikaciyası) sıyaqlı keń qollanılatuǵın bahalaw toplamlarında, sonday-aq úlken sózlikli sóylewdi tanıwdıń bir qansha wazıypalarında nátiyjeleri izbe-iz jaqsılanıp bardı. Svertkalı neyron tarmaqları ASR ushın LSTM tárepinen ozıp ketti,[92][93][94] biraq kompyuter kóriwinde ele de tabıslı qollanılmaqta.

Yoshua Bengio, Geoffrey Hinton hám Yann LeCun "tereń neyron tarmaqların esaplaw texnikasınıń áhmiyetli komponenti etken konceptual hám injenerlik jetiskenlikler" ushın 2018-jılǵı Turing sıylıǵı menen sıylıqlandı.[95]

Neyron tarmaqları

 
Obyektti anıqlawda neyron tarmaqtı úyretiwdiń ápiwayılastırılǵan mısalı: Tarmaq teńiz juldızları hám teńiz kirpilerin sáwlelendiretuǵın kóp sanlı súwretler menen úyretiledi, olar kóriniw ózgesheliklerin bildiretuǵın "túyinler" menen baylanıstırıladı. Teńiz juldızları saqıynalı tekstura hám juldız forması menen sáykes keledi, al kópshilik teńiz kirpileri jolaqlı tekstura hám sopaq forma menen sáykes keledi. Biraq, saqıynalı teksturalı teńiz kirpisiniń mısalı olar arasında hálsiz salmaqlı baylanıstı payda etedi.
 
Tarmaqtı kiris súwretine (shep tárepte) keyingi qollanıwı:[96] Tarmaq teńiz juldızın durıs anıqlaydı. Biraq, saqıynalı tekstura menen teńiz kirpisi arasındaǵı hálsiz salmaqlı baylanıs sonıń menen birge aralıq túyinlerdiń birinen sońǵısına hálsiz signal beredi. Bunnan tısqarı, úyretiw procesine kirgizilmegen qabıq sopaq forma ushın hálsiz signal beredi, bul da teńiz kirpisi shıǵısı ushın hálsiz signaldı keltirip shıǵaradı. Bul hálsiz signallar teńiz kirpisi ushın jalǵan oń nátiyje beriwi múmkin.

Haqıyqatın da, teksturalar hám konturlar bir túyin menen emes, al bir neshe túyinniń baylanısqan salmaq úlgileri menen kórsetilgen bolar edi.

Jasalma neyron tarmaqları (JNT) yamasa baylanıs sistemalar haywanlar miyiniń biologiyalıq neyron tarmaqlarınan ilham alǵan esaplaw sistemaları bolıp tabıladı. Bunday sistemalar wazıypalardı orınlaw ushın mısallardı qarap shıǵıw arqalı úyrenedi (óz qábiletin az-azdan jaqsılap baradı), kóbinese wazıypaǵa baylanıslı arnawlı programmalastırıwsız. Mısalı, súwretti tanıwda, olar "pıshıq" yamasa "pıshıq emes" dep qoldan belgilengen mısal súwretlerdi analiz qılıw arqalı pıshıqları bar súwretlerdi anıqlaw usılın úyreniwi múmkin hám bul analiz nátiyjelerin basqa súwretlerdegi pıshıqlardı anıqlaw ushın qollanıwı múmkin. Olar kóbinese qaǵıydaǵa tiykarlanǵan programmalastırıw járdeminde dástúriy kompyuter algoritmi menen ańlatıw qıyın bolǵan qollanıwlarda eń kóp paydalanıladı.

JNT jasalma neyronlar dep ataladı baylanısqan birlikler toplamına tiykarlanǵan (biologiyalıq miydegi biologiyalıq neyronlarǵa uqsas). Neyronlar arasındaǵı hár bir baylanıs (sinaps) basqa neyronǵa signal jibere aladı. Qabıllawshı (postsinaptikalıq) neyron signaldı (signallardı) qayta islep, keyin ózi menen baylanısqan tómengi aǵımdaǵı neyronlarǵa signal jibere aladı. Neyronlarda hal bolıwı múmkin, bul kóbinese haqıyqıy sanlar menen kórsetiledi, ádettе 0 hám 1 arasında. Neyronlar hám sinapslar da úyreniw barısında ózgerip turatıǵın salmaǵı bolıwı múmkin, bul tómengi aǵımǵa jiberetugın signaldıń kúshin arttırıwı yamasa kemeytiw múmkin.

Kóbinese, neyronlar qatlamlar boyınsha shólkemlestiriledi. Hár qıylı qatlamlar óz kirislerin hár túrli ózgertiwlerge ushıratıwı múmkin. Signallar birinshi (kiris) qatlamnan aqırǵı (shıǵıs) qatlamǵa shekem júredi, múmkin qatlamlardı bir neshe ret ótip.

Neyron tarmaq usılınıń dáslepki maqseti adamnıń miyi sıyaqlı máselelеrdi sheshiw edi. Waqıttıń ótiwi menen, dıqqat belgili intellektual qábiletlerge sáykes keliw ústin qoyıldı, bul biologiyadan awıtqıwlarǵa alıp keldi, mısalı, keri tarqalıw yamasa maǵlıwmattı keri baǵıtta ótkiziw hám sol maǵlıwmattı sáwlelendiriw ushın tarmaqtı dúzetiw.

Neyron tarmaqlar kompyuter kóriwi, sóylewdi tanıw, mashina awdarması, sociallıq tarmaq filtrlew, taxta hám video oyınlar oynaw hám medicinalıq diagnoz qoyıw sıyaqlı hár túrli wazıypalarda qollanılǵan.

2017-jılǵa kelip, neyron tarmaqlar ádette bir neshe mıńnan bir neshe million birlikke hám millionlaǵan baylanıslarǵa iye. Bul san adam miyindegi neyronlar sanınan bir neshe tártipke kem bolsa da, bul tarmaqlar kóp wazıypalardı adam dárejesinen joqarı dárejede orınlay aladı (mısalı, júzlerdi tanıw yamasa "Go" oyının oynaw[97]).

Tereń neyron tarmaqları

Tereń neyron tarmaǵı (TNT) - bul kiris hám shıǵıs qatlamları arasında bir neshe qatlamı bar jasalma neyron tarmaǵı. Neyron tarmaqlarınıń hár qıylı túrleri bar, biraq olar bárqulla birdey qurawshılardan turadı: neyronlar, sinapslar, salmaqlar, qıysıqlıqlar hám funkciyalar.[98] Bul qurawshılar barlıǵı adam miyiniń funkciyaların eliklew usılında isleydi hám basqa ML algoritmi sıyaqlı úyretiliw múmkin.

Mısalı, iyt tuqımların tanıw ushın úyretilgen TNT berilgen súwretti qarap shıǵadı hám súwrettegi iyttiń belgili bir tuqımǵa tiyisli bolıw itimallıǵın esaplaydı. Paydalanıwshı nátiyjelеrdi kórip shıǵıp, tarmaq qaysı itimallıqlardı kórsetiwin (belgili bir shekten joqarı t.b.) tаńlaw hám usınılǵan belgini qaytarıw múmkin. Usınday hár bir matematikalıq manipulyaciya bir qatlam dep esaplanadı, hám quramalı TNT-lar kóp qatlamlarǵa iye, sonlıqtan olar "tereń" tarmaqlar dep ataladı.

TNT-lar quramalı sızıqlı emes qatnasıqlardı modellestirе aladı. TNT arxitekturaları kompoziciyalıq modellеrdi payda etedi, bunda obyekt dáslepki elementlerdiń qatlamlı kompoziciyası túrinde аńlatıladı.[99] Qosımsha qatlamlar tómengi qatlamlardaǵı ózgesheliklerdiń kompoziciyasın ámelge asırıwǵa múmkinshilik beredi, bul quramalı maǵlıwmatlardı usınday islewshi sayız tarmaqqa qaraǵanda azıraq birlikler menen modellestiriw imkaniyatın beredi.[7] Mısalı, siyrek kóp ózgeriwshili polinomlar TNT-lar járdeminde sayız tarmaqlarǵa qaraǵanda eksponencial túrde аńsatıraq jaqınlastırılıwı dálillendi.

Tereń arxitekturalar bir neshe tiykarǵı usıllardıń kóp variantların óz ishine aladı. Hár bir arxitektura belgili bir tarawda tabısqa eristi. Eger bir neshe arxitektura birdey maǵlıwmatlar toplamında bahalanbaǵan bolsa, olardıń islewin salıstırıw barlıq waqıtta múmkin emes.

TNT-lar ádette alǵa baǵdarlanǵan tarmaqlar bolıp, olarda maǵlıwmatlar kiriw qatlamınan shıǵıw qatlamına qaytpastan ótedi. Dáslep, TNT virtual neyronlar kartasın dúzedi hám olar arasındaǵı baylanıslarǵa qaytalanatuǵın san mánislerin yamasa "salmaqların" belgileydi. Salmaqlar hám kiriw maǵlıwmatları kóbeytiledi hám 0 menen 1 arasındaǵı shıǵıs mánisin qaytaradı. Eger tarmaq belgili bir úlgini anıq tanıy almasa, algoritm salmaqtı dúzetedi.[100] Usılay etip, algoritm maǵlıwmatlardı tolıq qayta islew ushın durıs matematikalıq manipulyaciyan i anıqlamaǵansha, belgili parametrlerdi kóbirek tásirli etedi.

Maǵlıwmatlar hár qanday baǵdarda aǵıp óte alatuǵın qaytalanatuǵın neyron tarmaqları til modellestiriw sıyaqlı qollanıwlar ushın paydalanıladı. Uzaq qısqa múddetli este saqlaw (UQMES) bul maqset ushın ayırıqsha nátiyjeli.[101]

Konvolyucion neyron tarmaqları (ÚNT) kompyuter kóriwinde qollanıladı. Sonday-aq, KNT-lar avtomatik sóylewdi tanıw (AST) ushın akustikalıq modellestiriwde de qollanılǵan.[102]

Qıyınshılıqlar

Jasalma neyron tarmaqları (JNT) sıyaqlı, ápiwayı úyretilgen TNT-larda da kóplegen máseleler payda bolıwı múmkin. Eki ulıwma máselе - bul hádden tıs beyimlesiw hám esaplaw waqtı.

TNT-lar qosımsha abstrakciya qatlamları sebepli hadden tıs beyimlesiwge uqıplı, bul olarǵa úyretiw maǵlıwmatlarındaǵı siyrek ǵárezliliklerdi modellestiriwge múmkinshilik beredi. Hádden tıs beyimlesiwge qarsı gúresiw ushın úyretiw waqtında Ivaxnenkonıń birlik qısqartıw[39] yamasa salmaq kemeyiwi ( -regularizaciya) yamasa siyreklik ( -regularizaciya) sıyaqlı regularizaciya usılları qollanılıwı múmkin. Basqa variantta, dropout regularizaciyası úyretiw waqtında jasırın qatlamlardaǵı birliklerdi tosınnan alıp taslaydı. Bul siyrek ǵárezliliklerdi sırtqa shıǵarıwǵa járdem beredi.[103] Aqırında, kishi úyretiw toplamlarınıń kólemin úlkeytip, hádden tıs beyimlesiw itimalın azaytıw ushın, maǵlıwmatlardı kesip alıw hám burıw sıyaqlı usıllar menen keńeytiwge boladı.[104]

TNT-lar kóplegen úyretiw parametrlerin, mısalı, kólemi (qatlamlar sanı hám hár qatlamdaǵı birlikler sanı), úyreniw tezligi hám dáslepki salmaqların esapqa alıwı kerek. Optimal parametrler ushın parametrler keńisligin tolıq izertlew waqıt hám esaplaw resursları kóz-qarasınan múmkin bolmawı múmkin. Toplamlar (ayırım mısallar ornına bir waqıtta bir neshe úyretiw mısalında gradientti esaplaw) sıyaqlı hár túrli hiyleler esaplawdı tezletedi.[105] Kóp yadrolı arxitekturalardıń (GPU yamasa Intel Xeon Phi sıyaqlı) úlken qayta islew múmkinshilikleri matrica hám vektor esaplawları ushın bunday qayta islew arxitekturalarınıń qolaylılıǵı sebepli úyretiwde áhmiyetli tezletiwlerdi payda etti.[106][107]

Basqa variantta, injenerler ápiwayıraq hám jaqınlasıwshı úyretiw algoritmleri bar basqa túrdegi neyron tarmaqlarına qarawı múmkin. CMAC (cerebellarlıq model artikulyaciya kontroleri) usınday neyron tarmaqlarınıń bir túri. Ol úyreniw tezliklerin yamasa tosınnan tańlanǵan dáslepki salmaqtı talap etpeydi. Úyretiw procesi jańa maǵlıwmatlar toparı menen bir qádemde jaqınlasıwǵa kepillik bere aladı, hám úyretiw algoritminiń esaplaw quramalılıǵı qatnasqan neyronlar sanına qarata sızıqlı.

Apparatlıq támiyinlew

2010-jıllardan baslap, mashinalıq oqıtıw algoritmleri hám kompyuter apparatlıq támiynlewiniń rawajlanıwı kóp sanlı sızıqlı emes jasırın birlikler hám júdá úlken shıǵıs qatlamın óz ishine alǵan tereń neyron tarmaqların úyretiw ushın nátiyjeli usıllardıń payda bolıwına alıp keldi.[108] 2019-jılǵa kelip, kóbinese jasalma intellektke tiyisli jetilisiwler menen grafikalıq processorlar (GPU) úlken kólemli kommerciyalıq bult JI-di úyretiwdiń tiykarǵı usılı sıpatında oraylıq processorlar (CPU) ornın iyeledi .[109] OpenAI AlexNet-ten (2012) AlphaZero-ǵa (2017) shekem eń iri tereń oqıtıw joybarlarında qollanılǵan apparatlıq esaplawlardı bahalap, talap etiletuǵın esaplawlar muǵdarınıń 300,000 ese artqanın hám bul kórsetkishtiń hár 3.4 ayda eki ese ósip baratırǵanın anıqladı.[110][111]

Tereń oqıtıw algoritmleriniń tezligin arttırıw ushın tereń oqıtıw processorları dep atalatuǵın arnawlı elektron sxemalar islep shıǵıldı. Tereń oqıtıw processorlarına Huawei uyalı telefonlarındaǵı neyron qayta islew blokları (NPU)[112] hám Google Cloud Platform-daǵı tensor qayta islew blokları (TPU) sıyaqlı bult esaplaw serverleri kiredi. Sonday-aq, Cerebras Systems úlken tereń oqıtıw modellerin qayta islew ushın arnawlı sistema - CS-2 dúzdi, ol sanaat tarawındaǵı eń iri processor - ekinshi áwlad Wafer Scale Engine (WSE-2) tiykarında isleydi.[113][114]

Atomlıq júdá juqa yarım ótkizgishler logikalıq operaciyalar hám maǵlıwmatlardı saqlawda bir qıylı tiykarǵı qurılma qollanılatuǵın energiya ónimli tereń oqıtıw apparatlıq támiyinlewin jaratıw ushın úmitli dep esaplanadı. 2020-jılı Marega hám onıń kásiplesleri qalqıwshı zatvor maydan effektli tranzistorlarına (FGFET) tiykarlanǵan logikalıq-yadta qurılmalar hám sxemalardı rawajlandırıw ushın úlken maydanlı aktiv kanal materialı menen ótkerilgen tájiriybeler haqqında maqala járiyaladı.

2021-jılı J. Feldmann hám onıń kásiplesleri parallel konvolyuciyalıq qayta islew ushın integraciyalanǵan fotonikalıq apparatlıq tezletkishti usınıs etti.[115] Avtorlar integraciyalanǵan fotonikaniń elektronikalıq analoglarına salıstırǵanda eki tiykarǵı artıqmashılıǵın atap ótedi: (1) jiyilik grebenkaları menen birgelikte tolqın uzınlıǵı boyınsha bólistiriw arqalı júdá kóp sanlı parallel maǵlıwmat uzatıw, hám (2) júdá joqarı maǵlıwmat modulyaciya tezligi.[115] Olardıń sisteması sekundına trillionlaǵan kóbeytiw-jıynaw operaciyaların orınlay aladı, bul integraciyalanǵan fotonikanıń maǵlıwmatqa bay JI qollanıwlarındaǵı potencialın kórsetedi.[115]

Derekler

  1. ↑ Schulz, Hannes; Behnke, Sven (1 November 2012). "Deep Learning" (in en). KI - Künstliche Intelligenz 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0. 
  2. ↑ 2,0 2,1 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning". Nature 521 (7553): 436–444. doi:10.1038/nature14539. PMID 26017442. https://hal.science/hal-04206682/file/Lecun2015.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "NatureBengio" defined multiple times with different content
  3. ↑ 3,0 3,1 Ciresan, D.; Meier, U.. 2012 IEEE Conference on Computer Vision and Pattern Recognition — 3642–3649 bet. DOI:10.1109/cvpr.2012.6248110.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name ":9" defined multiple times with different content
  4. ↑ 4,0 4,1 Krizhevsky, Alex; Sutskever, Ilya (2012). "ImageNet Classification with Deep Convolutional Neural Networks". NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "krizhevsky2012" defined multiple times with different content
  5. ↑ „Google's AlphaGo AI wins three-match series against the world's best Go player“. TechCrunch (25-may 2017-jıl). 17-iyun 2018-jılda túp nusqadan arxivlendi. Qaraldı: 17-iyun 2018-jıl.
  6. ↑ „Study urges caution when comparing neural networks to the brain“ (en). MIT News | Massachusetts Institute of Technology (2-noyabr 2022-jıl). Qaraldı: 6-dekabr 2023-jıl.
  7. ↑ 7,0 7,1 7,2 Bengio, Yoshua (2009). "Learning Deep Architectures for AI". Foundations and Trends in Machine Learning 2 (1): 1–127. doi:10.1561/2200000006. http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf. Retrieved 3 September 2015.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BENGIODEEP" defined multiple times with different content
  8. ↑ 8,0 8,1 8,2 8,3 8,4 Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence 35 (8): 1798–1828. doi:10.1109/tpami.2013.50. PMID 23787338.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BENGIO2012" defined multiple times with different content
  9. ↑ 9,0 9,1 9,2 9,3 9,4 Schmidhuber, J.. Deep Learning in Neural Networks: An Overview.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "SCHIDHUB" defined multiple times with different content
  10. ↑ Shigeki, Sugiyama. Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (en). IGI Global, 12 April 2019. ISBN 978-1-5225-8218-2. 
  11. ↑ 11,0 11,1 Hinton, G.E. (2009). "Deep belief networks". Scholarpedia 4 (5). doi:10.4249/scholarpedia.5947.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "SCHOLARDBNS" defined multiple times with different content
  12. ↑ Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online Arxivlendi 2016-04-19 Wayback Machine saytında.
  13. ↑ ; Aizenberg, N.N.; Vandewalle, J.Multi-Valued and Universal Binary Neurons. Science & Business Media, 2000. DOI:10.1007/978-1-4757-3115-6. ISBN 978-0-7923-7824-2. 
  14. ↑ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.
  15. ↑ Fradkov, Alexander L. (2020-01-01). "Early History of Machine Learning". IFAC-PapersOnLine. 21st IFAC World Congress 53 (2): 1385–1390. doi:10.1016/j.ifacol.2020.12.1888. ISSN 2405-8963. 
  16. ↑ 16,0 16,1 16,2 Cybenko (1989). "Approximations by superpositions of sigmoidal functions". Mathematics of Control, Signals, and Systems 2 (4): 303–314. doi:10.1007/bf02551274. http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "cyb" defined multiple times with different content
  17. ↑ 17,0 17,1 17,2 Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "horn" defined multiple times with different content
  18. ↑ 18,0 18,1 Haykin, Simon S.. [[[:Úlgi:Google books]] Neural Networks: A Comprehensive Foundation], 1999.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Haykin, Simon 1998" defined multiple times with different content
  19. ↑ 19,0 19,1 Hassoun, Mohamad H.. [[[:Úlgi:Google books]] Fundamentals of Artificial Neural Networks], 1995.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Hassoun, M. 1995 p. 48" defined multiple times with different content
  20. ↑ Orhan, A. E.. "Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback". Nature Communications 8 (1): 138. doi:10.1038/s41467-017-00181-8. 
  21. ↑ 21,0 21,1 Deng, L. (2014). "Deep Learning: Methods and Applications". Foundations and Trends in Signal Processing 7 (3–4): 1–199. doi:10.1561/2000000039. http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf. Retrieved 2014-10-18.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "BOOK2014" defined multiple times with different content
  22. ↑ 22,0 22,1 22,2 22,3 Murphy, Kevin P.. [[[:Úlgi:Google books]] Machine Learning: A Probabilistic Perspective].  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "MURPHY" defined multiple times with different content
  23. ↑ 23,0 23,1 Fukushima, K.. Visual feature extraction by a multilayered network of analog threshold elements.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Fukushima1969" defined multiple times with different content
  24. ↑ Sonoda, Sho (2017). Neural network with unbounded activation functions is universal approximator. 
  25. ↑ Bishop, Christopher M.. Pattern Recognition and Machine Learning, 2006. 
  26. ↑ 26,0 26,1 „bibliotheca Augustana“. www.hs-augsburg.de. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "ising1925" defined multiple times with different content
  27. ↑ History of the Lenz-Ising Model. 
  28. ↑ 28,0 28,1 Learning patterns and pattern sequences by self-organizing nets of threshold elements.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "Amari1972" defined multiple times with different content
  29. ↑ Neural networks and physical systems with emergent collective computational abilities. 
  30. ↑ Pattern Recognition and Machine Learning. 
  31. ↑ Associatron-A Model of Associative Memory. 
  32. ↑ Intelligent Machinery. 
  33. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named DLhistory
  34. ↑ Rosenblatt, F.. The perceptron: A probabilistic model for information storage and organization in the brain.. 
  35. ↑ Rosenblatt, Frank. Principles of Neurodynamics. Spartan, New York, 1962. 
  36. ↑ Joseph, R. D.. Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo, 1960. 
  37. ↑ Ivakhnenko, A. G.. [[[:Úlgi:Google books]] Cybernetics and Forecasting Techniques]. American Elsevier Publishing Co., 1967. ISBN 978-0-444-00020-0. 
  38. ↑ Ivakhnenko, A.G.. Heuristic self-organization in problems of engineering cybernetics. https://linkinghub.elsevier.com/retrieve/pii/0005109870900920. 
  39. ↑ 39,0 39,1 Ivakhnenko, Alexey. Polynomial theory of complex systems. http://gmdh.net/articles/history/polynomial.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "ivak1971" defined multiple times with different content
  40. ↑ Amari, Shun'ichi. A theory of adaptive pattern classifier. 
  41. ↑ Fukushima, K. (1979). Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron. 
  42. ↑ Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. 
  43. ↑ Kelley, Henry J.. Gradient theory of optimal flight paths. 
  44. ↑ Linnainmaa, Seppo. Taylor expansion of the accumulated rounding error. 
  45. ↑ 45,0 45,1 Schmidhuber. „Who Invented Backpropagation?“. IDSIA, Switzerland (25-oktyabr 2014-jıl). 30-iyul 2024-jılda túp nusqadan arxivlendi. Qaraldı: 14-sentyabr 2024-jıl.
  46. ↑ Rumelhart, David E. (October 1986). Learning representations by back-propagating errors. https://www.nature.com/articles/323533a0. 
  47. ↑ Zhang, Wei. Shift-invariant pattern recognition neural network and its optical architecture. 
  48. ↑ Zhang, Wei. Parallel distributed processing model with local space-invariant interconnections and its optical architecture. 
  49. ↑ Zhang, Wei. Image processing of human corneal endothelium based on a learning network. 
  50. ↑ Zhang, Wei. Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network. 
  51. ↑ LeCun, Yann (1998). Gradient-based learning applied to document recognition. 
  52. ↑ Attractor dynamics and parallelism in a connectionist sequential machine. https://escholarship.org/uc/item/1fg2j76h. 
  53. ↑ Finding Structure in Time. https://onlinelibrary.wiley.com/doi/10.1207/s15516709cog1402_1. 
  54. ↑ 54,0 54,1 54,2 Schmidhuber, Jürgen. Neural Sequence Chunkers. https://people.idsia.ch/~juergen/FKI-148-91ocr.pdf.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "chunker1991" defined multiple times with different content
  55. ↑ 55,0 55,1 Schmidhuber, Jürgen (1992). Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991). https://sferics.idsia.ch/pub/juergen/chunker.pdf. 
  56. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named HOCH1991
  57. ↑ Hochreiter, S. „Gradient flow in recurrent nets: the difficulty of learning long-term dependencies“,. A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons, 15 January 2001. ISBN 978-0-7803-5369-5. 
  58. ↑ Schmidhuber, Jürgen (2010). Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010). 
  59. ↑ 59,0 59,1 Schmidhuber, Jürgen. Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991).  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gancurpm2020" defined multiple times with different content
  60. ↑ Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. (1985-01-01). "A learning algorithm for boltzmann machines". Cognitive Science 9 (1): 147–169. doi:10.1016/S0364-0213(85)80012-4. ISSN 0364-0213. https://www.sciencedirect.com/science/article/pii/S0364021385800124. 
  61. ↑ Smolensky, Paul. Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations — 194–281 bet. 
  62. ↑ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J. (1995-05-26). "The wake-sleep algorithm for unsupervised neural networks". Science 268 (5214): 1158–1161. doi:10.1126/science.7761831. 
  63. ↑ Sejnowski, Terrence J.. The deep learning revolution, 2018. 
  64. ↑ Qian, Ning; Sejnowski, Terrence J. (1988-08-20). "Predicting the secondary structure of globular proteins using neural network models". Journal of Molecular Biology 202 (4): 865–884. doi:10.1016/0022-2836(88)90564-5. ISSN 0022-2836. https://dx.doi.org/10.1016/0022-2836%2888%2990564-5. 
  65. ↑ Bengio. „Artificial Neural Networks and their Application to Speech/Sequence Recognition“. McGill University Ph.D. thesis (1991). 9-may 2021-jılda túp nusqadan arxivlendi. Qaraldı: 12-iyun 2017-jıl.
  66. ↑ Doddington, G.. The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective. 
  67. ↑ Heck, L.. Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design. 
  68. ↑ „Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)“. ResearchGate. 9-may 2021-jılda túp nusqadan arxivlendi. Qaraldı: 14-iyun 2017-jıl.
  69. ↑ Graves. „Biologically Plausible Speech Recognition with LSTM Neural Nets“. 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland 175–184 (2003). 9-may 2021-jılda túp nusqadan arxivlendi. Qaraldı: 9-aprel 2016-jıl.
  70. ↑ Graves, Alex; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. pp. 369–376. 
  71. ↑ Hinton, Geoffrey E. (1 October 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3. 
  72. ↑ Hinton, G. E.; Osindero, S.; Teh, Y. W.. "A Fast Learning Algorithm for Deep Belief Nets". Neural Computation 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf. 
  73. ↑ Hinton, Geoffrey E. (October 2007). "Learning multiple layers of representation". Trends in Cognitive Sciences 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. https://linkinghub.elsevier.com/retrieve/pii/S1364661307002173. 
  74. ↑ Hinton, Geoffrey E.; Osindero, Simon; Teh, Yee-Whye (July 2006). "A Fast Learning Algorithm for Deep Belief Nets". Neural Computation 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. ISSN 0899-7667. https://direct.mit.edu/neco/article/18/7/1527-1554/7065. 
  75. ↑ Hinton, Geoffrey E. (2009-05-31). "Deep belief networks". Scholarpedia 4 (5): 5947. doi:10.4249/scholarpedia.5947. ISSN 1941-6016. 
  76. ↑ 76,0 76,1 76,2 Deng. „New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)“. Microsoft (may 2013). 26-sentyabr 2017-jılda túp nusqadan arxivlendi. Qaraldı: 27-dekabr 2023-jıl.
  77. ↑ 77,0 77,1 Yu, D.. [[[:Úlgi:Google books]] Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer)]. Springer, 2014. 
  78. ↑ „Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research“. Microsoft Research (3-dekabr 2015-jıl). 16-mart 2018-jılda túp nusqadan arxivlendi. Qaraldı: 16-mart 2018-jıl.
  79. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named HintonDengYu2012
  80. ↑ Li. „Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'“. Interspeech (sentyabr 2014). 26-sentyabr 2017-jılda túp nusqadan arxivlendi. Qaraldı: 12-iyun 2017-jıl.
  81. ↑ Seide, F.. Interspeech 2011, 2011. 
  82. ↑ 82,0 82,1 Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing, 2020-05-18da túp nusqadan arxivlendi, qaraldı: 2021-02-14 Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "chellapilla2006" defined multiple times with different content
  83. ↑ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 September 2010). Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. pp. 3207–3220. 
  84. ↑ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L.M. (2011). Flexible, High Performance Convolutional Neural Networks for Image Classification. http://ijcai.org/papers11/Papers/IJCAI11-210.pdf. Retrieved 2017-06-13. 
  85. ↑ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen. Advances in Neural Information Processing Systems 25, 2012 — 2843–2851 bet. 
  86. ↑ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J.. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013, 2013 — 411–418 bet. 
  87. ↑ Szegedy, Christian (2015). "Going deeper with convolutions". Cvpr2015. https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdf. 
  88. ↑ Simonyan, Karen; Zisserman, Andrew (2015-04-10), Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556
  89. ↑ „GAN 2.0: NVIDIA's Hyperrealistic Face Generator“. SyncedReview.com (14-dekabr 2018-jıl). Qaraldı: 3-oktyabr 2019-jıl.
  90. ↑ „Prepare, Don't Panic: Synthetic Media and Deepfakes“. witness.org. 2-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 25-noyabr 2020-jıl.
  91. ↑ Sohl-Dickstein, Jascha (2015-06-01). "Deep Unsupervised Learning using Nonequilibrium Thermodynamics" (in en). Proceedings of the 32nd International Conference on Machine Learning 37: 2256–2265. 
  92. ↑ 92,0 92,1 Sak. „Google voice search: faster and more accurate“ (sentyabr 2015). 9-mart 2016-jılda túp nusqadan arxivlendi. Qaraldı: 9-aprel 2016-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "sak2015" defined multiple times with different content
  93. ↑ Sak. „Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling“ (2014). 24-aprel 2018-jılda túp nusqadan arxivlendi.
  94. ↑ Zen. „Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis“. Google.com 4470–4474. ICASSP (2015). 9-may 2021-jılda túp nusqadan arxivlendi. Qaraldı: 13-iyun 2017-jıl.
  95. ↑ „2018 ACM A.M. Turing Award Laureates“ (en). awards.acm.org. Qaraldı: 7-avgust 2024-jıl.
  96. ↑ Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. ISBN 978-1492671206.{{cite book}}: CS1 maint: multiple names: authors list (link)
  97. ↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis et al. (January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature 529 (7587): 484–489. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. 
  98. ↑ A Guide to Deep Learning and Neural Networks, 2020-11-02da túp nusqadan arxivlendi, qaraldı: 2020-11-16
  99. ↑ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection". Advances in Neural Information Processing Systems: 2553–2561. https://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection. Retrieved 2017-06-13. 
  100. ↑ Hof, Robert D.. "Is Artificial Intelligence Finally Coming into Its Own?". MIT Technology Review. https://www.technologyreview.com/s/513696/deep-learning/. 
  101. ↑ „Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)“. ResearchGate. 9-may 2021-jılda túp nusqadan arxivlendi. Qaraldı: 13-iyun 2017-jıl.
  102. ↑ 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 
  103. ↑ Dahl, G.. Improving DNNs for LVCSR using rectified linear units and dropout. http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf. Retrieved 2017-06-13. 
  104. ↑ „Data Augmentation - deeplearning.ai | Coursera“. Coursera. 1-dekabr 2017-jılda túp nusqadan arxivlendi. Qaraldı: 30-noyabr 2017-jıl.
  105. ↑ Hinton, G. E. (2010). A Practical Guide to Training Restricted Boltzmann Machines. https://www.researchgate.net/publication/221166159. Retrieved 2017-06-13. 
  106. ↑ You, Yang; Buluç, Aydın; Demmel, James „Scaling deep learning on GPU and knights landing clusters“,. Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17. SC '17, ACM, November 2017 — 1–12 bet. DOI:10.1145/3126908.3126912. ISBN 9781450351140. 
  107. ↑ Viebke, André; Memeti, Suejb; Pllana, Sabri. CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi. pp. 197–227. doi:10.1007/s11227-017-1994-x. 
  108. ↑ Research. „Deep Neural Networks for Acoustic Modeling in Speech Recognition“. airesearch.com (23-oktyabr 2015-jıl). 1-fevral 2016-jılda túp nusqadan arxivlendi. Qaraldı: 23-oktyabr 2015-jıl.
  109. ↑ "GPUs Continue to Dominate the AI Accelerator Market for Now". December 2019. https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475. 
  110. ↑ Ray, Tiernan (2019). "AI is changing the entire nature of computation". https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/. 
  111. ↑ „AI and Compute“ (en). OpenAI (16-may 2018-jıl). 17-iyun 2020-jılda túp nusqadan arxivlendi. Qaraldı: 11-iyun 2020-jıl.
  112. ↑ „HUAWEI Reveals the Future of Mobile AI at IFA 2017 | HUAWEI Latest News | HUAWEI Global“. consumer.huawei.com.
  113. ↑ Woodie. „Cerebras Hits the Accelerator for Deep Learning Workloads“. Datanami (1-noyabr 2021-jıl). Qaraldı: 3-avgust 2022-jıl.
  114. ↑ „Cerebras launches new AI supercomputing processor with 2.6 trillion transistors“ (en-US). VentureBeat (20-aprel 2021-jıl). Qaraldı: 3-avgust 2022-jıl.
  115. ↑ 115,0 115,1 115,2 Feldmann, J.; Youngblood, N.; Karpov, M.; Gehring, H. (2021). "Parallel convolutional processing using an integrated photonic tensor". Nature 589 (2): 52–58. doi:10.1038/s41586-020-03070-1. PMID 33408373. 
«https://kaa.wikipedia.org/w/index.php?title=Tereń_oqıtıw&oldid=92956» saytınan alınǵan