Neurotietokoneet olivat tulevisuuden koneita, joten neuroverkkoja simuloitiin matriiseilla Excel-taulukoissa, 1990-luvun PC:eillä, joissa ei ollut GPT grafikkaprosessoreita
Mallit jota sai kohtuulisessa ajassa viikoissa, parissa ajettua olivat "aika yksinkertaisia", mutta neuroverkkoja kuitenkin niin kuin nykyinen AI.
2026 näitä samoja ja ehkä asteen monimutkaisempia malleja simuloidaan nopeammilla useita GPT:tä sisältävälillä koneilla "aika paljon" nopeammin
Ovatko nämä GPT:t neurotietoneita vai nopeampia simulaattoreita en osaa sanoa ja väliäkö sillä enää eläkeläisäijälle on?
Tarkoitat GPT:llä todennäköisesti GPU:ta (Graphics Processing Unit), joka on alun perin näytönohjaimiin kehitetty mikroprosessorityyppi. GPT (Generative Pre-trained Transformer) on OpenAI:n kehittämä LLM-tyyppinen kielimalli, joka perustuu transformer-arkkitehtuuriin. GPT-mallit, samoin kuin muut LLM:t on opetettu ja niitä ajetaan suurissa datakeskuksissa GPU-suorittimilla.
Tässä hieman juttua menneiden vuosikymmenien "neurotietokoneista":
https://www.sigarch.org/neurochips-from-the-90s/Nettihaun perusteella myös japanilaiset tutkijat ja teknologiafirmat ovat olleet kiinnostuneita aihepiirista 90-luvulla. Näitä voisi pitää hitaina ja pieninä, rajatun sovelluskohteen versioina GPU-suorittimista.
Nykyisin neuroverkkoja opetetaan lähes yksinomaan näytönohjainten arkkitehtuuriin perustuvilla piireillä (GPU = Graphics Processing Unit). Ne ovat helposti ohjelmoitavissa erilaisiin tehtäviin ja tarjoavat leveän muistiväylän, joka mahdollistaa massiivisen rinnakkaislaskennan suurilla datamäärillä. Äärimmilleen viety esimerkki tällaisesta piiristä on Cerebrasin
piikiekon kokoinen siru. Nvidia on kuitenkin toistaiseksi säilyttänyt johtavan asemansa, eikä vakavasti otettavia haastajia oikein ole näköpiirissä ehkä AMD:tä lukuun ottamatta. Nvidian markkinaosuus datakeskusten laskentapiireistä lienee 90 %:n luokkaa ja AMD:n osuus jää alle 10 %:n.
Viimeisimpänä kehitysaskeleena Nvidian laskentapiireissä on säädetty lähinnä sitä, kuinka iso osa piiristä erikoistuu pienen tarkkuuden liukulukujen FP8 ja FP4 laskentaan. Perinteisesti suurin osa piirin laskentayksiköistä on erikoistunut korkeamman tarkkuuden 32- tai 64-bittisiin liukulukuihin, joita on tarvittu grafiikassa, mallinnuksessa ja simulaatioissa. Neuroverkkolaskennassa ja muissa koneoppimistehtävissä riittää usein
8-bittiset tai jopa 4-bittiset liukuluvut, jolloin laskentayksiköiden lukumäärää voidaan kasvattaa huomattavasti.
Kyselyjen tai tehtävien suorittaminen aiemmin opetetulla mallilla (ns. päättely, englanniksi inference) onnistuu joissain tapauksissa kohtuullisen nopeasti myös perinteisillä prosessoreilla (CPU), joskin silloinkin hyödynnetään yleensä SIMD-tyyppistä rinnakkaislaskentaa ja useita ytimiä. Päättelyyn on kehitetty myös erikoissiruja, kuten Googlen TPU, prosessoreihin integroidut NPU:t tai viimeisimpänä pari päivää sitten julkaistu
Taalas, jossa opetettu malli itsessään rakennetaan fyysisesti sirulle. Tällainen arkkitehtuuri mahdollistaa erittäin tehokkaan suorituksen ja minimaalisen viiveen, mutta sirua ei voi uudelleenohjelmoida, eikä mallia voi päivittää
Mullistavia kehitysharppauksia ei ehkä ole odotettavissa laitteistopuolella ainakaan lähivuosina. Mallien kykyjen kasvu on sen sijaan ollut huimaa etenkin viimeisten 5-10 vuoden aikana, eikä kehitys ole mielestäni vielä hidastunut, vaikka resursseista alkaa olla pulaa. Vielä 5 vuotta sitten olisin kuvitellut tekoälyn nykyisen tason Star Trek -scifiksi, huomattavasti kaukaisempaan tulevaisuuteen.