Olen viimeiset viikot ja kuukaudet ryhtynyt vakavasti pohtimaan oman (suhteettoman suuren) Nvidia-positioni likvidoimista ja hajauttamista laajemmin läpi tech-, AI- ja mahdollisesti jopa ensimmäisen aallon sovelluskerroksen toimijoihin - erityisesti cyber- yms. toimijat. Nyt tulee pitkä viesti, jonka kirjoitan lähinnä itselleni jäsentääkseni omaa ajatuksen kulkua. Tiedän, että numeroperusteisesti Nvidia näyttää juuri nyt poikkeuksellisen halvalta - halvemmalta kuin oikeastaan juuri koskaan historiansa aikana - mutta oma luottoni siihen, että Nvidia olisi täysin ylivertainen AI-arvoketjun voittaja on pikkuhiljaa hiipumassa.
Raa’an laskennan saturaatio
Nvidian meganousu on perustunut monoliittisten mallien skaalautumiseen zero-shot paradigmassa (Deepmind, 2022). Tämä murtuu nyt ainakin kolmesta eri suunnasta 1) fyysiset reunaehdot (sähkö, rakentaminen, yms.) 2) datan saatavuuden reunaehdot (Epoc AI:n, Shumailov et al. yms. jo 1.5-2v vanhat tutkimuspaperit) 3) taloudelliset reunaehdot (pienten mallien parvet näyttäisivät tuottavan yhtä hyviä tuloksia kuin jättimäisten parametrien monoliitit).
Pre-training varmasti jatkaa vielä kehittymistä, mutta itselle alkaa näyttämään siltä, että se ei voi jatkua kovin pitkään enää niin, että kasvava määrä kilpailevia yhtiöitä treenaa kilpailevia base-malleja - ekonomiat eivät vain kestä tätä. Näyttää myös siltä, että erilaiset AGI-viritelmät ovat hiipumassa ja nyt pyritään saamaan enemmän ulos olemassa olevasta rakentemalla ympärille harnesseja, fiksumpaa rägäystä, muistin/kontekstin hallintaa ja optimointia yms - näistä lisää myöhemmin. Kaiken lisäksi tämän hetken parhaita malleja treenataan jo kilpailevilla siruilla (Google 8-sarjan TPU:t ja Antropic Amazonin Trainiumit).
Painopisteen siirtymä inferenssiin ja agenttiseen orkestrointiin
Tässä on tapahtunut lopullinen läpimurto viimeisen 6kk aikana. Nvidialla ei ole raa’an rinnakkaislaskennan tasoista kilpailuetua täällä. Se vasta rakentaa CPU-tarjoamaansa ja erilaiset inferenssin ja test-time optimoinnin jipot tapahtuvat paljon kauempana raudasta kuin trainingissa.
Tämä näkyy hyvin benchmarkeissa. Siinä missä zero-shot inference monoliiteillä on saturoitunut jo viimeistään o1 / R1 -reasoning mallien myötä, ARC-AGIt ja vastaavat ovat lähteneet nousuun, kun inferencestä on saatu enemmän irti (osoittaa myös osaltaan monoliittimallien raa’an laskennan saturoitumista). Aito, abstrakti yleistäminen näyttäisi lopulta tapahtuvan, kun pyöritetään sopivilla topologioilla agenttiparvia, joilla on pääsy oikeisiin työkaluihin.
Myös tutkimus näyttää painottuvan hyvin vahvasti siihen, että jo olemassa olevista malleista otetaan niiden ympärille innovoimalla enemmän irti kuin siihen, että yritettäisiin keksiä jotain aivan uutta malliin itseensä (mikä vaatisi joustavaa laskentarautaa á la Nvidia). Uudet RAG-arkkitehtuurit, SML-parvet / Multi-agent-järjestelmät ovat nyt se juttu, joka innostaa myös uusien ja helppokäyttöisten orkestrointityökalujen (Copilot Studio, Codex, Claude code, LangGraph jne.) myös AI-skenen ulkopuolella jopa Suomessakin - ainakin oman empirian perusteella.
Kilpailijoiden vertikaalistrategia
Tämän olen muistaakseni kirjoittanut jo aiemminkin. Haaste Nvidialle ei tule välttämättä edes AMD:ltä, Cerebrakselta tai Huaweilta. Se tulee siitä, että niin hyperskaalajat kuin OpenAI että Antropickin ovat avanneet tai avaamassa peliä omaan vertikaaliseen stackkiin, jossa kaikki raudasta sovellukseen on itsekehitettyä. Se on järkevää, jos sen saa onnistumaan: vähentää strategisia riskejä ainakin yhden monopolitoimittajan osalta (Nvidia) ja toisaalta mahdollistaa syvien kilpailuetujen kaivamisen itselleen.
Chippien rakentaminen ei ole helppoa ja toimialan vitsi taitaa olla, että aikaisintaan kolmas / neljäs sukupolvi on käyttökelpoinen. Googlella on jo vertikaali-stack, MSFT:llä on kohta huhujen mukaan MAIA:n kolmas sukupolvi tulossa, AWS / Antropic muodostavat yhdessä stackin jne. Jonkinlainen keikahduspiste olisi siis mahdollista nähdä mahdollisesti kohtuu piankin.
Synkroninen koulutus vs. asynkroniset agentit (ja CUDA-vallihaudan murtuminen)
Monoliittisen mallin pre-training on luonteeltaan tiukasti kytketty ja synkroninen prosessi. Tämä fyysinen vaatimus on ollut Nvidian ohjelmistovallihaudan, CUDA:n, sekä myös rack-/DC-scale -strategian (Mellanox / Infiniband) ylin suojamuuri. Agenttinen orkestrointi on sen sijaan pitkälti asynkroninen prosessi. Kun agenttiparvi ratkoo ongelmaa, tehtävät ovat toisistaan irrallisia. Ja koska tehtävät on pilkottu pieniin, asynkronisiin osiin ja ajetaan usein pienemmillä malleilla (SLM), ne mahtuvat yhden tai kahden sirun muistiin. Tämä asynkronisuus tuhoaa vallihautaa kahdesta suunnasta:
- Kommunikaation tarve katoaa: Kun mallia ei tarvitse jakaa tuhansien sirujen kesken, Nvidian ylivertaisten NCCL-kirjastojen ja NVLink-kytkinten tarve poistuu. Näin siis ainakin nykyparadigmassa - voi toki olla, että edistynyt agenttikommunikaatio toteutuu joskus laitteistotasolla eikä .md-, .json- yms. dokumenteilla ja MCP- / API-kutsuilla.
- Kun raskaasta synkronoinnista on päästy eroon, itse inferenssi voidaan ajaa laitteistoriippumattomilla ohjelmistoilla. OpenAI:n Triton-kääntäjän kaltaiset avoimet standardit mahdollistavat sen, että tekoälymalli voidaan kääntää suoraan esimerkiksi AMD:n, Googlen tai AWS:n siruille ilman riviäkään CUDA-koodia.
Ensimmäiset varoitukset CAPEX-syklin tasaantumisesta
Colossuksen ja Metan ylikapasiteetti on itselleni pieni red flag. Olen joskus sanonut, että Capex-investoinnit (yhdessä TSMC:n kysyntänäkymien kanssa) on tärkein signaali itselleni alkaa miettimään altistusta AI hakuille ja lapioille. Vielä tämä ei ole deal breaker johtuen ennen kaikkea siitä, että (Colossuksen) ylikapasiteetin myyntihinta oli todella korkea indikoiden siis, että kokonaislaskentakysyntää on kyllä - se vain ei enää jakaudu yhtä tasaisesti kuin aiemmin.
###
En siis ajattele, että tekoäly olisi varsinaisesti kuplaantunut. Päinvastoin Jehvonsin paradoksin mukaisesti ajattelen, että kysyntä tulee jatkamaan kasvuaan hintojen tippuessa. Mutta tämä väistämättä siirtää arvoketjun painopistettä sen kapeimpiin kohtiin - ja nähdäkseni nämä eivät välttämättä ole enää Nvidiassa samalla tavalla kuin viimeiset 2-3 vuotta.
Toivottavasti joku haastaa yllä olevia ajatuksia 