En kyllä nyt osta väitettä olettamuksistani ja niiden vanhentumisesta, kun nimenomaan puhun kehityksen seuraavasta vaiheesta 
Tuo kyberturvaesimerkki ainakin menee minusta kovin pahasti metsään, koska mehän olemme olleet tuollaisessa tilanteessa vuosikausia. Lyöt tietokoneen verkkoon, niin siihen kohdistuu välittömästi 24/7 valtava määrä automaattisia hyökkäyksiä, joten puolustuksen on myös oltava monikerroksinen päätelaitteesta, reitittimisestä, verkko-operaattorista aina ulkomaisiin softajätteihin. Ei riitä, että lyödään keskitetysti joku Cortex ja homma olisi sillä selvä, vaan kaikille tasoille tarvitaan jatkossa lisäturvaa tuovia tekoälykomponentteja siitä paikallisesta tietokoneen integriteettiä reaaliajassa tarkkailevasta tekoälystä aina suuryrityksen zero-day exploitteja etsivään frontier-malliin. Jos kysytään näin päin, niin miksi jättäisit tietoturvasi pilvipalvelun varaan etkä lisäksi laittaisi jokaiseen reitittimeen omaa paikallista tekoälyä suojaamaan verkkoasi 24/7 mahdollisilta hyökkäyksiltä?
Vaikeudet kommunikaatiosta lienevät syntyjään siitä, että saman ongelman voi koittaa ratkaista hyvin erilasista lähtökohdista ja me lähestymme tätä ongelmaa niin eri näkökulmasta, että se saa ajattelutavan vaikuttamaan höhlältä. Esimerkiksi talouden järjestämisongelman voi ratkaista komentotaloudella tai markkinataloudella, mutta vastakkaisten ajatusmaailman harjoittajien on yleensä kovin hankalaa keskskustella keskenään.
Perinteisillä tietokone-ohjelmistoilla pyritään muuttamaan muistin tilaa tekemällä laskutoimituksia ja halliten ohjelman sivuvaikutuksia, missä ne ovat kehittyneet ylivertaiseksi ja ovat sitä vieläkin tekoälymalleihin verrattuna. Tekoälymallit ovat kilpailukykyisimmillään sellaisissa tehtävissä, missä epäselvä tai huonosti määritelty tilanne pitää muuntaa konelaskettavaan muotoon.
Me käytiin jo OpenAI:n ja Anthropicin osalta se sama vaihe aiemmin lävitse kuin mitä Intel ja AMD kävivät GHz-sodissa, että yritetään maksimoida mallien älykkyys maksimoimalla parametrien määrä. OpenAI:lla, Anthropicilla ja kiinalaisilla kilpailijoilla tuli jo siinä seinä vastaan, joten parannukset ovat siirtyneet yhä paremmista generalistimalleista kohti järjestelmätason optimointia.
Koska pelkkä parametrien kasvattamisen kautta yksittäisen mallin älykkyyden skaalaus ongelmanratkaisussa alkoi muodostumaan liian kalliiksi ja noudattamaan alenevaa rajahyötyä, alettiin kehittämään parempia tapoja hyödyntää mallien käyttöä. Esimerkiksi tool calleja, MCP ja ali- sekä rinnakkaisagenttijärjestelmiä. Tavoitteena ei siis enää pitkään aikaan ole ollut tehdä sellaista yksittäistä mallia, mikä kykenee hoitamaan minkä tahansa tehtävän minkä sille annat, vaan orkestroijia, mitkä kykenevät mahdollisimman tehokkaasti reitittämään antamasi tehtävän käsiteltäväksi paremmin muilla työkaluilla tai malleilla.
Pääsit mielestäni todelle lähelle ratkaisua sanomalla, vapaasti lainaten, ettei taloushallinto tarvitse Einsteinia. Excel-pyörittelyä on hölmöä tehdä 1000 GB painojen mallilla ja vastaavalla laskentakyvyllä, jos 100 MB painot riittävät. Ketjuttamalla iso määrä pieniä erikoistuneita malleja ja niiden päälle tehtyjä agentteja voidaan mahdollisesti saavuttaa kollektiivinen älykkyys, joka kykenisi ratkaisemaan samoja ongelmia kuin jättimalli, mutta murto-osalla vaaditusta laskentatehosta.
Jos ei tarvita Einsteinia, ei tarvita Vera Rubinia eikä myöskään Nvidiaa, sillä pienemmillä malleilla saadaan hyödynnettyä kaikki se paikallinen laskentateho, muisti ja lähitulevaisuudessa asennettavat NPU:t, mitkä nyt menevät hukkaan tekoälytyössä. Vaikka kokonaiskulutus väistämättä myös kasvaisi, yhä pienempi osa siitä valuisi Nvidian laariin ja nykyisenlaisia törkykatteita olisi hankalaa puolustaa kilpailijoita vastaan.
Tämän hetken suurin ongelma on, ettei meillä vieläkään ole koulutettuna riittävästi erikoistuneita malleja, eikä varsinkaan mikromalleja. Joudumme tuhlailemaan tokeneita ja käyttämään isompia malleja kuin olisi tarpeen ihan vain sen vuoksi ettei pieniä malleja ole saatavilla. Jengi joutuu tällä hetkellä oikeasti tekemään niitä itse.
Esimerkiksi tämä malli, whatisit-nl2sh, jonka tehtävänä on palauttaa englannin kielen tekstistä shell-komento, on vain jonkun jantterin harrasteprojekti. Vaikka tuo on jo itsessään CPU-tason malli (niin pieni ettei tietokoneeseen edes tarvita näytönohjainta), niin saisit siitäkin laskentatehovaatimukset ja muistivaatimukset mahdollisesti tiputettua 1/20 nykyisestä, mikäli se koulutettaisiin alusta alkaen tehtävää varten. Nyt porukka rakentaa näitä kotona finetuunaamalla jotain qwen-coderia.
Visiossani tarvitsemme tulevaisuuden agenttiarkkitehtuurien osalta miljoonia tällaisia erikoistuneita kielimalleja, jotta voimme ajaa autonomisia tekoälyagentteja aidosti tehokkaasti. Tämän helpottamiseksi pitäisi varmaankin alkaa rakentamaan jonkinlainen toimiva arkkitehtuuri ja kyvykkyydet tekoälylle alkaa kouluttamaan itsekseen uusia pieniä malleja ilman ihmisten ohjausta, mikä kyllä ajatuksena hieman kuumottaa.
Yksi merkittävä tekijä nykyisen ekosysteemin vinoutumisesta on, että isoimmat investoijat tienaavat rahaa tokenien käyttömäärien mukaisesti. Hauskana analogiana autoihin tuskin laitettaisiin kovinkaan bensapihejä moottoreita, mikäli autonvalmistajat saisivat isojat rojaltimaksuja ajoneuvon käyttämästä bensasta litramäärän mukaisesti ja kaikki mainoskampanjat keskittyisivät markkinoimaan kuinka voimakas moottori autossa on ja miten nopeasti se kiihtyy. Kokisin sektorille terveeksi kehitykseksi, että IPOt floppaisivat ja rahahanat menisivät kiinni ja laitettaisiin lisää fokusta toiminnan kannattavuuteen sekä pienempään päätyyn ja tehokkuuden maksimointiin benchmaxxauksen sijaan.
Uskon, että datakeskuksissa asuvien jättiälymallien sijaan tämän teknologian tulevaisuus on yhä vahvemmin valtavassa määrässä erikoistuneita pieniä tonttuja. Mökkisi saunatontun lisäksi sinulla tulee olemaan tietokoneessasi Excel-tonttu, Word-tonttu ja iso määrä muita pieniä tekoälyapureita, jotka hoitavat asioita kuntoon sinun huomaamattasi, täysin autonomisesti ja keskenään kommunikoiden. Datakeskustason laskentatehoa ja jättiälyä kyllä jatkossakin varmasti tarvitaan, mutta ei aina ja ei kaikkialla.
