Tässä ei sinänsä ollut mitään uutta, näin on tehty aiemminkin Erdös-ongelmille. Uutta oli se, että matemaatikot olivat miettineet tätä ongelmaa eivätkä olleet keksineet ratkaisua. ChatGPT keksi uudenlaisen lähestymistavan, joka itse asiassa ratkaisi ongelman. Tämä taitaa olla täysin uutta ja on aika merkittävä asia.
7 tykkäystä
Törmäsin tänään ilmiöön, joka alkaa kansainvälisesti nousta esille myyjien, ostajien ja konsulttien keskuudessa.
Kun B2B-neuvottelu käydään Teamsissa tai Zoomissa, ostajapuoli voi tallentaa kokouksen (tai käyttää automaattista transkriptiota), syöttää myyjän väittämät reaaliajassa AI:lle tarkistettavaksi, ja analysoida tallenteen jälkikäteen, jolloin myyjän lupaukset ovat mustaa valkoisella. Ostaja voi vaikkapa tarkistaa onko Huikkasen parin viikon takainen puhe linjassa tämän päivän pulinoiden kanssa.
Monien listattujen yritysten liikevaihto nojaa merkittävästi B2B-myyntiin, jossa myyjän kyky “myydä visio” on perinteisesti ollut keskeistä. Jos ostajat alkavat systemaattisesti tarkistaa väittämät lennossa, se muuttaa myyntidynamiikkaa, ja todennäköisesti myyntiorganisaatioiden rakennetta ja kustannuksia.
Gong on esimerkki tällaisesta työkalusta myyjien puolella, mutta nyt sama logiikka voisi toimia myös käänteisesti: ostaja analysoi myyjää. Huomasin tämän ilmiön sattumalta tänään, kun yritin myydä erästä ideaa asiakkaalleni.
Onko teillä omakohtaista kokemusta tästä joko myyjänä tai ostajana? Minkä listattujen yhtiöiden myyntimalli on haavoittuvin tälle muutokselle? Onko tämä uhka vai mahdollisuus?
14 tykkäystä
Tuli vastaan tällainen viikon takainen juttu AI:n ansaintamalleihin ja niiden kestävyyteen liittyen.
…
Gartner’s Sommer studies long-term economic market trends related to generative AI, including calculating just how much money is at stake. Between 2024 and 2029, he said, Gartner estimates that capital investment in AI data centers will reach about $6.3 trillion — a “massive amount of money.”To avoid a write-down of these assets, major AI model providers would ideally generate a return on invested capital (ROIC) of about 25 percent, Sommer said. (That’s about what Amazon, Microsoft, and Google tend to earn on their overall capital investments.) On the other hand, if the returns fall below 12 percent, institutional capital loses interest — there’s better money elsewhere, Sommer said. Below 7 percent, you’re in write-down territory, which is “an unmitigated disaster for all of the investors in this technology,” Sommer said.
To reach that bare minimum of 7 percent, Gartner forecasts that large AI companies would need to earn cumulatively close to $7 trillion in AI-driven revenue through 2029, which is close to $2 trillion per year by the end of the period. In order to achieve “historic returns,” the providers would need to earn nearly $8.2 trillion in the same period.
OpenAI has already made $600 billion in spending commitments through 2030, the company said in February, which Sommer says is already a “massive step down” from the $1.4 trillion it had planned before. Based on OpenAI’s revenue forecasts and potential compound annual growth, Sommer said that even in the best-case scenario, he predicts that the lab would only hit a fraction of the overall spend required to hit that 7 percent ROIC.
…
To hit investors’ revenue expectations, providers would need to process a “mind-bending” number of tokens, Sommer said.By most measures, companies’ numbers are already pretty big. Google announced it was processing 1.3 quadrillion tokens in October, for instance. If you add all the providers’ estimates up, Sommer said, you get 100 to 200 quadrillion tokens a year. But to achieve the the $2 trillion in annual spend Gartner calculated, providers would need to be generating, by conservative estimates, a cumulative 10 sextillion tokens per year. (To make that slightly less abstract, a quadrillion has 15 zeros, and a sextillion has 21.) Even assuming a very generous profit margin of 10 percent per token, that would mean that token consumption between now and 2030 would need to grow by 50,000–100,000x.
…
Artikkelissa on paljon muutakin mielenkiintoista, mutta erityisesti tuo boldaamani kohta pisti silmään. Sikäli kun Gartnerin analyytikon laskelmat eivät ole useaa dekadia pielessä, niin näin äkkiseltään ajateltuna tuollaisen 50 000x - 100 000x token-kulutuksen saavuttaminen tuntuu yhtäkkisesti mahdottomalta vuoteen 2030 mennessä.
Jos miettii, paljonko AI-inferenssiin on odotettavissa lisää laskentakapasiteettia, niin jonkinlainen arvio kasvusta 2025 - 2030 on tarjolla JLL:llä (2026 Global Data Center Outlook):
The data center sector is projected to increase by 97 GW between 2025 and 2030, effectively doubling in size over a five-year period. By 2030, global data center capacity could reach 200 GW. This rapid growth will be driven largely by hyperscale cloud expansion and AI demand.
Katsauksessa AI inferencen osuus arvioidaan seuraavasti:
Tästä kuvaajasta ja edellä esitetyistä tarkemmista lukuarvoista voi pikaisesti laskea, että wateissa mitaten 2025 inference-kapasiteettia on datakeskuksissa ollut tarjolla n. 9% * 97 GW = 8,7 GW ja vuonna 2030 sitä on odotettavissa n. 37%*200 GW = 74 GW. Kasvukerroin on siis 74 GW / 8,7 GW = n. 8,5. Voidaan ehkä optimistisesti pyöristää tämä noin 10x lukemaan.
Tämä tietysti mittaa kasvua vain käytetyn sähkötehon kautta. Jos miettii, paljonko vuoden 2030 hardwarella saa aikaan tokeneita, pitää yrittää jotenkin arvioida laskennan tehokkuuden kasvua (flops/W) ja mallien vaatiman laskennan määrän kehitystä (token/flops).
Arvioinnin tueksi NVidia tarjoaa seuraavia karkeita lukemia parin edellisen GPU-sukupolven osalta:
NVIDIA Blackwell is the correct choice when electricity dominates TCO because Blackwell Ultra (GB300 NVL72) delivers up to 50x higher throughput per megawatt versus Hopper resulting in 35x lower cost per million tokens, while Blackwell (GB200 NVL72) delivers 10x throughput per megawatt and 15x lower cost per million tokens versus the prior generation, together producing the highest revenue per kilowatt-hour of any independently benchmarked inference platform.
Yksi merkittävä komponentti saavutetuissa tehokkuusparannuksissa on muiden parannusten ohella ollut mm. epätarkempaan kvantisointiin siirtyminen (fp4), mikä mahdollistaa laskennan yksinkertaisemmalla HW:lla. Kvantisoinnin osalta tie on varmaankin käyty varsin pitkälti maaliin jo, mutta ehkä jotain muita vastaavia arkkitehtuurillisia parannuksia on löydettävissä ja jalkautettavissa seuraavien vuosien aikana. Ekstrapoloidaan siis tästä, että 2030 asennettu laskentakapasiteetti on n. 50x energiatehokkaampaa (mittarina AI-laskennassa tarvittava flops / W) verrattuna siihen, mitä nyt on käytettävissä.
Mallien vaatima laskentamäärä (flops/token) on tainnut viime vuosina kasvaa voimakkaasti mallien koon kasvaessa. Jos kuitenkin optimistisesti oletetaan, että oletettavissa olevasta mallien koon kasvamisesta huolimatta vaadittu laskennan määrä pysyy samana myös 2030 (mallien optimointi voinee koon kasvamisesta huolimatta mahdollistaa tämän), niin voidaan tälle laskea kertoimeksi 1.
Nyt siis vuoden 2030 laskentakapasiteetilla voitaisiin datakeskuksissa prosessoida noin 10 * 50 * 1 = 500-kertainen määrä silloisten AI-mallien tokeneita suhteessa siihen, paljonko tämän hetken AI-mallien tokeneita voidaan prossessoida tällä hetkellä.
Äkkiseltään 500-kertainen määrä kuulostaa tietysti hyvältä lisäykseltä, mutta toisaalta tuo Gartnerin analyytikon oletti n. 50 000x - 100 000x määrää prosessoitavia tokeneita, jotta kustannuslaskelmat datakeskusten takana ovat kestävällä pohjalla. Tässä pikaisesti laskien saadussa 500x kapasiteetissa on siis vielä 100x-200x lisäkertoimen kokoinen vaje, eli pari dekadia ollaan pielessä. Lukemien kohdalleen saattamiseksi pitäisi löytyä joko huomattavasti enemmän datakeskuskapasiteettia ennustettuun nähden, huomattavasti energiatehokkaampaa hardwarea tai todella paljon paremmin optimoituja malleja. Ja varmaan oikeastaan yhdistelmä näitä kaikkia. Tai sitten vaihtoehtoisesti noiden kustannuslaskelmien takana olevat token-kertoimet pitäisi saada pudotettua merkittävästi alemmas.
No, voi olla, että tässä näin aamukahvia juodessa jäi jotain oleellista huomioimatta, kun ei tullut päästyä edes oikealle pallokentälle.
21 tykkäystä
Katsoin jokin aika sitten esityksen, jossa Norges Bank Investment Management kertoo, millä kaikilla tavoilla he käyttävät tekoälyä apunaan. Jotkin näistä tavoista muistuttavat tuota, mistä kerrot. Hyvä esitys muutenkin, paljon käytännön esimerkkejä.
2 tykkäystä
Hyvä viesti! Ja onhan tuo Gartnerin arvio hyvin agressiivinen - erityisesti jos sitä yrittää reverse engineerata vain sähköllä ja hardiksella. Silloin varmasti tuo +100x kertaluokan aukko olisi totta.
Mutta ei varmaan ole syytä olettaa, että vuoden 2025 token ja siihen liittyvä throughput-prosessi pysyy vakiona 2030 asti.
Jos faktoroit kumulatiivisesti tuohon mukaan esim. MoE sparsityn tai spesialisoituneet mallit reitityksineen (aktivoidaan vain pieni osa biljoonien parametrien malleista tai käytetään kokonaan downstream-spesialisoitunutta mallia), saatetaan jo kuroa pelkästään tällä tuo 100x aukko. Päälle vielä Spekulatiivisen generoinnin (i.e., pienet mallit generoivat ns. kandidaatti tokeneita ja iso malli verifioi) ja SGlangin kaltaiset KV-cache/konteksti-optimointi-innovaatiot niin äkkiä alkaa olemaan tuo pari dekadia kurottu.
Nykyinen baselinekäyttö on vielä pitkälti interaktiivista premium-inferenceä: ihminen kirjoittaa promptin ja iso dense-malli generoi vastauksen suhteellisen korkealla latency- ja laatubudjetilla. Tuollainen käyttö on kallista ja varsin tehotonta.
Jos taas 2030 inference muistuttaa enemmän internetin backend-liikennettä (agenttien välistä kommunikointia, taustalla jatkuvaa dokumentti-, video-, sensoridata- ja yritysprosessien inferointia) silloin token ei enää vastaa nykyistä GPT5-tyyppistä kallista frontier-tokenia.
9 tykkäystä
Hyvä pointti.
Tarkennan kuitenkin sen verran, että tuo Vergen juttu oli vain noin viikon takainen, joten (kohtuullisen vähin perustein toki) oletan, että sen arviot token-määristä ja niihin liittyvistä kertoimista ovat varsin tuoreita. Tuo vuosi 2025 tuli mukaan lähinnä siksi, että etsin hyvää referenssiä suunnilleen viimeaikaisiin arvioihin datakeskusten inferenssin kapasiteetista. 2025 vuoden lukemia löysin, mutta en vastaavaa kiinnityskohtaa vuoteen 2026. (Näin ollen datakeskuskapasiteetin kasvukertoimessakin lienee vähän ylimääräistä optimismia, koska kerroin on laskettu vuoden 2025 eikä tämän hetken tilanteen pohjalta.)
Korjaa jos olen väärässä, mutta ilmeisesti useammat frontier mallit (pl. kai Anthropicin mallit) ovat käyttäneet MoE-lähestymistapaa inferenssikulujen karsimiseen paljolti jo 2025 alkupuoliskolta alkaen. Näin ollen arvelen, että tässä noita Vergen jutussa olevia koko AI-teollisuuden yli hahmoteltuja kertoimia pitäisi ajatella paljolti nyt suunnilleen 2025/2026 vaihteessa käytössä olleiden MoE -mallien päälle tulevana. Esimerkiksi Googlen tokenestimaatit lokakuulta 2025 on tuossa erikseen mainittu ja ainakin tuolloin Google oli vahvasti jo MoE:lla liikenteessä.
Onko nähtävissä, että nykyisiä MoE -malleja viilaamalla olisi tiristettävissä vielä yksi 100x optimointia laskentatarpeeseen sen päälle, mitä tällä hetkellä on käytössä? Jotain rajoitteita ilmeisesti on siinäkin, miten pieniksi yksittäiset eksperttiverkot voi pilkkoa ilman, että laatu kärsii. (Tai vastaavasti sitten päädytään kuitenkin ajamaan useita pienempien eksperttien invokaatioita rinnakkain, tms.)
6 tykkäystä
Tää oli hyvä! Harmittavasti monessa kohdassa ei käy ilmi puhutaanko kiinteähintaisista tilauksista vai API inferenssistä. Monesti kuulee, että API inferenssin hinnat olisi kohoamassa pilviin kunhan ollaan saatu koukutettua tarpeeksi porukkaa. En itse usko että API hinnoissa on merkittävästi korottamisen varaa ellei mallien kyvyt kasva samassa suhteessa. Tekstissä mainittiin avoimet mallit ja muutama viikko keräilin itse dataa juuri tähän liittyen. Tällä hetkellä trendi vaikuttaa olevan, että kun julkaiset uuden suljetun SOTA mallin, noin 6kk kuluttua markkinoille tulee suunnilleen yhtä hyvä avoin malli joka maksaa vain murto-osan siitä mitä suljettu SOTA-malli. Näkisin siis että API hintoja on vaikea korottaa merkittävästi, ellei onnistuta jättämään avoimia malleja reippaasti jälkeen.
Alla muutamia visualisointeja keräämäni datan pohjalta. Benchmarkkina on käytetty arena.ai pisteitä, sillä ei ole yksittäistä benchmarkkia joka olisi relevantti koko ajalta. arena.ai pisteitä on myös vaikeampi “benchmaxata”, vaikka sisältääkin omat ongelmansa.
Tässä graafi joka visualisoi kuinka kauan suljetun SOTA-mallin julkaisusta kestää, että avoin malli pääsee samalle tasolle (y-akseli).
Tässä taas itse mallien hinnat 80/20 suhteella input/output tokeneissa. Huom. logaritminen y-akseli.
Tässä vielä taulukkomuodossa:
| Closed SOTA model | Released | Arena bar | Matched by | Lag (mo) | Status | Closed $/Mtok | Open $/Mtok | Ratio |
|---|---|---|---|---|---|---|---|---|
| GPT-4 | 2023-03-14 | 1286 | gemma-2-27b-it | 15.5 | matched | $36.00 | $0.27 | 133.3x |
| GPT-4 Turbo (1106) | 2023-11-06 | 1312 | mistral-large-2407 | 8.6 | matched | $14.00 | $2.80 | 5.0x |
| GPT-4 Turbo (0125) | 2024-01-25 | 1313 | mistral-large-2407 | 5.9 | matched | $14.00 | $2.80 | 5.0x |
| Claude 3 Opus | 2024-03-04 | 1321 | llama-3.1-405b-instruct-bf16 | 6.4 | matched | $27.00 | $3.50 | 7.7x |
| GPT-4 Turbo (Apr 2024) | 2024-04-09 | 1324 | llama-3.1-405b-instruct-bf16 | 5.2 | matched | $14.00 | $3.50 | 4.0x |
| GPT-4o | 2024-05-13 | 1345 | deepseek-v3 | 7.6 | matched | $7.00 | $0.44 | 16.1x |
| o1-preview | 2024-09-17 | 1388 | deepseek-r1 | 4.2 | matched | $24.00 | $0.88 | 27.3x |
| o1 | 2024-12-30 | 1402 | deepseek-r1-0528 | 5.6 | matched | $24.00 | $0.88 | 27.3x |
| GPT-4.5 preview | 2025-03-03 | 1444 | kimi-k2.5-thinking | 10.9 | matched | $90.00 | $0.98 | 91.8x |
| Gemini 2.5 Pro | 2025-06-24 | 1448 | kimi-k2.5-thinking | 7.2 | matched | $3.00 | $0.98 | 3.1x |
| Claude 4.1 Opus (thinking) | 2025-08-14 | 1449 | kimi-k2.5-thinking | 5.5 | matched | $27.00 | $0.98 | 27.6x |
| Claude 4.5 Sonnet | 2025-10-01 | 1453 | glm-5 | 4.3 | matched | $5.40 | $1.44 | 3.8x |
| Claude 4.5 Sonnet (thinking) | 2025-10-03 | 1453 | glm-5 | 4.3 | matched | $5.40 | $1.44 | 3.8x |
| Gemini 3 Pro | 2025-11-16 | 1486 | — | 5.4+ | still leading | $4.00 | — | — |
| Claude 4.6 Opus (thinking) | 2026-02-06 | 1501 | — | 2.7+ | still leading | $9.00 | — | — |
| claude-opus-4-7-thinking | 2026-04-17 | 1503 | — | 0.4+ | still leading | $9.00 | — | — |
14 tykkäystä
Itse näen, että organisaatiot (softatalot etunenässä) koukuttuvat tiettyihin vendoreihin niin pahasti, että ne sietävät hintojen nostoa aika pitkällekin kunhan tulokset ovat hyviä, sillä vendorin vaihtaminen on etenkin isoille firmoille haastavaa. Pienemmät lafkat tietty liikkuvat ketterämmin ja saattavat optimoida kuluja herkemmin.
Mutta ehdottoman mielenkiintoisia havaintoja tässä ketjussa kyllä, näistä saa paljon pyöriteltävää – kiitos kaikille!
6 tykkäystä
Mikä tässä on vendor lockin? Perinteiseen softaan tuler lockin kun kaikki data, prosessit ja työntekijöiden osaaminen on naimisissa vaikka SAPssa tai Salesforcessa. LLM mallien vaihtaminen toistaiseksi on kuin sukkia vaihtaisi. Claudella oli hetki etumatkaa kun Claude coden ympärille rakennettu hyvä tooling antoi etumatkaa. No sekin koodi vuodettiin vahingossa ja OpenSource veijarit clean roomasi kilpailevan toteutuksen.
8 tykkäystä
Jos puhutaan työkaluista kuten Claude, niin siellä päässä on varmasti mahdollisuuksia ajaa aggressiivisia korotuksia. Enterprise asiakkaat on jo pakotettu Clauden puolella API hinnoitteluun kiinteän tilauksen sijaan, mikä vähintäänkin kymmenkertaistaa kulut tehokäyttäjille. OpenAI eikä Anthropic kumpikaan tarjoa niitä kalleimpia kiinteähintaisia tilauksia team/enterprise käyttäjille.
Mutta mikäli puhutaan puhtaasta API inferenssistä, riskit tähän ovat paljon pienemmät. Jos organisaation agentit pyörivät vaikka Googlen, Amazonin tai Microsoftin pilvessä, on kaikista näistä saatavilla myös avoimien mallien inferenssiä. Toki pilvipalvelut voisivat nostaa kaikkien mallien hintoja, mutta vendor lock-in on silti huomattavasti pienempää koska tarjoajan vaihtaminen on kohtuullisen helppoa eikä yleensä aiheuttaisi mitään näkyvää muutosta organisaation työntekijöille.
7 tykkäystä
Tämä on kyllä mielenkiintoinen havainto. Oma subjektiivinen fiilis on ollut se, että avoimet mallit tulisivat vähintään vuoden verran tai enemmänkin perässä noita parhaita malleja. Mutta benchmarkien perusteella näin ei taida tosiaan olla. Subjektiivisessa fiiliksessä on tietysti omassa tapauksessani se vika, että avoimista malleista on kertynyt kokemusta lähinnä paikallisesti (tai offline) ajettuna ja käytössä ei ole ollut kunnon GPU-klusteria vaan on menty enemmänkin high end -kuluttajaraudasta kasatuilla virityksillä. Näissä tietysti joutuu sitten ajamaan aika paljon karsittuja malleja, mistä sitten varmaan saa vähän väärän käsityksen asian tilasta.
Tuosta Vergen artikkelista viimeisiä virkkeitä:
Therefore, Sommer said, a sustainable business model “would require that genAI be infused in everything from billboards to checkout kiosks,” with providers taking a cut of all of those transactions.
Kun tämän yhdistää tuohon havaintoosi, niin tulee mieleen, onko tämä AI-touhu kestävällä pohjalla noiden isojen, suljettuja malleja tuottavien toimijoiden puolelta? Eli ollaanko tässä mahdollisesti sen kuuluisan AI-kuplan ytimessä?
Se, että kestävä ansaintamalli vaatii tuon 50 000 - 100 000x enemmän token-kauppaa ei aiheuta päänvaivaa pelkästään tokenien tuottamisen puolella vaan tuon artikkelin hengessä myös pitää löytää markkinat jonne myydä 100 000x enemmän tokeneita kuin nyt. Käyttäjiä pitää siis löytyä todella paljon reilusti lisää eli kärjistäen AI pitäisi integroida vähän joka paikkaan.
Ja vaikka markkinat löytyisivätkin tuolle määrälle tai enemmällekin, niin avoimet mallit hengittävät näiden suljettujen mallien niskaan. Kun suljettu malli saavuttaa johonkin käyttöön kelpaavan hyväksyttävän tason, niin hetken päästä avoin malli kykenee samaan. Näin ajatellen tuossa on tarjolla pieni aikaikkuna, jolloin early adopterit hyötyvät suljetun mallin paremmista kyvyistä, mutta vähän ajan päästä “suurten massojen” osalta käyttöönotto voidaan sitten tehdä avoimien mallien pohjalta. Tällöin inferenssikustannukset ovat käytännössä vain infran hankinnan ja ylläpitämisen hinta lisättynä jollain pienehköllä preemiolla ja voi olla, että pitkällä tähtäimellä tosiaan suljetun mallin valmistajan on vaikea tienata inferenssillä tämän enempää.
Jos homma menee tähän, niin löytävätkö nuo tämän hetken suuret, suljettujen mallien tuottajat riittävästi ostajia (kalliimmille) tokeneilleen?
Sitä itsekin mietin. Esimerkkinä tämä jokusen viikon takainen AMD:n case, jossa kirjoittivat Anthropicille vikaraportin harmituksenaiheista ja vaihtoivat palveluntarjoajaa:
“We have switched to another provider which is doing superior quality work, but Claude has been good to us, and we are leaving this in the hopes that Anthropic can fix their product,” Laurenzo explained, while declining to go into details in a comment citing NDAs about whatever new tool her team is using. That said, Laurenzo did warn Anthropic that it’s still early in the AI coding game and Anthropic is looking at giving up the top spot if its behavior continues.
11 tykkäystä
Eipä siinä kai varsinaista vendor lock iniä ole, enemmänkin vain olen skeptinen isojen organisaatioiden halukkuudesta/kyvykkyydestä vaihtaa hyväksi havaitsemiaan työkaluja “kuin sukkia”. Tietty saatan aliarvioida isoja firmoja – tuossahan @Eevitsi jo nostikin, että ainakin AMD pystyy vaihtamaan nähtävästi aika ketterästi palveluntarjoajaa lennosta. Ehkä muutenkin syön sanani aika pian, jos Anthropicit ja OpenAIt eivät onnistu pitämään etumatkaansa geneerisiin OS LLM -operoijiin nähden.
Tarvitseeko sen 50k-100k-kertoimen tulla pelkästä lisätystä volyymista? Eikös tehokkaammalla raudalla ja softalla saisi samalla kustannuksella (jos energia olisi suurin kuluerä) prosessoitua enemmän tokeneita?
Jos tällä hetkellä (luvut heitetty hatusta) datakeskus käsittelee miljardi tokenia kuluttaen megawattitunnin ja saatu voitto on $100, saadaan kymmenkertainen tuotto, $1 000, joko
- kymmenkertaistamalla tokenin hinta (ja toivotaan ettei kysyntä hiivu)
- myymällä 10 miljardia tokenia entiseen hintaan
- keksimällä keino käsitellä ne miljardi tokenia 0,1 megawattitunnilla (jos siis oletetaan, että merkittävin kulu tokeneiden käsittelyssä olisi kulutettu energia)
- edellisten vaihtoehtojen yhdistelmällä
Vai oliko tuohon 50k-100k-arvioon jo leivottu sisään, että rauta ja softa tehostuu?
2 tykkäystä
Voi olla väliä myös sillä, minkä alan firmasta on kyse? Softapuolella kynnys voi ehkä olla matalampi alan luonteen vuoksi, kunhan vaan uusi malli pystyy riittävässä määrin samaan kuin vanha. Mutta sitten jos otetaan joku Jaskan autokorjaamo (sitten kun AI alkaa olla siellä käytössä), niin varmaan vaihtamisessa on inertiaa, jos uusi systeemi vaatii jonkun määrän työtä ennen kuin se on taas käyttökunnossa samalla tavalla kuin vanha. No, voin olla väärässäkin.
Hyvä kysymys tosiaan on, mihin tuo Gartnerin arvio perustuu. Pohjimmiltaan kyse on nähdäkseni siitä, että tokenien tuottamisen kustannukset arvioidaan 2030 merkittävästi halvemmaksi kuin nykyään. Ja sitten ajatus on sen kaltainen, että inferenssissä ei voi olla älyttömästi preemiota päällä suhteessa tuotantokustannuksiin.
Samaisen analyytikon lausuntoja noin kuukauden takaa:
https://www.gartner.com/en/newsroom/press-releases/2026-03-25-gartner-predicts-that-by-2030-performing-inference-on-an-llm-with-1-trillion-parameters-will-cost-genai-providers-over-90-percent-less-than-in-2025
AI tokens are the units of data that GenAI models process. For the purposes of this analysis a token is 3.5 bytes of data, or approximately 4 characters.
“These cost improvements will be driven by a combination of semiconductor and infrastructure efficiency improvements, model design innovations, higher chip utilization, increased use of inference-specialized silicon, and application of edge devices for specific use cases,” said Will Sommer, Sr. Director Analyst at Gartner.
As a result of these trends, Gartner forecasts LLMs in 2030 will be up to 100 times more cost-efficient than the earliest models of similar size developed in 2022.
Ainakin tuolloin on oletettu, että 2022 → 2030 välillä saadaan 100x parempaa kustannustehokkuutta raudan, mallien ja muun infran kehityksen ansiosta. Sitä en osaa sanoa, missä määrin noissa laskelmissa on huomioitu sähkön hintaa, HW:n hintaa ja niihin liittyviä muutoksia. Nousupaineita on vähän kummassakin. HW:n osalta hinnat ovat karanneet monin osin jo nyt korkeaksi, mutta sähkön hinnassa tämä näkyy sitten, jos datakeskukset eivät itse tuota sähköään ja luottavat lokaaliin infraan / tuotantoon.
Tuolta saisi kattavamman artikkelin ulos, jos olisi tilaaja. Siinä ehkä selitettäisiin laskelman taustoja paremmin.
Kuitenkin tuota Vergen juttuun linkattua voi lähestyä myös siitä näkökulmasta, että siinä oletetaan 2000 miljardin dollarin (= 2\cdot10^{12}) vuosittaista myyntihintaa 10^{22} tokenille. Tuo token määrä vastaa siis 10^{16} miljoonan tokenin nippua, joten hinnaksi saadan \frac{2 \cdot 10^{12} \$} {10^{16} Mtok} = 2\cdot10^{-4} \frac{\$}{MTok} = 0,0002 \frac{\$}{Mtok}.
Tämä on todella paljon edullisempaa nykyisiin edullisemman pään kustannuksiin verrattuna. Esim. Deepseek v4 (flash) tarjoaa inferenssiä (Models & Pricing | DeepSeek API Docs) hintaan 0,14 \$/MTok (input) ja 0,28 \$/MTok (output). Cacheen osuville tokeneille hinta on 0,0028 \$/MTok.
Jos olettaa, että deepseekin tokeneissa ei ole inferenssin osalta paljoa katetta, niin tuo Gartnerin estimaatti tarkoittaa siis noin 1/1000 hintaisia tokeneita nykyiseen verrattuna (ja edelleen 1/10 hinta cache tokeneihin verrattuna), joten tuo “100x halvemmat inferenssikustannukset välillä 2022 → 2030” on vielä jotain eri kuin mitä näiden estimaattien pohjalla on. Tai ehkä on. Toisaalta 100x oli sillä oletuksella, että ajetaan saman kokoista mallia 2022 vs. 2030. Pitäisi tietää, millaisiksi ne 2030 mallit on noissa Gartnerin estimaateissa oletettu. Jos niistä haluaa tarkan kuvan, pitää olla todella kirkas kristallipallo.
Tuossa Gartnerin estimaatissa olisi 100x Deepseekin nykyhintaan nähden, jos tuo 2000 miljardia olisikin viivan alle jäävä osuus (se 10% voittomarginaali) eikä liikevaihto.
Tämän tulkitsen kuitenkin niin, että tarkoitettiin sitä, paljollako tokeneita ostetaan vuodessa eikä paljonko siitä jää viivan alle.
Kai tässä herää perusteltu epäilys, että analyytikon estimaateissa saattaa myös olla joku nolla liikaa tai liian vähän (riippuu siitä, mistä kulmasta asiaa katsoo). Pitäisi saada tarkemmat oletukset tietoon noille laskelmille. Voi olla, että havaituille eroille on hyvät selitykset, mutta pelkästään parin luvun perusteella niitä on vaikea arvata. Tässä viuhuu kuitenkin tähtieteellinen määrä nollia luvuissa suuntaan ja toiseen ja samaan aikaan tehdään oletuksia monien asioiden nopeasta muutoksesta.
4 tykkäystä
Jos otetaan gartnermainen käsivispaustuokio tähän väliin, voidaan tulevaisuuteen tihrustaen hahmotella (hallusinoida?) “tekoälyekosysteemiä”, jossa bakteereiden tavoin tekoälymallit erikoistuvat käsittelemään tiettyä tavaraa ja olemaan siinä hyviä.
IBM:n Granite (Apache-lisensoitu) korostaa keskittyvänsä työkalukäyttöön ja sisällön raapimiseen taulukoista sun muista paperipohjaisista lähteistä. Nämä erikoistuneet mallit voivat kehittyä hyvinkin tehokkaiksi kapealla osaamisalueellaan ja generalistimalleihin nähden saavutetaan (väitetysti) parempi laatu ja nopeus kevyemmin resurssivaatimuksin.
Tekijälleen tällainen niche-kyvykkyyteen panostaminen voi olla hyvinkin kannattavaa, koska kisaa käydään lisäarvolla eikä maksimaalisella konteksti-ikkunalla tai muulla SOTA-laitteistoa vaativalla kalliilla laskennalla. Sellaisesta mallista pois vaihtaminen lienee vaikeinta, koska tarjoajien väliset erot voivat olla kapealla segmentillä isot?
Tulevaisuuden pörssiyritys voi hyvinkin olla tällaisten kielimallien Keltaiset sivut -tyyppinen MCP-operaattori, jolla on sopimukset tietyn bisnesalueen parhaiden kielimallien kanssa.
7 tykkäystä
Samoja havaintoja on itse tullut kerättyä ja vaikka SOTA-mallien ympärille rakennetut telineet ja ekosysteemit ovat vielä rutkasti avoimien painojen malleja edellä, niin monesti ihan tulee hämmästyttyä puoli-ilmaisten mallien nykyisestä suorituskyvystä. Yksi valtava este hintojen korotukselle mikä keskusteluissa tuodaan liian harvoin esille, on ‘riittävän hyvä’ -kieleke. Kun malli on riittävän hyvä asiakkaan käyttötarkoitukseen, ei ole enää mitään syytä maksaa kalliimmasta mallista yhtään ekstraa ja kisa rahoista siirtyy siihen, että kuka pystyy tuottamaan näitä riittävän hyviä malleja mahdollisimman edulliseen hintaan. Mediassa on seksikästä kisata sillä, että kenellä on kaikista isoin ja pystyvin (malli), mutta ne käyttötarkoitukset mihin nykyäänkin näitä enimmäkseen käytetään eivät oikeasti tarvitse mitään SOTA-mallia. Se pieni osuus maksukykyisistä asiakkaista, jotka aidosti tarvitsevat tekoälyn analogian urheiluautosta eivät tietenkään ole riittävän merkityksellisiä, että pystyisivät rahoittamaan koko tämän sirkuksen.
Väittäsin jopa aika ristiriitaisesti, että me ollaan nyt jo salaa päädytty tähän tilanteeseen ja kohdattu toi good enough cliffi, kun Claude ja OpenAI jatkuvasti paskovat käyttäjäkokemusta yrittäessään epätoivoisesti hallita holtitonta rahan polttamista. Jos aiemmin korporaatioille kelpasi peruskäyttöön GPT 5, niin en ymmärrä miksei esimerkiksi avoimien painojen GLM 5.1 ajaisi täysin samaa asiaa. Täysin turhaa rahan tuhlausta maksaa SOTA-mallista sellaiseen käyttötapaukseen missä sille ei ole tarvetta.
11 tykkäystä
Metan, Stanfordin ja Harvardin tutkijoilta mielenkiintoinen artikkeli, jossa laitetaan AI rakentamaan softaa alusta asti.
ProgramBench: Can Language Models Rebuild Programs From Scratch?
Abstract
Turning ideas into full software projects from scratch has become a popular use case for language models. Agents are being deployed to seed, maintain, and grow codebases over extended periods with minimal human oversight. Such settings require models to make high-level software architecture decisions. However, existing benchmarks measure focused, limited tasks such as fixing a single bug or developing a single, specified feature. We therefore introduce \bench to measure the ability of software engineering agents to develop software holisitically. In \bench, given only a program and its documentation, agents must architect and implement a codebase that matches the reference executable’s behavior. End-to-end behavioral tests are generated via agent-driven fuzzing, enabling evaluation without prescribing implementation structure. Our 200 tasks range from compact CLI tools to widely used software such as FFmpeg, SQLite, and the PHP interpreter. We evaluate 9 LMs and find that none fully resolve any task, with the best model passing 95% of tests on only 3% of tasks. Models favor monolithic, single-file implementations that diverge sharply from human-written code.
Vaikka tehtävänannot vaihtelivat suhteellisen helposta erittäin vaikeisiin, yksikään malli ei selvinnyt yhdestäkään tehtävästä kaikki testitapaukset läpäisten. Lopputuloksena lisäksi monoliittisia koodikasoja, jotka eroavat merkittävästi rakenteeltaan siitä, millainen on vastaava ihmisten kirjoittaman koodirepositoryn sisältö.
To bridge this gap, we introduce \bench, a benchmark that challenges software engineering (SWE) agents to produce code that recovers the functionality of a software program (e.g., executables, .dmg’s, .pkg’s). Given a program and documentation, a SWE-agent, defined as an LM equipped with an agent scaffold to interact with a terminal environment (Yang et al., 2024a), must write source code and a compile script that reproduces the original program’s behavior. Every software design decision is entirely the model’s to make.
Tutkimuksessa AI-agentit saivat syötteekseen ohjelman dokumentaation ja toimivan esimerkkiohjelman. Tavoitteena oli tuottaa tältä pohjalta vastaavan toiminnallisuuden toteuttavan ohjelman lähdekoodi ja kääntää sen pohjalta varsinainen ohjelma.
Tehtävien pohjana olevien koodirepositoryjen statistiikka oli seuraavanlaista:
Mediaanikoko taskien pohjana oleville koodikannoille oli pienehkö, noin 8600 riviä. Pienin ohjelma oli lähdekoodiltaan 212 riviä. Suurimmat toki ovat sitten todella suuria.
Onnistuminen testitapausta vastaavan ohjelman laatimisessa vaihteli malleittain seuraavasti:
Läpäistyjä testitapausten visualisointi yli tehtävien ja mallien näyttää seuraavalta:
Pienimmissä tehtävissä testejä läpäistiin enemmän, suuremmissa huomattavasti vähemmän ja vaikeimmat tehtävät menivät käytännössä täysin nollille.
Artikkelista löytyy myös mielenkiintoista statistiikkaa siitä, miten eri mallien tapauksessa koodikannan kehitys eteni eri vaiheissa: GPT 5.4 tuotti suurimman osan koodikannasta aina yhdellä editoinnilla, kun taas Anthropicin mallit ja Gemini etenivät vähän pienemmissä paloissa.
–
Tämä(kin) todistusaineisto viittaa siihen, että agenttikoodaus on vielä toistaiseksi sillä tasolla, ettei täysin automatisoituja kooditehtaita voi nykyisten ratkaisuiden päälle rakentaa muutoin kuin mainospuheissa.
Testissä voi hakea selkeitä eroja myös eri mallien välille. Kuva 4 (pass rate threshold vs. Instances above threshold) näyttäisi tukevan sitä, että tämän tyyppisessä tehtävänannossa Anthropicin malleilla (Opus/Sonnet 4.6 ja Opus 4.7) on selvää etumatkaa muihin malleihin nähden, vaikka yhdenkään mallin tuotos ei läpäise kaikkia testitapauksia.
22 tykkäystä
Clawdbot/Moltbot/Openclaw vaikuttaa olevan jo kuolemassa:
Valtava hype, mutta vähän aitoa substanssia ja eipä enää taida edes löytyä ketään maksamaan botteja boostaamaan näkyvyyttä äksässä ja redditissä.
Jos samanlainen ratkaisu kiinnostaa, niin Hermes on ylivoimainen vaihtoehto:
15 tykkäystä
Sign o’ times…Amazonin työntekijöillä insentiivi “tehostaa” toimintaansa AI-työkaluilla, jotta saisivat firman sisäisillä leaderboardeilla nimeään ylemmäs. Toisin sanoen, tuhlataan tokeneita aivan suotta.
Amazon ei ole ainoa paikka, jossa pusku käyttää firman AI-työkaluja on osin peräisin AI-osaston halusta perustella investointeja ja samalla omia työpaikkojaan. Päälle johdon paine olla tekoälytrendissä mukana jotta ei jäätäisi kilpailijoista jälkeen. Kuten Buffett taisi todeta, näytä kannustin ja näytän lopputuloksen.
17 tykkäystä
Hyvä nosto. 
Kukaan ei varmaankaan ainakaan enää kiistä tekoälyn tuottavuushyötyjä monessa työ- sekä arkisessa asiassa, ehkäpä jo nyt kokonaisten työprosessien hoitamisessa ja tulevaisuudessa ties missä.
Hyperskaalaajat Amazonista Microsoftiin valittelevat, että ne ovat kapasiteettirajoitteisia.
Mutta mikä on todellinen kysynnän taso, kun firmoissa pusketaan tekoälytyökalujen käyttöä noin ylhäältä alaspäin? Käsittääkseni suuri osa kuluttajakäytöstä on ilmaista. Kuinka paljon kuluttajat ovat valmiita näistä lopulta maksamaaan?
Nostit uutisen Amazonista, mutta useista firmoista voi nähdä vastaavia uutisia. Viime aikojen irtisanomisia on perusteltu nimenomaan tekoälytyökalujen käyttöönotolla ja “uusilla työtavoilla”. Ilmiö on tottakai todellinen: nimenomaan koodaaminen ja sitä kautta kehitys on nopeutunut valtavasti ja se hoituu pienemmällä devausporukalla.
Nyt monet kokeilijat jakavat innokkaasti tänne ja muualle someen omia dashboardejaan, työkalujaan yms. mitä on hetkessä tehty Claudella, Lovablella jne. Jatkuuko moinen omien työkalujen tekemisen innostus? Jos (kun) rima nousee, onko kuitenkin järkevämpää jälleen erikoistua ja eikä suutarin kannata tehdä itse välineitään?
Itsekin kokeilen lovablea hetken ja uhosin töissä tekeväni koko meidän palvelunkehitystiimin edestä töitä. Teinkin nopeasti kolme nettisivua, aloin törmäämään ongelmiin mitkä vaativat koodareiden apua ja vetäydyin hyökkäyksestäni häntä koipien välissä. Tilaus peruttiin.
Ja tarvitaanko niin paljoa pilveä, jos Applen visio toteutuu eli laskenta tapahtuu enemmänkin laitteissa. Tämä voi olla kehitys kenties enemmän kuluttajapuolella.
Paljon kysymyksiä, mitkä ovat suhteellisen oleellisia pörssien kannalta koska tekoälyinvestointibuumi on käytännössä suurin yksittäinen teema osakemarkkinalla. Se kiihdyttää megateknojen pilvipalveluiden kasvua, se kiihdyttää puolijohdesektorin ja tätä menoa jopa vessavalmistajien kursseja kun sijoittajat jahtaavat pullonkauloja.
Tiivistettynä kysymys kuuluu, mikä on “kompuutin” todellinen kysynnän ja tarjonnan tasapaino.
26 tykkäystä
Koodauksen ja järjestelmäkehitykseen ero on oikeasti iso. Eivät ne pelikehittäjät piruuttaan ja tyhmyyttään vietä jopa vuosia demosta lopputuotokseen, jonka bugisuus voi silti olla julkaisuhetkellä selviö. (Köh..paradox…köh)
Riippuu tietenkin siitä, teetkö softaa itsellesi vai onko tarkoituksena altistaa se tuotantoympäristössä hyökkäyksille ja vuosikausien mittaiselle ylläpitotyölle versiovaihdossa rikkoutuvine kirjastoineen ja kasvavalle datamäärälle. (Ts. hidastuuko toiminta esimerkiksi datamäärän kumuloituessa.)
Koko ATK:n historia on ollut eestaas tapahtuvaa vatkausta lähi- ja etälaskennan välillä. Mainframe-kokonaisuuksissa päätteet olivat “tyhmiä”. PC-aikakaudella irtauduttiin keskuskoneen “pilvestä” ja kaupallisen pilvilaskennan nykyisellä aikakaudella ollaan hybridimoodissa. (AI-mielessä toki enemmän etälaskennan puolella )
Applen näkökulma kasvavasta “edge computing”-laskennasta voi hyvin olla etappi heilahduksessa kohti lokaalia laskentaa. Ainakin se sopisi heidän markkinapositiolleen. Onko siis kyse toteutuvasts visiosta vai strategian mukaisten laulujen laulamisesta? Jää nähtäväksi!
11 tykkäystä