NCM - är en intressant ny teknik för att göra AI mera effektiv. När detta är löst så kan investeringar i onödigt stora och många AI datacenter stoppas. Det kan också göra det möjligt att på enklare sätt köra AI lokalt. Här en sammanfattning gjorde med Mistral:
Traditionella LLM:er som GPT, Llama och Mistral genererar text token för token. Varje nytt ord beror på alla tidigare ord.
NCM (Next-Concept Modeling) använder istället en hierarkisk "grov-till-fin" modell:
Först skapas en grov idé eller struktur.
Därefter fylls mer detaljer på.
Flera delar av texten kan genereras parallellt istället för sekventiellt.
Datacenter-exempel
Anta att du driver ett AI-kluster med 1 000 GPU:er.
I dagens LLM:er går mycket tid åt till att vänta på nästa token.
Om NCM kan generera många delar parallellt kan du få:
högre genomströmning
lägre svarstid
bättre GPU-utnyttjande
Forskarna bakom NCM rapporterar ungefär 10–31× snabbare generering jämfört med starka diffusionsmodeller på vissa benchmarktester.
Men detta betyder inte att ett GPT-klass-system plötsligt blir 31 gånger billigare.
I verkliga datacenter skulle man kanske se någonting i stil med:
Effekt Möjlig storleksordning
Samma datacenter 2-10× fler användare
Samma användarvolym betydligt färre GPU:er
Lägre energiförbrukning potentiellt flera gånger lägre
Det är dock min tekniska uppskattning. Forskarna har ännu inte visat sådana siffror på
GPT-4- eller Llama-400B-skala.
Hur mycket mindre datacenter?
Låt oss ta ett hypotetiskt exempel.
Om ett framtida LLM-kluster kräver:
10 000 H100 GPU:er
20 MW effekt
och NCM ger en verklig effektivisering på 5× i produktion:
~2 000 GPU:er
~4 MW effekt
Det skulle kunna minska både CAPEX och energikostnader dramatiskt.
Men detta är fortfarande spekulativt. Det finns ännu inga publicerade resultat som visar sådana besparingar på hyperskale-nivå.
En intressant framtidsbild
Föreställ dig att dagens:
70B-modell
kan ersättas av en:
10B-20B NCM-modell med liknande kvalitet.
Då skulle moderna laptops med Apple M-serie, Qualcomm Snapdragon X Elite eller kraftfulla Nvidia-GPU:er potentiellt kunna köra mycket mer avancerad AI lokalt.
Men där är forskningen inte ännu. NCM är i dagsläget främst ett lovande forskningsspår, inte ett bevis på att "GPT-4 på en laptop" är löst.
Min bedömning: NCM är mer sannolikt att först minska kostnaden för stora AI-datacenter med flera gånger än att direkt göra datacenter-AI körbar på vanliga laptops. På lång sikt kan det däremot vara en av teknikerna som gör lokal AI betydligt kraftfullare."
Du måste logga in eller registrera dig för att svara på tråden.