Nvidia-utmanaren Majestic Labs satsar på Arm och LPDDR6 – lovar tusenfalt mer minne

Minnesbrist bakom AI:s flaskhals

Dagens AI-modeller blir allt mer minneshungriga, och kombinationen av grafikprocessorer (GPU:er) och högbandbreddsminne (HBM) har länge varit standard. Men enligt den israeliska startupen Majestic Labs är den vägen ohållbar – den så kallade minnesväggen sätter stopp för kostnadseffektiv skalning.

Majestic Labs alternativa arkitektur

Majestic Labs, grundat 2023 av tidigare Google- och Meta-ingenjörer, har presenterat servern Prometheus. Den använder inte GPU:er för AI-inferens, utan istället skräddarsydda Ignite AI Processing Units (AIU) som kombinerar Arm-kärnor med RISC-V-baserade vektor- och tensormotorer.

Det mest utmärkande är minnessystemet: Upp till 128 TB LPDDR6-minne fördelat över upp till 12 AIU:er i en enda server. Till skillnad från traditionella GPU-system där minnet sitter nära processorn, används här separata minnesaggregationschip kopplade via kopparkablar på upp till en meter. Detta möjliggör en sammanhängande minnespool som delas av samtliga processorer.

Prissänkningar inom räckhåll?

Majestic Labs hävdar att deras server kan bli mellan 10 och 50 gånger billigare än en GPU-baserad lösning med jämförbar prestanda. Dessutom utlovas betydligt lägre energiförbrukning per rack – 120 kW för ett komplett rack med fyra Prometheus-servrar, jämfört med Nvidias DGX B300-system som erbjuder 2,3 TB HBM3e.

Företaget säger sig redan ha fått stora order från företag, neomoln och hyperskalärer, och leveranser väntas nästa år. Arkitekturen stöder ramverk som PyTorch, vLLM och OpenAI Triton, vilket gör att befintliga AI-modeller kan flyttas över utan modifiering.

Oberoende tester saknas

Trots de imponerande siffrorna är det viktigt att komma ihåg att inga oberoende prestandatester har genomförts än. Allt bygger på Majestic Labs egna beräkningar. En praktisk fråga som inte besvarats är hur många minnesaggregationschip som krävs – med dagens 2 GB LPDDR6-kretsar skulle en 128 TB-konfiguration kräva över 64 000 enskilda chip.

För svenska AI-utvecklare och datacenter som överväger att kliva bort från Nvidia-ekosystemet kan Majestic Labs erbjuda ett lockande alternativ, men först måste löften bekräftas i verkliga tester.

Vad betyder detta för priser?

Om Majestic Labs lyckas leverera enligt sina utfästelser kan det pressa priset på AI-inferens dramatiskt. Men för den som jämför komponenter på Prishunden.se återstår det att se hur tillgång och prissättning ser ut när produkterna faktiskt når marknaden. Fram till dess är GPU:er med HBM det beprövade, om än dyra, valet.