Kjøre LLM lokalt: VRAM- og maskinvarekrav

Oppdatert: juli 2026 · 9 min lesetid

Å kjøre Llama, Mistral eller andre åpne språkmodeller på egen maskinvare er blitt overraskende enkelt: installer Ollama, last ned en modell, ferdig. Det eneste harde kravet er nok VRAM på GPU-en. Denne guiden gir deg tabellen som oversetter modellstørrelse til VRAM-behov – og videre til konkret maskinvare med priser. Merk at alt her gjelder inferens (å bruke en ferdig modell); skal du trene egne modeller, gjelder helt andre tall – se Hvor mye GPU trenger du for å trene en AI-modell?

VRAM-tabellen: modell → GPU → pris

Tabellen viser typisk VRAM-behov ved 4-bit kvantisering (standarden i Ollama) og hvilken GPU fra egen katalog som er det billigste fungerende valget. Prisene hentes fra katalogen og oppdateres løpende.

Kvantisering forklart: derfor holder 24 GB langt

En modells vekter lagres opprinnelig med 16 bit per parameter (FP16). En 70B-modell blir da ~140 GB – umulig på ett kort. Kvantisering reduserer presisjonen per vekt:

FP16 (16-bit): Full kvalitet, 2 GB per milliard parametre. Brukes i produksjon der maksimal kvalitet trumfer kostnad.

INT8/Q8 (8-bit): ~1 GB per milliard parametre. Nesten umålbar kvalitetsforskjell fra FP16.

Q4 (4-bit): ~0,5–0,6 GB per milliard parametre. Liten, men målbar kvalitetsreduksjon – standarden for lokal kjøring. Det er dette som gjør at en 30B-modell får plass på et 24 GB-kort.

I praksis: last ned Q4-varianten først. Merker du kvalitetsproblemer på din oppgave, prøv Q5/Q6 eller Q8 – og oppgrader GPU om det ikke får plass.

Hvor rask blir den? Tokens per sekund

Inferenshastighet begrenses i hovedsak av minnebåndbredde, ikke regnekraft. Grove, erfaringsbaserte intervaller for én bruker:

Til sammenligning leser folk flest 5–10 tokens i sekundet. Alt over ~20 tokens/s oppleves flytende i chat. Skal modellen serve mange brukere samtidig, endres regnestykket – da handler det om batching og total gjennomstrømming, og datacenter-kort med HBM drar fra (se GPU for lokal AI).

Resten av maskinen: CPU, RAM, disk, strøm

Når hele modellen bor i VRAM, er kravene til resten beskjedne:

CPU: Moderat. Inferensen skjer på GPU-en; CPU-en håndterer tokenisering og I/O. En brukt server med Xeon Silver/Gold eller tilsvarende har mer enn nok.

RAM: Minst like mye som VRAM, gjerne det dobbelte – modellen lastes via RAM, og noen rammeverk kan avlaste lag til RAM ved behov (tregt, men det redder deg når modellen er hakket for stor).

Disk: NVMe anbefales. Modellfiler er 4–45 GB store, og med flere modeller på disk blir lastetid merkbart. 1–2 TB NVMe holder lenge.

Strøm og kjøling: GPU-en dominerer: regn 350–450 W for consumer-kort under last, pluss 150–300 W for serveren. Sjekk at strømforsyningen har riktig effekt og kontakter, og at rommet tåler varmen – se strømforbruk og kjøling.

Programvaren: Ollama, llama.cpp, vLLM

Ollama er den enkleste starten: én kommando for å laste ned og kjøre en modell, med innebygd API. Perfekt for pilot og internt bruk.

llama.cpp er motoren under panseret på mye av økosystemet – kjør den direkte for full kontroll over kvantisering og ytelse.

vLLM er produksjonsvalget når mange brukere skal dele én modell: kontinuerlig batching og langt høyere total gjennomstrømming. Krever mer oppsett, og det er her datacenter-GPU-ene virkelig betaler seg.

Open WebUI (eller lignende) foran Ollama/vLLM gir de ansatte et kjent chat-grensesnitt mot bedriftens egen modell.

Alt kjører fint i VM eller container – skal GPU-en deles i et virtualisert miljø, se guiden om GPU-passthrough.

Når én GPU ikke er nok

Modeller større enn VRAM-en kan deles over flere kort (tensor/pipeline-parallelisme). To RTX 3090 med NVLink-bro er den rimeligste veien til 48 GB og kjører 70B-klassen for 24 000 kr i GPU-kostnad. Merk at RTX 4090 mangler NVLink – to 4090 fungerer, men kommunikasjonen går over PCIe.

For produksjon med multi-GPU er A100/H100 bygget for jobben, med høy båndbredde mellom kortene og ECC hele veien – les Hva er NVLink? Serveren må ha PCIe-plass og strøm til flere kort: HPE ML350 G10 tar opptil fire doble kort og koster fra 22 500 kr.

Hvorfor kjøre lokalt i det hele tatt?

Datakontroll: Dokumenter, kundedata og kildekode forlater aldri huset. For alt som er underlagt GDPR, taushetsplikt eller konkurransesensitivitet er dette ofte hele begrunnelsen.

Forutsigbar kostnad: Ingen forbruksfakturering per token. Maskinen koster det samme uansett hvor mye de ansatte bruker den – og brukt maskinvare gjør inngangsbilletten lav. Se Hva koster en GPU-/AI-server? for hele regnestykket, inkludert kjøpe-vs-leie.

Ingen avhengighet: Modellen endrer seg ikke under føttene dine, fungerer uten internett, og du velger selv når du oppgraderer.

Ofte stilte spørsmål

Neste steg

Bestem modellstørrelsen først, deretter GPU-en, til slutt serveren. En komplett startpakke – HPE ML350 G10 med RTX 3090 – koster fra ca. 35 000 kr og kjører alt opp til 30B-klassen. Derfra er veien kort til flere kort eller A100 når behovet vokser.

Usikker på dimensjoneringen? Få tilbud på ønsket konfigurasjon – vi setter opp server, GPU og lagring samlet, med 2 års garanti.