GPU for lokal AI: RTX 3090/4090 vs A100/H100

Oppdatert: juli 2026 · 8 min lesetid

Skal du kjøre språkmodeller (LLM) lokalt, er spørsmålet sjelden «hvilken GPU er best» – det er «hvilken GPU er billigst som løser min oppgave». Svaret for de fleste SMB-er er et brukt GeForce-kort med 24 GB VRAM. Et RTX 3090 til rundt 12 000 kr kjører en kvantisert 30B-modell like fint som kort til ti ganger prisen. A100 og H100 løser andre problemer: større modeller på ett kort, servertilpasset kjøling, ECC og skalering.

Denne guiden sammenligner kortene vi faktisk har på lager – RTX 3090, RTX 4090, A100 (40 og 80 GB) og H100 – og gir deg en konkret anbefaling per bruksområde. Gjelder det trening av modeller i stor skala, les heller A100 vs H100 for AI-trening.

Consumer vs datacenter: hva er egentlig forskjellen?

GeForce-kort (RTX 3090/4090) og datacenter-kort (A100/H100) bygger på samme CUDA-økosystem, og den samme koden kjører på begge. Forskjellene er fysiske og driftsmessige:

Minne: Consumer-kort bruker GDDR6X uten ECC. Datacenter-kort bruker HBM med ECC – høyere båndbredde og automatisk feilkorrigering. For inferens hjemme betyr ECC lite; for uker lange treningsjobber og 24/7 produksjon betyr det mye.

Kjøling: RTX-kort har vifter og trenger fri luft rundt seg – de er laget for PC-kabinett. A100/H100 er passive: de har ingen egne vifter og krever en server med kraftig gjennomstrømming (f.eks. Dell R740 eller HPE DL380 med GPU-kit). Det gjør at datacenter-kort passer i 2U-rackservere der et 3-slots RTX 4090 aldri får plass.

NVLink og skalering: RTX 3090 støtter NVLink mellom to kort; RTX 4090 har ikke NVLink i det hele tatt. A100/H100 er bygget for å kobles sammen med høy båndbredde – avgjørende når én modell må deles over flere kort. Les mer i Hva er NVLink?

MIG (Multi-Instance GPU): A100 og H100 kan partisjoneres i opptil sju isolerte GPU-instanser – nyttig når flere team eller VM-er skal dele ett kort.

Lisens: NVIDIAs driveravtale for GeForce tillater ikke bruk i datasenter-sammenheng (unntatt blokkjede). For intern bruk på egen server i egen bedrift er dette i praksis et lite hinder, men i regulerte miljøer og hos hostingleverandører er datacenter-kort det ryddige valget.

Sammenligningstabell med priser

Prisene hentes fra egen katalog og oppdateres løpende – se produktsidene for lagerstatus.

Legg merke til kolonnen lengst til høyre: per gigabyte VRAM er RTX 3090 det klart billigste kortet. Det er derfor det er standardvalget i homelab- og eksperimentmiljøer verden over.

VRAM er tallet som betyr mest

For LLM-inferens avgjør VRAM hvilke modeller du i det hele tatt kan kjøre – før hastighet betyr noe. En 4-bit kvantisert modell trenger grovt regnet 0,6 GB VRAM per milliard parametre, pluss plass til kontekst:

Hele regnestykket – kvantisering, kontekstvindu og hva slags hastighet du kan forvente – er dekket i detalj i guiden Kjøre LLM lokalt: VRAM- og maskinvarekrav.

Når holder et consumer-kort?

Utprøving og pilotprosjekter: Skal bedriften teste om en lokal chatbot, RAG-løsning eller kodeassistent gir verdi, er en RTX 3090 til 12 000 kr den suverent billigste billetten. Feiler piloten, har du tapt lite; lykkes den, vet du nøyaktig hva du skal skalere til.

Inferens på modeller opp til ~30B: 24 GB VRAM dekker kvantiserte modeller i 30B-klassen med rom for kontekst. For mange interne bruksområder – oppsummering, søk i egne dokumenter, koding – er dagens 7–30B-modeller gode nok.

Én bruker eller lite team: Uten krav til samtidighet trenger du ikke datacenter-ytelse. En 4090 leverer titalls tokens per sekund på en 13B-modell – raskere enn de fleste leser.

Bildegenerering og mindre finjusteringer: Stable Diffusion-arbeidsflyter og LoRA-finjustering av små modeller kjører fint på 24 GB.

Når trenger du A100 eller H100?

Modeller over 30B på ett kort: Vil du kjøre 70B-klassen uten å dele modellen over flere kort, trenger du 48–80 GB VRAM. A100 80 GB kjører en kvantisert 70B-modell alene – med plass til stort kontekstvindu.

Rackmontert 24/7-drift: Passive datacenter-kort er designet for serverens luftstrøm og kan stå i et 2U-chassis i årevis. Consumer-kort i rackserver er alltid en improvisasjon: fysisk trangt, og viftene deres er ikke laget for servermiljø.

Flere brukere samtidig: Skal en modell serve mange ansatte samtidig (batching med vLLM e.l.), gir HBM-båndbredden og den større VRAM-en langt høyere total gjennomstrømming. MIG lar deg i tillegg dele ett kort trygt mellom miljøer.

Trening og finjustering av større modeller: Trening krever langt mer minne enn inferens, og her er ECC, NVLink og HBM ikke nice-to-have. Se Hvor mye GPU trenger du for å trene en AI-modell?

Hvilken server skal GPU-en stå i?

GPU-en er bare halve regnestykket – den må stå i en maskin med nok strøm, kjøling og PCIe-baner:

For consumer-kort (3090/4090): Velg tower eller romslig chassis. HPE ML350 G10 (fra 22 500 kr) tar opptil 4 doble GPU-er og er bygget som stillegående tower – vår standardanbefaling for lokal AI. Dell R7920 (fra 25 000 kr) er alternativet med dual Xeon og god plass til fulle kort.

For A100/H100: Rackservere med GPU-kjølekit – typisk Dell R740-familien eller HPE DL380 G10. Kortene er passive og trenger serverens luftstrøm. Vi konfigurerer server + GPU samlet, så kjøling og strømbudsjett stemmer.

For klyngeskala: Ferdigbygde AI-servere med 8× A100 (fra 1,6 mill. kr) eller 8× H100 (fra 3,75 mill. kr) – NVLink-koblet og klar for trening og tung produksjon.

Skal GPU-en deles mellom VM-er i Proxmox eller VMware, les guiden om GPU-passthrough.

Ofte stilte spørsmål

Neste steg

Start med oppgaven, ikke kortet: hvilken modellstørrelse trenger du, og hvor mange skal bruke den samtidig? For de fleste er svaret en RTX 3090 eller 4090 i en ML350 – en komplett lokal AI-maskin fra rundt 35 000 kr. Trenger du 70B-klassen eller 24/7-produksjon i rack, er A100 riktig steg opp.

Usikker på konfigurasjonen? Få tilbud på ønsket konfigurasjon – vi setter opp server og GPU samlet, med 2 års garanti.