AI-workloads drevet med samme disciplin som resten af platformen.
En sprogmodel eller ML-model i produktion er også bare en workload — med GPU'er, store artefakter og særlige krav til sikkerhed og data. Jeg griber AI- og MLOps-infrastruktur an fra et DevOps- og platform-perspektiv: automatiseret, versioneret, overvåget og til at drive.
Kender I det her?
I vil køre sprogmodeller selv — on-prem, i EU-cloud eller på dedikerede GPU-servere — frem for at sende data til en ekstern tjeneste.
Et AI-proof-of-concept virker, men der er ingen vej til stabil drift.
Modeller, prompts og konfiguration deployes manuelt, uden versionering eller mulighed for rollback.
I skal have styr på GPU-kapacitet, omkostninger og adgang på tværs af teams.
Sådan griber jeg det an.
- 01
Platform først
GPU-noder, model-serving og vector-databaser bygges ind i samme platform og GitOps-model som jeres øvrige workloads.
- 02
Self-hosted modeller
Serving med fx vLLM eller llama.cpp, dimensioneret efter jeres krav til svartider, kapacitet og budget.
- 03
Pipelines for modeller
Modeller, konfiguration og RAG-komponenter versioneres og deployes gennem pipelines — med mulighed for rollback.
- 04
Drift og governance
Overvågning, adgangsstyring og logning, så AI-løsningen lever op til de samme krav som resten af jeres systemer.
Det får I.
- GPU-klar platform — i cloud, på dedikerede servere eller on-prem
- Self-hosted model-serving
- CI/CD og GitOps for modeller og RAG-komponenter
- Overvågning af kapacitet, performance og omkostninger
Værktøjer jeg typisk bruger til denne type opgave — klik for at se konkret erfaring.
Andre ydelser
Lad os tage en snak.
Første samtale er altid uforpligtende. Vi bruger 30 minutter på at forstå jeres situation, og du går derfra med konkret feedback.
Kontakt mig