Ollama + MLX: Slik kjører du AI lokalt raskere på Mac

Hva skjedde

9to5Mac og Ars Technica skriver at Ollama, et verktøy for å kjøre AI-modeller lokalt, nå har tatt i bruk Apples MLX for bedre ytelse på Apple silicon-Mac. Ars Technica omtaler at dette gir en ytelsesboost blant annet gjennom bedre utnyttelse av unified memory.

Hva det betyr

«Lokal AI» er blitt den praktiske mellomveien mellom to ytterpunkter: skybaserte chatboter (enkle, men data går ut av huset) og egen ML-infrastruktur (dyrt og komplisert).

Når Ollama blir raskere på Apple silicon, betyr det:

Lavere terskel for å teste modeller lokalt på Mac – særlig for utviklere og tech-interesserte.
Bedre opplevelse for arbeidsflyter der du ikke vil sende tekst til en ekstern tjeneste.

Samtidig mangler vi konkrete tall i kildene her: vi vet ikke hvor stor ytelsesøkningen er, hvilke modeller som drar mest nytte av MLX-støtten, eller hvilke macOS-versjoner som er best støttet. Det betyr at vi må holde guiden praktisk og defensiv: målet er «kom i gang» og «verifiser at det faktisk går raskere hos deg».

Min vurdering

Det mest spennende med MLX-adopsjonen er at den passer perfekt inn i Apples egentlige styrke: maskinvare + programvare + minnearkitektur som henger sammen.

Og det er her jeg mener norske Mac-brukere bør spisse ørene. Vi har en kultur for å være litt mer skeptiske til datadeling (særlig i offentlig sektor og i mange bedrifter), men vi ender likevel ofte med å klistre sensitive utkast inn i en nettleser-chat. Lokal kjøring er ikke «automatisk sikkert», men det flytter i det minste et stort stykke av risikobildet hjem til din egen maskin.

Samtidig: lokal AI blir fort et RAM-spørsmål. Apple silicon gjør mye med lite, men du kan fortsatt møte veggen hvis du velger for store modeller. MLX gjør motoren bedre – den fjerner ikke fysikken.

Slik gjør du det

Installer Ollama på Mac (følg installasjonsinstruksjonene fra Ollama-prosjektet slik 9to5Mac omtaler – selve kommandoene er ikke oppgitt i kildene, så vi kan ikke gjengi dem her).
Oppdater Ollama til nyeste versjon slik at du faktisk får MLX-støtten (igjen: eksakt versjonsnummer er ikke oppgitt i utdraget).
Velg en modell du vil teste lokalt, og last den ned i Ollama (start med en mindre modell hvis Mac-en din har begrenset minne).
Kjør en enkel testprompt to ganger: én «kald start» og én etter at modellen er lastet i minnet. Notér responstid og om viftene/temperaturen oppfører seg annerledes.
Hvis det går tregt eller Mac-en begynner å «swappe»: bytt til en mindre modell og prøv igjen. Dette er det vanligste feilscenariet ved lokal kjøring.
Hvis du jobber med sensitiv tekst: lag en rutine der du bruker lokal modell til utkast/oppsummering, og bare bruker sky ved behov (for eksempel når du trenger fersk nett-kunnskap).

a pair of hands typing on a laptop keyboard Foto: Brett Wharton / Unsplash