先講結論
- 三個指令就能開始:裝好 Ollama,
ollama pull抓模型,ollama run開始問。全程不用註冊帳號。 - 沒有顯卡也跑得動小模型。我在 2 核心的機器上,1.5B 的模型每秒大約產生 8 個 token,3B 的大約 4 個。
- 模型越小越容易出包。我問 1.5B 的模型台灣最高的山,它答阿里山;叫它用繁體中文,它回簡體。
想在自己的電腦上跑 AI 模型,原因通常是兩個:不想把資料送到別人的伺服器,或是不想每個月付訂閱費。
Ollama 是很多人拿來起步的工具。它把「下載模型、載入、跟它對話」包成幾個指令,裝好就能用。還不清楚它是什麼的話,先看Ollama 是什麼。
這篇從安裝走到用 API 呼叫。指令我都實際跑過,日期是 2026 年 10 月 12 日,版本是 Ollama 0.40.3。我故意挑了一台條件很差的機器:2 核心、4 GB 記憶體、沒有顯卡的 Linux 測試機。它跑得動,你的電腦大概也可以。
要先說的是,Mac 和 Windows 的安裝程式我沒有測,那一段是照官方文件寫的。
安裝
Mac 和 Windows 是到官網下載安裝檔,點兩下裝起來。官方文件寫的系統需求:Mac 要 macOS 14 以上,Windows 要 Windows 10 22H2 以上。裝好之後它會常駐在背景,終端機裡就有 ollama 這個指令。
Linux 是一行:
curl -fsSL https://ollama.com/install.sh | sh
我這邊 7 秒裝完,佔了 2.1 GB 的硬碟。
10 月 14 日我在另一台更精簡的 Ubuntu 上再裝一次,這行指令直接停下來,訊息是 ERROR: This version requires zstd for extraction。那台機器沒有 zstd 這個解壓縮工具。照訊息說的先裝起來,sudo apt-get install zstd,3 秒,再跑一次安裝就過了,那次花了 12 秒。
確認有沒有裝好:
ollama --version
我看到的是 ollama version is 0.40.3。
一般的電腦裝完,Ollama 就已經在背景跑了。我的測試機比較特殊,要自己多下一個 ollama serve 把它開起來,2 秒後就能用。你如果打指令時看到連不上的訊息,先試這一個。
下載第一個模型
Ollama 本身不含模型,要另外抓。
ollama pull qwen2.5:3b
冒號前面是模型的名字,後面是大小。3b 代表三十億個參數,數字越大越聰明,也越吃資源。有哪些模型可以抓,在官網的模型庫查。不知道挑哪一個的話,我拿十個小模型問過同一組題目,結果在Ollama 模型推薦。
我抓了兩個來比較。qwen2.5:1.5b 是 986 MB,qwen2.5:3b 是 1.9 GB,在機房的網路上各花十秒左右。
看電腦裡有哪些模型:
ollama ls
想知道某個模型的細節,例如它一次能記住多長的內容、支不支援工具呼叫:
ollama show qwen2.5:3b
開始問它
ollama run qwen2.5:3b
這樣會進入一個對話畫面,一問一答,離開是打 /bye。這個畫面我沒有進去測。
我用的是另一種寫法:把問題直接寫在後面,問完就結束。後面加 --verbose 會多印出花了多久、每秒產生幾個 token:
ollama run qwen2.5:3b "台灣最高的山是哪一座?用一句話回答。" --verbose
我用同樣兩個問題問了兩個模型,結果在這裡。回答是它的原文,沒有改。
| 模型 | 我問的 | 它答的 | 花多久 |
|---|---|---|---|
| 1.5B | 用繁體中文,用一句話解釋什麼是光合作用 | 光合作用是植物、藻类和某些细菌利用光能将二氧化碳转化为有机物的过程。 | 8.3 秒 |
| 1.5B | 台灣最高的山是哪一座? | 台灣最高的山是阿里山。 | 1.7 秒 |
| 3B | 用繁體中文,用一句話解釋什麼是光合作用 | 光合作用是植物利用光能將二氧化碳和水轉化為葡萄糖和氧气的過程。 | 15.2 秒 |
| 3B | 台灣最高的山是哪一座? | 台湾最高的山是玉山。 | 3.4 秒 |
有三件事值得看。
第一,每個模型的第一題特別久。那是因為要先把模型載進記憶體,1.5B 的花了 3.8 秒,3B 的花了 6.1 秒。載好之後,第二題就快很多。
第二,小的那個會出錯。台灣最高的山是玉山,1.5B 的模型很有自信地答了阿里山。3B 的答對了。
第三,繁體中文靠不住。我明明寫了「用繁體中文」,1.5B 的整句回簡體,3B 的大致是繁體,但「氧气」的「气」和「台湾」的「湾」還是簡體字。
所以挑模型的時候,不要只看它跑得快不快。我後來把範圍擴大到十個模型、六個問題,哪個答得對、哪個會用台灣的說法,整理在Ollama 模型推薦。
沒有顯卡,到底跑得多快
看模型現在的狀態:
ollama ps
我這邊印出來的是這樣。為了好讀,我拿掉了中間兩欄代號:
NAME SIZE PROCESSOR CONTEXT UNTIL
qwen2.5:3b 2.2 GB 100% CPU 4096 4 minutes from now
qwen2.5:1.5b 1.2 GB 100% CPU 4096 4 minutes from now
PROCESSOR 那一欄寫 100% CPU,代表完全沒有用到顯卡。有顯卡的電腦,這裡會顯示 GPU。
速度的部分,在這台 2 核心的機器上,1.5B 的模型每秒產生大約 8 個 token,3B 的大約 4 個。照我這幾次的回答去算,一個 token 大約是一個半中文字。短的問答沒問題,要它寫長文就得等。
記憶體的部分,1.5B 的佔 1.2 GB,3B 的佔 2.2 GB。兩個同時載著的時候,我那台 4 GB 的機器只剩不到 800 MB 可用。
有顯卡或是 Apple 晶片的 Mac 會快很多,但我沒有那樣的測試機,沒辦法給你數字。
常用指令
| 指令 | 做什麼 |
|---|---|
ollama pull 模型 |
下載模型 |
ollama run 模型 |
跟模型對話 |
ollama ls |
列出已經下載的模型 |
ollama show 模型 |
看模型的細節 |
ollama ps |
看哪些模型正載在記憶體裡 |
ollama stop 模型 |
把模型從記憶體卸掉 |
ollama rm 模型 |
刪掉下載的模型 |
ollama serve |
啟動 Ollama,一般電腦不用自己下 |
上面這些我都跑過。ollama stop 很實用,我把兩個模型都停掉之後,記憶體用量從 3.5 GB 掉回 0.4 GB。ollama rm 會印出 deleted 加上模型的名字,硬碟空間馬上還你。
官方文件裡還有 ollama launch,可以把 Ollama 的模型接到 Claude Code、Codex 這類工具上。這個我沒有跑。
用 API 呼叫
Ollama 開著的時候,同時也是一個 API 伺服器,位置在 http://localhost:11434。你自己的程式、n8n、OpenClaw 這些工具,都是從這裡跟模型講話。
呼叫本機的模型不需要 API key。最簡單的測試:
curl http://localhost:11434/api/chat -d '{
"model": "qwen2.5:1.5b",
"messages": [{"role": "user", "content": "1+1 等於多少?只回答數字。"}],
"stream": false
}'
不到一秒就回來一段 JSON,答案在 message 裡面的 content,我拿到的是 2。同一段資料裡還有 prompt_eval_count 和 eval_count,分別是讀進去和產生出來的 token 數。
它另外有一組跟 OpenAI 格式相容的網址,路徑是 /v1/chat/completions。原本接 OpenAI 的程式,把網址換成這個通常就能用。我也測了,通。
預設只有這台電腦自己連得到。要讓同一個網路裡的其他機器連進來,要設定 OLLAMA_HOST 這個環境變數。Mac、Windows、Linux 各要怎麼設才會每次開機都生效,還有怎麼更新 Ollama、看版本、ollama serve 出現 address already in use 是怎麼回事,我另外實測寫在 Ollama 怎麼更新、看版本、改 port。
串流、指定 JSON 格式、工具呼叫、Python 的寫法,還有 OLLAMA_HOST 實際設起來的樣子,我另外寫了一篇Ollama API 教學,每個請求都附實際的回應。
三個會踩到的預設值
第一個,模型閒置 5 分鐘就會被卸掉。ollama ps 最後那欄的倒數就是這個。卸掉之後再問,又要等它重新載入。想讓它留久一點,官方文件說設 OLLAMA_KEEP_ALIVE。
第二個,沒有顯卡的時候,它一次能處理的內容長度預設只有 4096 個 token。丟一篇長文給它,後面的會被截掉。官方文件說可以用 OLLAMA_CONTEXT_LENGTH 調大,代價是更吃記憶體。
第三個,模型很佔空間。我只抓了兩個小的就用掉 2.8 GB,大的模型一個就幾十 GB。空間不夠的話,用 OLLAMA_MODELS 把存放位置換到別的硬碟。
更新和移除
這一段我沒有實際做,是照官方文件。
Mac 和 Windows 會自己下載更新,從選單列或工作列的圖示點重新啟動就會套用。Linux 是把安裝那一行再跑一次。
移除的話,Mac 和 Linux 的官方文件各列了要刪的檔案和資料夾,記得模型另外放在 .ollama 底下,要一起刪才會把空間拿回來。
接下來可以做什麼
Ollama 自己只是讓模型跑起來。有趣的是把它接到別的工具上。
想在瀏覽器裡有一個聊天視窗,不用一直對著終端機,可以裝 Open WebUI。我實際裝了一次,照官方指令裝完連不到 Ollama,原因和解法在Open WebUI 是什麼。想把 Ollama 本身也放進 Docker、跟其他容器一起管,步驟和要注意的事在 Ollama Docker 教學。如果你想要的是從下載模型到聊天都在畫面上點的桌面 App,可以改用 LM Studio,步驟在 LM Studio 教學。
我試過把它接到 OpenClaw,讓 AI 助理用本地的模型動手做事,過程和踩到的坑寫在OpenClaw 接 Ollama。先講結論,沒有顯卡的話那條路很慢。
也可以接到 n8n 的 AI Agent 節點,讓自動化流程裡的 AI 用本地模型。我做了一個會自己查匯率的,n8n 在 Docker 裡怎麼連到 Ollama、跑一句要多久,寫在 n8n AI Agent 教學。
常見問題
Ollama 要錢嗎?
在自己的電腦上跑模型不用錢,也不用註冊。Ollama 另外有雲端模型的服務,那個要登入,這篇沒有用到。
沒有顯卡可以用 Ollama 嗎?
可以,只是要挑小的模型。我的測試機沒有顯卡、只有 2 核心,1.5B 和 3B 的模型都跑得動,短的問答幾秒內會回。大一點的模型我沒有在這種機器上試。
下載的模型放在哪裡?
官方文件寫的預設位置,Mac 是 ~/.ollama/models,Windows 是使用者資料夾底下的 .ollama\models,Linux 用安裝腳本裝的是 /usr/share/ollama/.ollama/models。想換地方,設定 OLLAMA_MODELS 這個環境變數。
怎麼讓它用繁體中文回答?
沒有保證有效的做法。我在問題裡寫明「用繁體中文」,1.5B 的模型還是回簡體,3B 的大致是繁體但夾了簡體字。我後來拿十個模型比過,在系統提示詞加一句「用台灣用語」幾乎沒有差別,換一個模型比較有用。
這篇怎麼查證的
這篇只有一部分實際跑過,其餘依官方文件整理,查證日期 2026/10/12(Ollama 0.40.3,雲端測試機(Ubuntu 26.04,2 核心、4 GB、沒有顯卡)。安裝、pull、run、ps、show、stop、rm 和 API 都實際跑過;Mac 與 Windows 的安裝程式、有顯卡的速度、launch、雲端模型、更新與移除沒有測,依官方文件)。哪些有跑、哪些沒跑,文中各段有寫。價格與方案以官方頁面為準,工具改版後內容可能過期。