Ollama

Aider 可以连接本地 Ollama 模型。

首先安装 aider:

python -m pip install aider-install
aider-install

然后配置你的 Ollama API 端点(通常使用默认值):

export OLLAMA_API_BASE=http://127.0.0.1:11434 # Mac/Linux
setx   OLLAMA_API_BASE http://127.0.0.1:11434 # Windows,执行 setx 后需重启终端

开始在你的代码库中使用 aider 和 Ollama:


# 拉取模型
ollama pull <模型名称>


# 启动 ollama 服务,将上下文窗口增加到 8k tokens
OLLAMA_CONTEXT_LENGTH=8192 ollama serve


# 在另一个终端窗口中,切换到你的代码库目录
cd /to/your/project

aider --model ollama_chat/<模型名称>

推荐使用 ollama_chat/ 而不是 ollama/

关于使用 aider 不熟悉的模型时出现的警告信息, 请参阅模型警告章节。

API 密钥

如果你使用的 ollama 需要 API 密钥,可以设置 OLLAMA_API_KEY

export OLLAMA_API_KEY=<api-key> # Mac/Linux
setx   OLLAMA_API_KEY <api-key> # Windows,执行 setx 后需重启终端

设置上下文窗口大小

Ollama 默认使用 2k 的上下文窗口, 这对于使用 aider 来说太小了。 它还会静默丢弃超出窗口的上下文内容。 这种情况特别危险,因为许多用户甚至没有意识到他们的大部分数据正在被 Ollama 丢弃。

默认情况下,aider 会将 Ollama 的上下文窗口 设置为足够大以容纳你发送的每个请求,再加上 8k tokens 用于回复。 这确保了数据不会被 Ollama 静默丢弃。

如果你愿意,也可以通过 .aider.model.settings.yml 文件 配置固定大小的上下文窗口,如下所示:

- name: ollama/qwen2.5-coder:32b-instruct-fp16
  extra_params:
    num_ctx: 65536

目录