Ollama
Aider 可以连接本地 Ollama 模型。
首先安装 aider:
python -m pip install aider-install
aider-install
然后配置你的 Ollama API 端点(通常使用默认值):
export OLLAMA_API_BASE=http://127.0.0.1:11434 # Mac/Linux
setx OLLAMA_API_BASE http://127.0.0.1:11434 # Windows,执行 setx 后需重启终端
开始在你的代码库中使用 aider 和 Ollama:
# 拉取模型
ollama pull <模型名称>
# 启动 ollama 服务,将上下文窗口增加到 8k tokens
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
# 在另一个终端窗口中,切换到你的代码库目录
cd /to/your/project
aider --model ollama_chat/<模型名称>
推荐使用 ollama_chat/
而不是 ollama/
。
关于使用 aider 不熟悉的模型时出现的警告信息, 请参阅模型警告章节。
API 密钥
如果你使用的 ollama 需要 API 密钥,可以设置 OLLAMA_API_KEY
:
export OLLAMA_API_KEY=<api-key> # Mac/Linux
setx OLLAMA_API_KEY <api-key> # Windows,执行 setx 后需重启终端
设置上下文窗口大小
Ollama 默认使用 2k 的上下文窗口, 这对于使用 aider 来说太小了。 它还会静默丢弃超出窗口的上下文内容。 这种情况特别危险,因为许多用户甚至没有意识到他们的大部分数据正在被 Ollama 丢弃。
默认情况下,aider 会将 Ollama 的上下文窗口 设置为足够大以容纳你发送的每个请求,再加上 8k tokens 用于回复。 这确保了数据不会被 Ollama 静默丢弃。
如果你愿意,也可以通过
.aider.model.settings.yml
文件
配置固定大小的上下文窗口,如下所示:
- name: ollama/qwen2.5-coder:32b-instruct-fp16
extra_params:
num_ctx: 65536