本地 AI 工具横评对比:Ollama vs LM Studio vs Open WebUI vs Dify 实测

市面上跑本地模型的工具太多了。这篇不吹不黑,把我实际用过的几个拉出来对比,数据都是实测。


先看结论

只聊天:LM Studio(Windows)或 Ollama(Linux)。

要 Web 界面:Open WebUI。

要知识库问答:AnythingLLM 最轻量,Dify 最全面。

要自动化流程:n8n。

全都要:Ollama 做后端 + Open WebUI 聊天 + AnythingLLM 知识库。


安装难度

LM Studio 下载安装包,双击装。Ollama 一行命令。AnythingLLM 一条 Docker 命令。Open WebUI 一个 compose 文件。n8n 同上。Dify 最麻烦,要拉整个仓库改 .env 再 docker compose up,依赖服务也多。

资源占用

不算模型的话,Ollama 空闲时 ~100MB,LM Studio ~300MB,AnythingLLM ~300MB,Open WebUI ~400MB,n8n ~500MB,Dify 全家桶 ~2.5GB(Redis+PostgreSQL+Weaviate+Nginx+Sandbox 全算上)。

模型加载后的占用跟工具无关,只看模型大小。7B Q4_K_M 大约 4.7GB,所有工具都一样。

速度

统一用 Ollama 后端跑 qwen2.5:7b,同一个提示词:

Ollama CLI:5.0 t/s,首字 ~3s。Open WebUI:4.9 t/s。LM Studio:4.8 t/s。AnythingLLM:4.8 t/s。Dify:4.5 t/s。n8n:4.5 t/s。

差距不到 10%。瓶颈在 Ollama 和模型本身,前端带来的额外开销很小。

功能

聊天对话:都能,但 Open WebUI 体验最好,最像 ChatGPT。

知识库 RAG:AnythingLLM 开箱即用,上传文档就能问。Dify 最强大但配置复杂。Ollama 和 LM Studio 没有内置 RAG。Open WebUI 有基本的文档上传功能。n8n 可以编排但得自己搭。

多用户:Ollama 和 LM Studio 不支持。Open WebUI、Dify、AnythingLLM、n8n 都支持。

API:Ollama 的 OpenAI 兼容接口最通用。LM Studio 也有。Dify 能发布 API。n8n 有 Webhook。

工作流:Dify 和 n8n 是主力。其他的没有。

模型翻译测试

同样用 qwen2.5 系列,不同大小对比:

7B:翻译质量最好,用词准确,语序自然。速度 ~5 t/s。3B:翻译质量接近 7B,个别专有名词翻得不准。速度 ~12 t/s。1.5B:能翻,偶尔翻错意思,”自动车辆”这种直译。速度 ~20 t/s。

代码任务:qwen2.5-coder:7b 写的快速排序带注释、边界处理。qwen2.5:7b 通用版也正确但简洁。3B 版本能写基本逻辑但边界情况没处理。

内存建议

8G 机器:Ollama + qwen2.5:3b 或 1.5b。别装 GUI。

16G 机器:Ollama + Open WebUI + AnythingLLM,跑 7B 模型没问题。

32G 机器:全家桶 + Dify + n8n,14B 模型也能跑。

发表评论