本地大模型（Local LLM）

AI知见编辑部 · 使用进阶 · 持续更新

一句话说清

把AI模型装在自己电脑上跑，不联网、不花钱、数据不出门。

本地跑模型三件套：一个开源模型权重（Qwen、DeepSeek、Llama）、一个运行工具（Ollama最简单，一行命令搞定）、一块够格的显卡（8GB显存能跑7B模型，24GB能跑32B）。

值不值得搞，看三点：数据敏感度（财务、医疗、法务资料，值得）、使用频率（每天用几小时，API费用很快超过显卡钱）、动手意愿（装环境报错是常态，要有折腾心理准备）。普通聊天需求，直接用云端免费额度就够了。

担心公司资料泄露？用Ollama在本地跑Qwen或DeepSeek蒸馏版，断网也能用。代价是：需要好显卡，能力比云端弱一截。