Skip to main content

使用本地模型

Roo Code 支持使用 Ollama 和 LM Studio 在您自己的机器上本地运行语言模型。这提供了几个优势：

  • 隐私： 您的代码和数据永远不会离开您的计算机。
  • 离线访问： 即使没有互联网连接，您也可以使用 Roo Code。
  • 节省成本： 避免与基于云的模型相关的 API 使用费用。
  • 自定义： 尝试不同的模型和配置。

然而，使用本地模型也有一些缺点：

  • 资源要求： 本地模型可能很消耗资源，需要一台具有强大 CPU 和理想情况下专用 GPU 的计算机。
  • 设置复杂性： 设置本地模型可能比使用基于云的 API 更复杂。
  • 模型性能： 本地模型的性能可能会有很大差异。虽然有些模型很出色，但它们可能并不总是匹配最大、最先进的云模型的功能。
  • 功能受限：本地模型（和许多在线模型）通常不支持高级功能，例如提示缓存、计算机使用等。

支持的本地模型提供商​

Roo Code 目前支持两个主要的本地模型提供商：

  1. Ollama： 一个流行的开源工具，用于在本地运行大型语言模型。它支持广泛的模型。
  2. LM Studio： 一个用户友好的桌面应用程序，简化了下载、配置和运行本地模型的过程。它还提供了一个模拟 OpenAI API 的本地服务器。

设置本地模型​

有关详细的设置说明，请参见：

两个提供商都提供类似的功能，但具有不同的用户界面和工作流程。Ollama 通过其命令行界面提供更多的控制，而 LM Studio 提供更用户友好的图形界面。

故障排除​

  • "无法建立连接，因为目标机器主动拒绝了它"： 这通常意味着 Ollama 或 LM Studio 服务器没有运行，或者运行在与 Roo Code 配置使用的不同端口/地址上。请仔细检查 Base URL 设置。

  • 响应时间慢： 本地模型可能比基于云的模型更慢，特别是在性能较弱的硬件上。如果性能是个问题，请尝试使用较小的模型。

  • 找不到模型： 确保您正确输入了模型的名称。如果您使用 Ollama，请使用与您在 ollama run 命令中提供的相同名称。