自建 AI 编程助手 | 本地 Yi-Coder 模型 + Cursor 轻松实现

引言

Yi-Coder 是一个开源的高性能代码语言大模型,旨在实现高效编程。它支持 52 种编程语言,特别擅长处理需要长上下文理解的任务,如项目级代码理解和生成。该模型提供两种规模(15亿和90亿参数),并有基础版和聊天版可供选择。

在本教程中,你将学习如何:

  • 使用与 OpenAI 兼容的 API 在本地运行 Yi-Coder 模型

  • 使用 Yi-Coder 驱动 Cursor

Cursor 简介

Cursor 是当前最受欢迎的 AI 代码编辑器之一。它可以利用专门为编码任务训练的 LLM(如 Yi-Coder)来完成编码辅助任务。你可以将 Yi-Coder-9B 配置为 Cursor 的私有 LLM 后端。

在本地运行 Yi-Coder 模型

安装 Gaia 节点

要获取 Cursor 所需的本地 Yi-Coder-9B 的公共 HTTPS endpoint,请按照以下步骤操作:

  1. 安装开源 Gaia 节点——一组轻量且可移植的 LLM 推理工具。

    Gaia 的技术栈基于 WasmEdge,这是一个针对无服务器计算和边缘应用优化的 WebAssembly 运行时。此设置允许在不同环境中高效部署 Yi-Coder,提供灵活性和可扩展性。

  2. 使用以下命令安装:

    bash curl -sSfL 'https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh' | bash

  3. 下载并初始化模型:

    bash gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/yi-coder-9b-chat/config.json

  4. 启动节点:

    bash gaianet start

    运行后,你将获得一个 HTTPS URL,例如 https://NODE-ID.us.gaianet.network

  5. 你可以在浏览器中访问 http://localhost:8080 来询问编程相关问题。

Yi-Coder 运行示例
Yi-Coder 运行示例

我们以 8k 上下文窗口启动了 Yi-Coder 9B 模型。如果你的机器有较大的 GPU RAM(例如 24GB),可以将上下文大小增加到 128k。较大的上下文大小在编码中特别有用,因为我们可能需要将大量源代码文件塞入 LLM 提示中以完成复杂任务。

将 Yi-Coder-9B 集成到 Cursor

接下来,让我们将本地运行的 Yi-Coder-9B 配置到 Cursor 中。

只需使用你的 Gaia 节点 URL 覆盖 Cursor 的默认 OpenAI URL,修复模型名称和“API 密钥”,即可开始工作!请参考相关文档获取详细说明。

现在,让我们测试 Yi-Coder-9B 来编写一个简单的搜索页面。

搜索页面示例
搜索页面示例

我提示模型生成了一个简单的搜索页面。

按钮修改示例
按钮修改示例

然后,我要求 Yi-Coder-9B 修改按钮上的文字标签。Yi-Coder-9B LLM 解释了搜索按钮的工作原理。

网页运行示例
网页运行示例

网页如预期运行!

最终效果示例
最终效果示例

就这样!访问 野卡 | 一分钟注册,轻松订阅海外线上服务 获取更多信息。

参考资料

  • 关于 WasmEdgeWasmEdge 是轻量级、安全、高性能、可扩展、兼容 OCI 的软件容器与运行环境,目前是 CNCF 沙箱项目。WasmEdge 被广泛应用于 SaaS、云原生、服务网格、边缘计算、微服务、流数据处理、LLM 推理等领域。
Subscribe to bulun
Receive the latest updates directly to your inbox.
Mint this entry as an NFT to add it to your collection.
Verification
This entry has been permanently stored onchain and signed by its creator.