Cherry Studio + 火山引擎，本地部署大模型教程（API 形式）

本教程由HOZO AI社区出品，

一个专注于AI技能实操的社区。

文章简介

本文主要讲解如何使用Cherry Studio在本地部署AI大模型。（API形式）

这样做的好处是：

1. 数据本地储存，无需担心隐私泄露。
2. 集成多种AI，不用来回切换网页。
3. Cherry Studio 支持多种拓展功能

这也是目前个人部署大模型比较实用的方法。

下载 cheryy

打开Cherry Studio官网

https://www.cherry-ai.com/

点击”下载客户端”

跳转到“下载页面”

MAC系统，下拉页面，可找到对应版本。

火山方舟

什么是火山方舟

火山方舟是由字节跳动旗下火山引擎于 2023 年 6 月 28 日正式发布的一站式大模型服务平台。作为企业级的 Model-as-a-Service（MaaS）平台，它为企业提供模型精调、评测、推理等全方位的 AI 服务。

除火山方舟外，也可以使用其他服务平台进行接入。

获取API Key

火山方舟地址：

https://console.volcengine.com/ark/

登录火山方舟

新用户会送50w额度的Token

1. 在左侧找到“在线推理”选项

2. 自定义推理接入点，创建新的接入点。

填写名称后，点击添加模型。

选择合适的模型进行接入。

这里有一个小技巧，如果不确定哪个模型是自己想要的。将鼠标移至对应模型处，可以看到详细介绍。

创建好后，选择“API调用”

下拉页面找到“OpenAI SDK调用示例”

获取到API地址，复制下来备用。

然后我们找到 “选择API Key并复制”

点击右上角，“创建API Key”

然后复制 API Key 备用。

注意：这里的key是调用大模型的钥匙，不要把key泄露给他人。

配置 Cherry

打开 Cherry Studio

点击设置 -> 模型服务 -> 火山引擎

填入刚刚复制好的 Key 和 API 调用地址。

这里强调一点，API地址必须要以 “/” 结尾，否则就会报错。

// 方便复制https://ark.cn-beijing.volces.com/api/v3/

点击检测

检测时，模型要与创建接入点时一致。

添加模型

教程演示的是豆包1.6的模型。

软件里面是没有对应的模型。

这时候就需要我们自行添加了。

回到“火山方舟”平台，点击“在线推理”。

复制这一串代码。

 

在cherry 配置界面 下拉，找到“添加按钮”

粘贴到模型ID，然后点击更多设置。

按需勾选模型需要的功能。

回到聊天窗口，选择刚刚配置好的模型。

发送消息，就可以快乐的聊天啦。

教程结束

结语

Cherry Studio 里面还集成了许多功能。

如果您是 AI重度用户，强烈建议您按照本文方法试试。

它还集成了AI知识库、AI智能体、AI绘画等功能。

不仅速度快，还能随时切换不同模型。简直太方便了。