G.R.D的keep主题博客
模型管理
Naruto Three
  2024-05-09 11:40:36   2024-06-24 11:37:08    1.5k 字  5 分钟   
1
2
模型管理用于对接供应商的大语言模型；
MaxKB 支持对接主流的大模型，包括本地私有大模型 Ollama（如 Llama2、Llama3、qwen等私有模型）、Azure OpenAI、OpenAI、Kimi、智谱 AI、通义千问、讯飞星火和百度千帆大模型等。
image

2.3.1 添加千帆大模型

1
2
点击【添加模型】，选择供应商【千帆大模型】，直接进入下一步填写千帆大模型表单。
或者左侧供应商先选择【千帆大模型】，然后点击【添加模型】，则直接进入千帆大模型表单。
image 
1
2
3
4
5
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。    
基础模型： 为供应商的 LLM 模型，支持自定义输入官方模型，选项中列了的一些常用的大语言模型。
         注意自定义基础模型名称需保证与供应商平台的模型名称一致才能校验通过。    
API Key 和 Secret Key：千帆大模型中应用的API Key 和 Secret Key（需要先创建应用）
qianfan-app

2.3.2 添加 Ollama 模型

1
2
3
4
5
6
7
点击【添加模型】，选择供应商【 Ollama 】，直接进入下一步填写 Ollama 供应商的大模型表单。
或者左侧供应商先选择【 Ollama 】，然后点击【添加模型】，则直接进入 Ollama 表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。    
基础模型： 为供应商的 LLM 模型，支持自定义输入，但需要与供应商的模型名称保持一致，系统会自动下载部署模型。   
API 域名和 API Key: 为供应商的连接信息（Ollama 服务地址， 如：http://42.92.198.53:11434 ）。若没有 API Key 可以输入任意字符。     
点击【添加】后 校验通过则添加成功，便可以在应用的 AI 模型列表选择该模型。
image

2.3.3 添加 Azure OpenAI 模型

1
2
3
4
5
在模型管理中，点击供应商【 Azure OpenAI 】，直接进入下一步填写Azure OpenAI 的模型表单。    
或者左侧供应商先选择【 Azure OpenAI 】，然后点击【添加模型】，则直接进入 Azure OpenAI 的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入和下拉选项，当前可下拉选择的大语言模型如：gpt-3.5-turbo-0613、gpt-3.5-turbo-0301、gpt-3.5-turbo-16k-0613 等。
image 
1
API 域名、API Key、部署名称: 是Azure OpenAI 的模型部署中提供的，需要填写一致，参考下图：

image

2.3.4 添加 OpenAI 大模型

1
2
3
4
5
6
7
8
在模型管理中，点击供应商【 OpenAI 】，直接进入下一步填写 OpenAI 的模型表单。    
或者左侧供应商先选择【 OpenAI 】，然后点击【添加模型】，则直接进入 OpenAI 的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入，下拉选项是 OpenAI 常用的一些大语言模型如：gpt-3.5-turbo-0613、gpt-3.5-turbo、gpt-4 等。    
API 域名（国外）：https://api.openai.com/v1 。
API 域名：国内服务器反向代理地址/v1。
API Key：访问 OpenAI 的 Key。
image

2.3.5 添加讯飞星火大模型

1
2
3
4
5
6
7
8
9
10
在模型管理中，点击供应商【讯飞星火】，直接进入下一步填写讯飞星火的模型表单。    
或者左侧供应商先选择【讯飞星火】，然后点击【添加模型】，则直接进入讯飞星火的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入，下拉选项是常用的一些大语言模型。    
API 域名 V3.5：wss://spark-api.xf-yun.com/v3.5/chat
API 域名 V3：wss://spark-api.xf-yun.com/v3.1/chat
API 域名 V2：wss://spark-api.xf-yun.com/v2.1/chat
API 域名 V1.5：wss://spark-api.xf-yun.com/v1.1/chat
APP ID、API Key、Secret Key 需要现在讯飞星火开放平台创建应用，并该应该的剩余tokens>0，才能添加成功。
image image

2.3.6 添加智谱AI大模型

1
2
3
4
5
6
在模型管理中，点击供应商【智谱AI】，直接进入下一步填写智谱AI的模型表单。    
或者左侧供应商先选择【智谱AI】，然后点击【添加模型】，则直接进入智谱AI的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入，下拉选项是常用的一些大语言模型。    
API Key： 需要现在智谱 AI 开放平台创建。
image image

2.3.7 添加通义千问大模型

1
2
3
4
5
6
在模型管理中，点击供应商【通义千问】，直接进入下一步填写通义千问的模型表单。    
或者左侧供应商先选择【通义千问】，然后点击【添加模型】，则直接进入通义千问的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入，下拉选项是常用的一些大语言模型。    
API Key： 需要在阿里云->DashScope灵积模型服务->API Key管理中获取。
image image

2.3.8 添加Kimi大模型

1
2
3
4
5
6
7
在模型管理中，点击供应商【Kimi】，直接进入下一步填写Kimi的模型表单。    
或者左侧供应商先选择【Kimi】，然后点击【添加模型】，则直接进入Kimi的模型表单。    
模型名称： MaxKB 中自定义的模型名称。   
模型类型： 大语言模型。   
基础模型： 为供应商的 LLM 模型，支持自定义输入，下拉选项是常用的一些大语言模型。  
API 域名： https://api.moonshot.cn/v1  
API Key： 在Kimi 账户中心的 API Key 管理中获取 key。
image image
模型管理
2024/05/09/2.3-模型管理/
作者
Naruto
发布于
2024-05-09 11:40
许可
  1. 1. 2.3.1 添加千帆大模型
  2. 2. 2.3.2 添加 Ollama 模型
  3. 3. 2.3.3 添加 Azure OpenAI 模型
  4. 4. 2.3.4 添加 OpenAI 大模型
  5. 5. 2.3.5 添加讯飞星火大模型
  6. 6. 2.3.6 添加智谱AI大模型
  7. 7. 2.3.7 添加通义千问大模型
  8. 8. 2.3.8 添加Kimi大模型
© 2017 - 2024    Naruto
由 Hexo 驱动 & 主题 Keep
访客数 访问量
  1. 1. 2.3.1 添加千帆大模型
  2. 2. 2.3.2 添加 Ollama 模型
  3. 3. 2.3.3 添加 Azure OpenAI 模型
  4. 4. 2.3.4 添加 OpenAI 大模型
  5. 5. 2.3.5 添加讯飞星火大模型
  6. 6. 2.3.6 添加智谱AI大模型
  7. 7. 2.3.7 添加通义千问大模型
  8. 8. 2.3.8 添加Kimi大模型