Cherry Studio 客户端优化
All checks were successful
Build and Push OCI GenAI Gateway Docker Image / docker-build-push (push) Successful in 35s

This commit is contained in:
2025-12-10 17:40:43 +08:00
parent 0840f35408
commit 95722c97e4
10 changed files with 1515 additions and 69 deletions

View File

@@ -19,6 +19,8 @@
-**真实流式传输**: 真正的边缘到边缘流式响应TTFB < 200ms
- 🔒 **安全性**: 自动过滤敏感信息OCID、request-id、endpoint URLs
- 🎯 **性能优化**: 客户端连接池机制,显著提升性能
- 🎨 **高级参数支持**: reasoning_effort 等参数
- 🍒 **Cherry Studio 优化**: 自动映射 thinking_budget客户端名称识别
## 🚀 快速开始
@@ -153,6 +155,68 @@ response = client.chat.completions.create(
)
```
## 🚀 高级功能
### 高级参数支持
网关支持高级参数来增强模型响应能力:
#### reasoning_effort - 推理深度控制
控制模型的推理深度,影响响应质量:
```python
response = client.chat.completions.create(
model="google.gemini-2.5-pro",
messages=[{"role": "user", "content": "Solve this complex problem"}],
extra_body={"reasoning_effort": "high"} # low, medium, high
)
```
详细说明请参考 [高级参数支持文档](docs/ADVANCED_PARAMETERS.md)。
### Cherry Studio 客户端优化
网关为 Cherry Studio 客户端提供了专属优化功能:
#### 自动映射 thinking_budget
Cherry Studio 的 `thinking_budget` 参数会自动映射到 OCI 的 `reasoning_effort`
- thinking_budget ≤ 1760 → `reasoning_effort: low`
- 1760 < thinking_budget ≤ 16448 → `reasoning_effort: medium`
- thinking_budget > 16448 → `reasoning_effort: high`
```bash
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-oci-genai-default-key" \
-H "x-title: Cherry Studio" \
-d '{
"model": "google.gemini-2.5-pro",
"messages": [{"role": "user", "content": "Complex problem..."}],
"extra_body": {
"google": {
"thinking_config": {
"thinking_budget": 10000
}
}
}
}'
```
#### 客户端名称识别
通过 `x-title` 请求头识别客户端,便于日志追踪和调试:
```bash
curl http://localhost:8000/v1/chat/completions \
-H "x-title: Cherry Studio" \
...
```
详细说明请参考 [Cherry Studio 客户端优化文档](docs/CHERRY_STUDIO_OPTIMIZATION.md)。
## 📋 支持的端点
| 端点 | 方法 | 说明 |
@@ -188,7 +252,9 @@ response = client.chat.completions.create(
| `ENABLE_STREAMING` | 全局流式开关 | `true` |
| `LOG_LEVEL` | 日志级别 | `INFO` |
完整配置请参考 [.env.example](.env.example)
**📖 完整配置说明**
- [环境变量配置文档](docs/ENVIRONMENT_VARIABLES.md) - 所有环境变量的详细说明、使用场景和配置示例
- [.env.example](.env.example) - 环境变量配置示例文件
## 🌐 多区域负载均衡
@@ -214,8 +280,16 @@ docker run -p 8000:8000 --env-file .env oci-genai-gateway
## 📚 文档
- [CLAUDE.md](CLAUDE.md) - 完整的开发文档,包含架构说明、开发指南和调试技巧
- [.env.example](.env.example) - 环境变量配置示例
### 核心文档
- [环境变量配置说明](docs/ENVIRONMENT_VARIABLES.md) - 所有环境变量的详细说明和配置示例
- [.env.example](.env.example) - 环境变量配置示例文件
### 功能优化文档
- [高级参数支持](docs/ADVANCED_PARAMETERS.md) - reasoning_effort 参数详解
- [Cherry Studio 客户端优化](docs/CHERRY_STUDIO_OPTIMIZATION.md) - thinking_budget 映射和客户端识别
- [OCI 访问权限配置](docs/OCI-SETUP-GUIDE.md) - 自动化配置 OCI GenAI 访问权限
## 🔧 故障排除