azure-openai¶
自 Docker 镜像版本 0.0.32 起可用
Azure OpenAI 服务接口。
将消息发送到指定的 Azure OpenAI 模型。此提供程序允许您连接到 Azure OpenAI 部署并通过 Sample Connector for Bedrock 使用它们。
配置¶
通过 Azure OpenAI API 调用模型。您可以使用此提供程序配置 Azure OpenAI 部署。
Azure OpenAI 服务文档 解释了如何使用 Azure OpenAI API 以及它支持的功能。
建议使用此提供程序连接到 Azure OpenAI 部署。
| 键 | 类型 | 必填 | 默认值 | 描述 |
|---|---|---|---|---|
| apiKey | string | 是 | 您的 Azure OpenAI API 密钥 | |
| baseURL | string | 是 | Azure OpenAI 部署的基础 URL,包括部署名称(例如:”https://your-resource-name.openai.azure.com/openai/deployments/your-deployment-name") | |
| apiVersion | string | 是 | 要使用的 Azure OpenAI API 版本(例如:”2025-01-01-preview”)。流式调用会发送 stream_options,所用 API 版本不接受它时,请把 streamUsage 设为 false |
|
| streamUsage | boolean | 否 | true | 流式调用时向 Azure OpenAI 要求返回 usage(stream_options.include_usage),用于计费。只有所用 API 版本不接受 stream_options 时才设为 false。 |
配置示例:
{
"apiKey": "<your-key>",
"baseURL": "https://your-resource-name.openai.azure.com/openai/deployments/your-deployment-name",
"apiVersion": "2025-01-01-preview"
}
计费¶
- 非流式调用按响应里的
usage计费。 - 流式调用会向上游发送
stream_options: {"include_usage": true},除非streamUsage设为false。流结束后按上游最后一次发来的 usage 计费一次,不论结束原因是什么(stop、tool_calls、length等)。 - 只有客户端通过
stream_options.include_usage要求了,才会把只含 usage 的数据块(choices为空)转发给客户端。 - 如果流结束时没有 usage(例如设置了
streamUsage: false),这次调用按 0 token 记录,并记录一条带模型名称的警告日志。 - 输入 token 按
price_in计,输出 token 按price_out计。
输出结果¶
输出遵循标准 OpenAI API 格式:
{
"id": "chatcmpl-123",
"object": "chat.completion",
"created": 1677858242,
"model": "gpt-4o",
"choices": [
{
"message": {
"role": "assistant",
"content": "这是来自 Azure OpenAI 模型的响应。"
},
"finish_reason": "stop",
"index": 0
}
],
"usage": {
"prompt_tokens": 13,
"completion_tokens": 7,
"total_tokens": 20
}
}