bedrock-converse¶
Since Docker image version 0.0.6
Amazon Bedrock LLM 统一调用。
将消息发送到指定的 Amazon Bedrock 模型。Converse提供了一个与支持消息的所有模型兼容的统一接口。这允许您只编写一次代码,并将其用于不同的模型。如果某个模型具有独特的推理参数,您也可以将这些独特的参数传递给该模型。
参数配置¶
通过亚马逊Bedrock Converse API调用模型。您可以使用此提供程序配置所有支持的模型。
这个网址 解释了如何使用 Bedrock Converse API 以及他支持的特性。
提示词缓存
这个网址 可以看到支持模型和用法。
请注意，总的提示缓存数量不要超出文档中的描述。其中：system 算一个，tools 算一个，messagePositions 的算多个，这些总和不要超出限制。
建议使用这个 Provider 来支持 Bedrock 的大语言模型。
| Key | Type | Required | Default value | Description |
|---|---|---|---|---|
| modelId | string | Y | Model id, 点这里查看列表 | |
| regions | string[] or string | N | [“us-east-1”] | 如果您已经申请并指定了多个地区,那么将会随机选择一个地区进行调用。这个功能可以有效缓解性能瓶颈。 |
| maxTokens | number | N | 1024 | 默认最大 tokens 数量，对应标准 API 的 max_tokens 参数。 如果 API 请求中不指定，则使用此值。 |
| thinking | boolen | N | false | 是否开启 reason/think 功能 |
| thinkBudget | number | N | 1024 | 在开启 thinking 的情况下，推理部分允许的最大 tokens 数量 |
| promptCache.fields | string[] | N | 在什么位置开启提示词缓存，支持三个字符串：”system”, “messages”, “tools” | |
| promptCache.messagePositions | int[] | N | 多轮对话中，可以指定 messages 缓存的加载位置 |
bedrock-converse 的配置示例如下：
{
"modelId": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
"regions": [
"us-east-1"
],
"thinking": true,
"maxTokens": 32000,
"promptCache": {
"fields": [
"system",
"messages",
"tools"
],
"messagePositions": [
0,
1
]
},
"thinkBudget": 2000
}
输出结果¶
输出中增加了 reasoning_content 字段，与 deepseek 的输出保持一致。如下：