bedrock-converse

Since Docker image version 0.0.6

Amazon Bedrock LLM 统一调用。

将消息发送到指定的 Amazon Bedrock 模型。Converse提供了一个与支持消息的所有模型兼容的统一接口。这允许您只编写一次代码,并将其用于不同的模型。如果某个模型具有独特的推理参数,您也可以将这些独特的参数传递给该模型。

参数配置

通过亚马逊Bedrock Converse API调用模型。您可以使用此提供程序配置所有支持的模型。

这个网址 解释了如何使用 Bedrock Converse API 以及他支持的特性。

建议使用这个 Provider 来支持 Bedrock 的大语言模型。

Key	Type	Required	Default value	Description
modelId	string	Y		Model id, 点这里查看列表
regions	string[] or string	N	[“us-east-1”]	如果您已经申请并指定了多个地区,那么将会随机选择一个地区进行调用。这个功能可以有效缓解性能瓶颈。
maxTokens	number	N	1024	默认最大 tokens 数量，对应标准 API 的 max_tokens 参数。 如果 API 请求中不指定，则使用此值。

bedrock-converse 的配置示例如下：

{
  "modelId": "anthropic.claude-3-sonnet-20240229-v1:0",
  "regions": [
    "us-east-1",
    "us-west-2"
  ]
}