跳到内容

云端

以下描述了用于将索引与云存储同步的参数。支持云对象存储、Hugging Face Hub 和自定义提供者。

参数通过 embeddings.loadembeddings.save 方法设置。

提供者

provider: string

云提供者。可以是以下之一:

  • 云对象存储。设置为这些提供者中的一个。使用 Provider Constant 列中显示的文本(小写)。

  • Hugging Face Hub。设置为 huggingface-hub

  • 自定义提供者。设置为自定义提供者的完整类路径。

容器

container: string

容器/存储桶/目录/仓库名称。嵌入将存储在由 path 配置指定文件名的容器中。

云对象存储配置

除了上述通用配置外,云对象存储提供者还有以下附加配置参数。请注意,某些云提供者不需要这些参数,并且可以使用服务账号进行隐式身份验证。

有关这些参数的更多信息,请参阅libcloud 文档

密钥

key: string

提供者特定的访问密钥。也可以通过 ACCESS_KEY 环境变量设置。如果添加到文件中,请确保配置文件安全。使用隐式身份验证时,将其设置为 'using-implicit-auth' 之类的值。

密匙

secret: string

提供者特定的访问密匙。也可以通过 ACCESS_SECRET 环境变量设置。如果添加到文件中,请确保配置文件安全。使用隐式身份验证时,此选项不是必需的。

前缀

prefix: string

可选的对象前缀。对象存储没有目录的概念,但前缀是类似的。例如,前缀可以是 base/dir。这有助于组织对象存储存储桶中的数据。

更多信息可在以下链接中找到。

主机

host: string

可选的服务器主机名。在使用本地云存储服务器时设置。

端口

port: int

可选的服务器端口。在使用本地云存储服务器时设置。

令牌

token: string

可选的临时会话令牌

区域

region: string

可选参数,用于指定存储区域,提供者特定。

Hugging Face Hub 配置

huggingface-hub 提供者支持以下附加配置参数。有关这些参数的更多信息,请参阅Hugging Face Hub 文档

版本

revision: string

可选的 Git 版本 ID,可以是分支名称、标签或提交哈希

缓存

cache: string

缓存文件存储的文件夹路径

令牌

token: string|boolean

用于下载的令牌。如果设置为 True,令牌将从 Hugging Face 配置文件夹中读取。