分布式嵌入集群

API 支持将多个 API 实例组合成一个逻辑嵌入索引。下面显示了一个示例配置。

cluster:
    shards:
        - http://127.0.0.1:8002
        - http://127.0.0.1:8003

此配置将上述 API 实例聚合成索引分片。数据在索引时均匀地分配到每个分片。查询并行运行于每个分片，并将结果合并。此方法允许水平扩展，并支持非常大的索引集群。

此方法仅建议用于记录数量超过 10 亿的数据集。ANN 库可以轻松支持较小的数据大小，并且此方法不值得额外的复杂性。目前，在构建初始索引后无法添加新的分片。

请参阅下面的链接，了解有关分布式嵌入集群的详细示例。

Notebook	描述
分布式嵌入集群	在多个数据节点上分发嵌入索引