常见问题

faq

以下是常见问题解答和遇到的常见问题列表。

问题

推荐哪些模型？

回答

请参阅模型指南。

问题

跟踪 embeddings.index 调用的进度的最佳方法是什么？

回答

使用 tqdm 包装传递给索引调用的列表或生成器。有关更多信息，请参阅#478。

问题

分析和调试 txtai 进程的最佳方法是什么？

回答

有关如何在 txtai 进程中启用此功能，请参阅可观测性部分。

txtai 还有一个控制台应用程序。这篇文章有更多详细信息。

问题

如何外部加载模型并将其传递给嵌入和流水线？

回答

嵌入示例。

from transformers import AutoModel, AutoTokenizer
from txtai import Embeddings

# Load model externally
model = AutoModel.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")

# Pass to embeddings instance
embeddings = Embeddings(path=model, tokenizer=tokenizer)

LLM 流水线示例。

import torch

from transformers import AutoModelForCausalLM, AutoTokenizer
from txtai import LLM

# Load Phi 3.5-mini
path = "microsoft/Phi-3.5-mini-instruct"
model = AutoModelForCausalLM.from_pretrained(
  path,
  torch_dtype=torch.bfloat16,
)
tokenizer = AutoTokenizer.from_pretrained(path)

llm = LLM((model, tokenizer))

常见问题

问题

嵌入查询错误如下

SQLError: no such function: json_extract

解决方案

升级 Python 版本，因为它不支持 SQLite 的 json_extract

问题

macOS 上的分段故障和类似错误

解决方案

设置以下环境变量。

OpenMP 多线程在 macOS 平台上内部处理，但可以通过 export OMP_NUM_THREADS=1 禁用
通过 export PYTORCH_MPS_DISABLE=1 禁用 PyTorch MPS 设备
通过 export LLAMA_NO_METAL=1 禁用 llama.cpp metal

有关更多详细信息，请参阅 GitHub 上的这个问题。

问题

在 macOS 上运行 SQLite ANN 时出错

AttributeError: 'sqlite3.Connection' object has no attribute 'enable_load_extension'

解决方案

有关如何修复此问题的选项，请参阅此说明。

问题

在 Google Colab 上运行其中一个示例 notebook 时出现 ContextualVersionConflict 和/或 package METADATA 异常

解决方案

重启内核。有关此问题的更多信息，请参阅问题#409。

问题

安装可选/额外依赖项时出错，例如 pipeline

解决方案

默认的 MacOS shell (zsh) 和 Windows PowerShell 需要转义方括号

pip install 'txtai[pipeline]'