管道
txtai 提供了一个通用的管道处理框架,其唯一的接口要求是一个 __call__
方法。管道是灵活的,可以处理各种类型的数据。管道可以封装机器学习模型以及其他进程。
管道可以使用 Python 或 配置 运行。可以使用管道的小写名称在 配置 中实例化管道。配置驱动的管道可以使用 工作流 或 API 运行。
管道列表
以下是 txtai 中当前可用的管道列表。除非另有指定,所有管道都使用默认模型。请参阅模型指南了解当前的模型推荐。所有管道都设计为通过 Transformers 库与本地模型一起工作。
LLM
和 RAG
管道还集成了 llama.cpp 和 通过 LiteLLM 的托管 API 模型。LLM
管道可以被提示来完成许多相同的任务(例如 摘要、翻译、分类)。