示例

examples

请参阅下方涵盖 txtai 的一系列综合性示例笔记本和应用。

语义搜索

构建语义/相似度/向量/神经搜索应用。

自主代理、检索增强生成 (RAG)、与您的数据聊天、以及与大型语言模型 (LLMs) 交互的流水线和工作流。

笔记本	描述
使用 LLMs 进行 Prompt 驱动的搜索	使用大型语言模型 (LLMs) 进行嵌入引导和 Prompt 驱动的搜索
Prompt 模板和任务链	构建模型 Prompt 并使用工作流连接任务
使用 txtai 构建 RAG 流水线	关于检索增强生成（包括如何创建引用）的指南
集成 LLM 框架	集成 llama.cpp, LiteLLM 和自定义生成框架
使用语义图和 RAG 生成知识	使用语义图和 RAG 进行知识探索和发现
使用 LLMs 构建知识图谱	使用 LLM 驱动的实体提取构建知识图谱
使用图路径遍历进行高级 RAG	使用图路径遍历收集复杂数据集进行高级 RAG
使用引导生成进行高级 RAG	检索增强和引导生成
使用 llama.cpp 和外部 API 服务进行 RAG	使用额外的向量和 LLM 框架进行 RAG
txtai 的 RAG 工作原理	创建 RAG 进程、API 服务和 Docker 实例
语音到语音 RAG ▶️	包含 RAG 的全周期语音到语音工作流
使用图和代理分析 Hugging Face 帖子	使用图分析和代理探索丰富的数据集
赋予代理自主性	能够根据自身判断迭代解决问题的代理
LLM API 入门	使用 OpenAI, Claude, Gemini, Bedrock 等生成嵌入并运行 LLMs
使用图和代理分析 LinkedIn 公司帖子	探索如何利用 AI 提高社交媒体互动
使用 txtai 解析星体	探索已知恒星、行星、星系的知识图谱
为 RAG 切分数据	提取、切分和索引内容以进行有效检索

使用语言模型支持的流水线转换数据。

高效地大规模处理数据。

训练 NLP 模型。

笔记本	描述
训练文本标注器	构建文本序列分类模型
无标签训练	使用零样本分类器训练新模型
训练问答模型	构建和微调问答模型
从头开始训练语言模型	构建新的语言模型
使用 ONNX 导出和运行模型	使用 ONNX 导出模型，在 JavaScript, Java 和 Rust 中原生运行
导出和运行其他机器学习模型	导出和运行来自 scikit-learn, PyTorch 等的模型

运行分布式 txtai，与 API 和云端点集成。

笔记本	描述
API 画廊	在 JavaScript, Java, Rust 和 Go 中使用 txtai
分布式嵌入集群	将嵌入索引分发到多个数据节点
云端嵌入	从 Hugging Face Hub 加载和使用嵌入索引
自定义 API 端点	使用自定义端点扩展 API
API 授权和认证	为 API 添加授权、认证和中间件依赖
OpenAI 兼容 API	使用标准 OpenAI 客户端库连接到 txtai

项目架构、数据格式、外部集成、生产规模、基准测试和性能。

笔记本	描述
txtai 索引解析	深入探讨 txtai 嵌入索引背后的文件格式
嵌入组件	使用向量、SQL 和评分组件进行可组合搜索
自定义您的嵌入数据库	向量索引与关系数据库结合的方法
在 Python 中构建高效的稀疏关键词索引	快速准确的稀疏关键词索引
混合搜索的优势	结合语义和关键词搜索提高准确性
外部数据库集成	在 PostgreSQL, MariaDB, MySQL 等存储元数据
向量量化全解析	标量和乘积量化方法基准测试
外部向量化	使用预计算嵌入数据集和 API 进行向量化
将 txtai 与 Postgres 集成	在 Postgres 中持久化内容、向量和图数据
用于开放数据访问的嵌入索引格式	使用 txtai 进行平台和编程语言无关的数据存储

主要发布版本中新增的功能。

txtai 系列示例应用。提供 Hugging Face Spaces 上托管版本的链接（如果可用）。

应用	描述
基本相似度搜索	基本相似度搜索示例。数据来自原始 txtai 演示。	🤗
棒球统计数据	使用向量搜索匹配历史棒球运动员统计数据。	🤗
基准测试	计算 BEIR 数据集的性能指标。	仅限本地运行
图书搜索	图书相似度搜索应用。索引图书描述并使用自然语言语句进行查询。	仅限本地运行
图像搜索	图像相似度搜索应用。索引图像目录并运行搜索以识别与输入查询相似的图像。	🤗
检索增强生成	使用 txtai 嵌入数据库进行 RAG。提问并从受上下文限制的 LLMs 中获取答案。	仅限本地运行
总结文章	总结文章。一个从网页提取文本并构建摘要的工作流。	🤗
维基搜索	维基百科搜索应用。查询维基百科 API 并总结最佳结果。	🤗
工作流构建器	构建和执行 txtai 工作流。将摘要、文本提取、转录、翻译和相似度搜索流水线连接在一起以运行统一工作流。	🤗