跳到主要内容

AI知识库

1. 介绍

本节将介绍如何在系统中添加和管理AI知识库。

AI知识库是一个结合了自然语言处理(NLP)、向量搜索和大语言模型(LLM)的智能信息管理系统,旨在高效存储、检索和管理知识,使AI能够更精准地理解并回答用户的问题。

在本系统中,AI知识库是AI应用、AI流程等模块的核心组成部分,为知识存储与智能检索提供支持。

2. 前置条件:

为了使AI能够更精准地理解并回答用户的问题,我们会对文档进行向量化处理,并存储所向量库中; 所以,如果要正常使用知识库,需要准备向量库,并在配置文件中配置向量库的配置。

向量库配置

3. 知识库管理

知识库是多个相关文档的集合。在使用过程中,可以将相关文档组织到同一知识库,并支持从目录、站点等渠道同步文档。

新建知识库

点击 创建知识库,填写以下信息:

  • 知识库名称:用于区分不同知识库。
  • 知识库描述:简要介绍知识库的内容。
  • 向量模型:指定当前知识库使用的向量模型(必须为向量模型)。

向量模型:向量模型是一种 将文本、图片、音频等数据转换为数学向量(Vector) 的技术,使其能够在高维空间中进行计算、比较和检索。

4. 知识库文档

点击已创建的知识库,进入 知识库详情页面

左侧菜单功能:

  • 文档:显示当前知识库的所有文档。
  • 命中测试:输入关键词测试文档的匹配情况。

4.1 创建文档

系统支持两种方式录入文档:

  • 手动录入
  • 文件上传

手动录入

点击 手动录入 按钮,打开手动录入页面:

  • 输入文档标题。
  • 填写文档内容。

文件上传

点击 文件上传 按钮,打开文件上传页面:

  • 输入文档标题。
  • 上传文件,支持格式:txt、markdown、pdf、docx、xlsx、pptx。

点击 确定 后,文档将自动进行向量化。

向量化:向量化是指将文本、图片、音频等数据转换为固定维度的数值向量(Embedding),使其在数学空间中可计算和比较。向量化广泛用于语义搜索、推荐系统和AI知识库。例如,“数据库优化”和“SQL性能提升”的向量相近,因此可视为相关内容。

文档库上传

系统支持批量上传markdown格式的文档库——只需将你的文件压缩为zip包,上传后,所有的markdown文件将被智能地添加到你的文档库中。

这不仅节省了时间,还让你能专注于内容创作,而不必担心繁琐的上传过程。

更棒的是,如果你的文档中涉及到相关的图片文件,例如:

![](/aigc/11111.png)

只需确保你的zip包结构正确,像这样:

---
|
- static
|
-- aigc
|
--- 11111.png

系统会自动识别并将图片与你的markdown文件关联起来,确保你的内容始终生动且富有吸引力。

4.2 文档操作

点击文档数据右下角的 ... 按钮,弹出编辑选单,可进行以下操作:

  • 向量化:重新计算并更新文档向量。
  • 编辑:修改文档内容。
  • 删除:移除该文档。

4.3 命中测试

命中测试 页面,可输入测试内容,点击发送后,系统会显示匹配的文档片段。

参数说明:

  • 条数:返回的匹配结果数量。
  • Score阈值:仅当匹配评分(Score)高于设定阈值(Threshold)时,才会返回结果。

匹配结果包含:

  • 命中段落内容
  • 所属文档
  • 分段序号
  • 匹配分数

点击条目可查看详细信息。