把圣经做成 RAG 数据库

查看原文 HN 讨论

文章摘要

CrossCanon(crosscanon.com)是一个把圣经做成检索增强生成(RAG)数据库的语义搜索工具,其核心理念是”按主题搜索圣经经文”。创作者 jacksonastone 把 WEB(World English Bible,世界英文圣经)译本索引进了一个向量数据库,使用户可以用自然语言或主题词去检索语义上相近的经文,而不只是做关键词匹配。

它的工作方式是典型的 RAG 检索:用户输入一个主题查询,系统从已索引的圣经文本中检索出语义最相关的段落。作者举的一个生动例子是,搜索”more money more problems(钱越多麻烦越多)”会返回《传道书》5:9-13 中关于财富空虚的经文——尽管原文里并没有这几个现代俚语词,但语义向量成功捕捉到了主题的契合。CrossCanon 还提供跨教派的支持,覆盖了世界英文圣经的新教(Protestant,默认)、天主教(Catholic)和东正教(Orthodox)三套正典,用户可以筛选和搜索不同传统下的经文。

技术上,作者选用 WEB 译本是因为它是公有领域、许可宽松的版本。初始实现中,针对一个 4GB 索引做一次向量搜索大约要 15 秒;作者后来报告通过优化实现了约 6 倍的速度提升。本质上,这个项目把圣经从一本线性的书,转变成了一个可按主题检索、跨正典传统访问的语义数据库。

HN 评论精华