把圣经做成 RAG 数据库
文章摘要
CrossCanon(crosscanon.com)是一个把圣经做成检索增强生成(RAG)数据库的语义搜索工具,其核心理念是”按主题搜索圣经经文”。创作者 jacksonastone 把 WEB(World English Bible,世界英文圣经)译本索引进了一个向量数据库,使用户可以用自然语言或主题词去检索语义上相近的经文,而不只是做关键词匹配。
它的工作方式是典型的 RAG 检索:用户输入一个主题查询,系统从已索引的圣经文本中检索出语义最相关的段落。作者举的一个生动例子是,搜索”more money more problems(钱越多麻烦越多)”会返回《传道书》5:9-13 中关于财富空虚的经文——尽管原文里并没有这几个现代俚语词,但语义向量成功捕捉到了主题的契合。CrossCanon 还提供跨教派的支持,覆盖了世界英文圣经的新教(Protestant,默认)、天主教(Catholic)和东正教(Orthodox)三套正典,用户可以筛选和搜索不同传统下的经文。
技术上,作者选用 WEB 译本是因为它是公有领域、许可宽松的版本。初始实现中,针对一个 4GB 索引做一次向量搜索大约要 15 秒;作者后来报告通过优化实现了约 6 倍的速度提升。本质上,这个项目把圣经从一本线性的书,转变成了一个可按主题检索、跨正典传统访问的语义数据库。
HN 评论精华
-
kordlessagain:从技术角度给出建议,讨论了语料库索引方法,并提供了混合检索(hybrid retrieval)的相关资源。
-
bigggbob:针对 15 秒的初始延迟,推荐了替代的向量数据库方案以改善延迟。评论区还提到了 zvec(进程内向量数据库)和 LUME 检索原语等优化思路。
-
关于数据与译本选择的讨论:使用公有领域的 WEB 译本受到认可;新教和天主教正典已纳入,而东正教正典的复杂性被特别提及。社区也就是否纳入次经(Deuterocanonical books)以及支持多译本展开了讨论。
-
mcswell:指出语义搜索确实成功浮现了上下文相关的经文,例如搜”government(政府)”会返回《罗马书》13 章,外加《但以理书》《以斯拉记》等相关段落。
-
hogehoge51:演示了有趣的跨语言语义映射案例,用日语搜索竟返回了关于”外邦人/外国人”的经文引用。
-
社区贡献的同类项目:用户 asim 为《古兰经》做了类似系统,还包含圣训(Hadith)和真主的尊名;andrethegiant 做了 “crazy.church”,用于跨三大宗教对比经文;jnamaya 开发了用 RAG 加 LLM 解经的 “Bible Scholar” agent。
-
争议讨论:评论区还就《哥林多前书》7:4(关于夫妻身体的相互权柄)展开了较长的神学辩论。condwanaland 批评该经文关于”身体支配权”的措辞,而 danhau 则以上下文分析回应,强调应结合前后经文以及保罗关于爱的更广泛教导来正确研读经文。