我索引了 18 年的评论,做了一个「Hacker News 版谷歌趋势」
文章摘要
Hacker Trends(hackernewstrends.com)是一个分析工具,用于追踪各种话题、工具和人物在 Hacker News 上 18 年间被讨论的情况——其数据覆盖了约 4500 万条帖子与评论。创作者 ytkimirti 在 Show HN 发布后获得了热烈反响,帖子拿到了 759 分、151 条评论。
它做什么:这个工具提供交互式图表,用户可以搜索并叠加多个关键词,可视化它们随时间变化的讨论热度。正如其描述所说,它「绘制任何话题、工具或人物在 Hacker News 上被提及的频率」,每张图都是一个「实时的日期直方图」。底层技术栈使用 Upstash Redis Search 来查询这份历史数据集。
核心功能:
- 交互式可视化:用户可以点击具体某个月份来筛选数据,或拖拽选定一段日期区间来分析特定时期的趋势。
- 对比分析:平台内置了一些预设的对比图(例如「vercel vs cloudflare」「openai vs anthropic」),展示相互竞争的技术或公司如何此消彼长地争夺关注度。
- 上下文数据:在每张图表下方,用户可以查看驱动这些趋势线背后的真实帖子和评论,支持按关键词筛选,并可按相关性、点赞数、讨论量或时间排序。
- 全面的分类:工具把可搜索的话题组织成若干板块,包括 AI/大模型、编程语言、初创公司、安全事件、加密货币、游戏和行业文化等,反映出 HN 社区最常讨论的内容。
需要注意的一个重要概念区分(评论区也反复强调):该工具追踪的是文本中被提及(发表)的次数,而非像谷歌趋势那样追踪用户的搜索行为,因此两者的数据集在「趋势分析」意义上并不可直接类比。
HN 评论精华
-
Aachen(高赞):澄清了一个概念性差异——该工具追踪的是「已发表文本中的提及次数」,而非谷歌趋势那样的「用户搜索」,因此两个数据集在趋势分析上不可相提并论。创作者也承认标题里类比谷歌趋势确实有误导性。
-
zX41ZdbW:提供了一个公开的 ClickHouse 数据库(含 HN 数据),可以通过 SQL 查询、并支持实时更新,从而帮助实现类似服务。
-
arjie:建议按总活动量做归一化处理,以便把真正的趋势与整站流量增长这种全局性增长区分开来。
-
cbeach:建议增加情感分析功能,用于追踪特定人物随时间变化的正/负面情绪。创作者表示这是个有趣的可能方向。
-
linmer:提议让图表上的数据点可点击,直接链接到 HN 首页存档中对应的日期。
-
bluecoconut:报告了一个 UI 不一致问题——缩略图与完整图表对同一标签使用了相反的颜色。
创作者 ytkimirti 的回应:承认标题中与谷歌趋势的类比有误导性;确认数据集存在需要重新填充的问题,并承诺修复;接受了全屏图表、按「Show HN」筛选等功能请求。基础设施方面,后端使用 Upstash Redis Search,在 HN 流量高峰期间遭遇了限流问题。