Hacker Index：给 Hacker News 二十年做一份能查证的索引

别人的榜单给你一个数字，我想给你一句原话。

这是我把 Hacker News 二十年、4932 万条记录过了一遍之后，做出来的东西：Hacker Index。它不是又一个克隆站，是一个索引——每条被推荐的东西，都能点回当初推荐它的那条评论，看到是谁、哪一年、原话怎么说的。

为什么值得做

Karpathy 前几天用 Claude 做了个 HackerTube，从 HN 评论里筛出 6454 个被反复推荐的视频。第二天有人做了 HackerBooks。然后 HN 上五天内冒出十几个克隆，绝大多数活不过一天。

我看了一眼，觉得缺的不是第十七个克隆。缺的是能查证的索引：不是「3000 人推荐过这本书」，而是「这条推荐来自 2014 年某个人的这句原话」。

它长什么样

• 五个品类：视频、工具、论文、书、音乐
• 约 17 万条上线记录，来自 146 万条链接、70 万个实体
• 排名只看一件事：多少个不同的人推荐过，不看总提及次数（防刷屏）
• 中英双语，一条 CSV 全量可下载

本站不托管任何内容。视频去 YouTube，书去出版社，音乐去原站试听；我们只做索引，链接全部指向 Hacker News 原讨论和原始出处。

四个坑，一个比一个深

01 老评论里的链接是转义的。第一版我一条 SQL 抽 URL，只捞到 28076 条。查了半天才发现，大量老评论把 http:// 存成了 http://，纯正则直接漏掉六成。改成先反转义再抽，链接数涨到 64984。

02 视频 ID 藏在问号后面。YouTube 的 ?v= 在查询串里，我第一版把它剥掉了，于是只认出 962 个视频。修完 4897 个。

03 书几乎没人贴链接。这是最深的一个。我拿书榜去和 HackerBooks 对比，前 200 只重合 30%。原因很直接：HN 上推荐书绝大多数是纯文字，一个链接都没有。我实测了《Snow Crash》——被提到 2348 次，带链接 0 次。

解法是去把人家作者在评论区说的话翻出来，照着做：先把书名解析成权威作品 ID，再用权威书名回搜全库。下载 Open Library 的 921 万部作品建词典，扫了 294 万条「像在聊书」的评论。

04 光匹配还不够，必须让模型判一次。这一步最容易被省，但最不能省。我把匹配到的前 336 个书名丢给便宜模型问「这是作品还是普通短语」，结果 195 个是作品、141 个只是日常用语——误判率 42%。不消歧的话，「Good Enough」「Hello World」这些东西会排在你书榜前几名。

结果：从 30% 到 53.5%，还是没及格

书榜和 HackerBooks 前 200 的重合度，从 30% 拉到 53.5%；对方前 200 本落在我们索引里的比例，从 18.5% 拉到 75%。

但我给自己定的门槛是 80%。没到就是没到。剩下的漏主要是书名撞车——《Dune》在 Open Library 里有 18 个不同作品，每条评论都被摊薄，够不着门槛。

音乐：我砍掉过一次，那是判断错了

第一版音乐体验很差：同一张专辑被三个平台拆成三条，标题是一串裸 ID，还混进产品名。我当时直接把这个品类砍了。

后来想明白：那是实现问题，不是品类问题。现在按「艺术家 + 专辑/单曲 + 作品名」区分身份，能解析出标题的才展示，列表上写清楚「这是独立提及人数，不是推荐人数」，点开能看原话，也能去原站试听。

它是什么，不是什么

它是索引：可查、可下载、可复现。

它不是推荐算法，不是内容站，也不是一个能赚钱的产品。我专门让几个模型做了轮反方评审，结论一致：离线收藏、导读、播客这些卖点，全被成熟免费工具覆盖了；而数据本身还有错，没人会为会出错的数据付费。

所以它的定位很清楚：一个能拿出手的技术作品，一个公开可查的索引。就这样。

去看看

• 站点：hacker-index
• 数据集：站点里的 entities.csv.gz，17 万行，7 MB
• 方法页（含已知错误）：/method.html