已加载全部内容

Product Hunt 产品存活状态分析

链接

200

分类

文章科技2022-03-30 11:20:00

简介

Ian Wootten 通过 Product Hunt 老接口抓取了9万多个产品的信息，然后检测其链接（大多是官网）的 HTTP 状态码来验证产品是否还活着。约22.4%的产品链接返回错误状态码。No-code 产品持久性较高，众筹产品链接错误最多。

相似条目

Beta

本文使用Product Hunt API获取全部精选产品数据，旧版REST接口单次可返回50条完整记录，作者因此选择它而非新版以减少查询次数。采集过程需先获取redirect_url，再通过HEAD请求解析真实URL并检测当前状态，共处理超过18万次请求。

Product Hunt v2 API采用GraphQL实现，但本文作者未选用该版本，因其单次仅返回20条且字段受限，无法高效获取完整历史数据集。文章对比显示REST旧版在数据量上更适合本次大规模分析任务。

作者使用Python配合HTTPX库实现异步HEAD请求，高效完成对9万余产品的redirect_url解析与状态检测。代码示例展示了如何设置Authorization头、处理301跳转以及捕获各类异常，整个流程在速率限制下仍能在数小时内完成。

本文中 HTTPX 被用于通过 Python 查询 Product Hunt API，完成对超过 9 万条产品数据的抓取。作者特别指出其支持异步 HEAD 请求，可显著加速处理 18 万次以上请求的过程。相比之下，它比 Requests 更适合大规模并发场景。

本文采用Product Hunt已弃用的REST API版本进行数据抓取，主要原因是该接口支持更大分页（per_page=50）并返回更丰富字段。作者在Python中使用HTTPX库配合Bearer Token完成分页请求，并处理速率限制。

文章提到 Requests 作为 Python 中常见的 HTTP 库，但指出在需要大量异步 HEAD 请求时，HTTPX 的性能优势更明显。作者实际代码中选择了 HTTPX 来完成 Product Hunt 数据 enrichment。

Ryan Hoover 是 Product Hunt 的创始人，在文中针对 2017 年产品数量骤降给出解释：主要是因为停用了播客、游戏和书籍分类，减少了“精选”帖子的范围。

本文作者 Ian Wootten 通过 Product Hunt API 收集了 2013 年 12 月至 2022 年 1 月的全部精选产品数据，并分析了这些产品至今的存活率。他是一名自由开发者，拥有分布式计算博士学位。

文章结尾推荐读者阅读作者此前在 ScrapingBee 发布的《如何找到最佳 Hacker News 标题》一文，将其作为与 Product Hunt 数据分析主题相关的延伸阅读，未对 Hacker News 本身进行数据统计。

本文发布于ScrapingBee官网，作者通过该平台的技术背景展示如何利用爬虫工具结合Product Hunt API进行大规模数据采集与分析。文章开头提供ScrapingBee免费试用链接，暗示其在网页数据抓取场景中的应用价值。

本文以Product Hunt 8年历史精选产品为研究对象，通过API收集2013年12月至2022年1月超过9万条产品数据，分析这些产品至今仍在线的比例及影响因素。文章重点探讨了产品存活率与发布时间、投票数和所属话题的相关性，发现约22%的产品已无法访问，且存活率随时间推移明显下降。

本文中 Startup Stash 是 Product Hunt 历史上得票最多的产品，2015 年上线后获得 21839 票，位列所有产品首位。它在文中被列为仍能返回成功 HTTP 响应的案例，用于说明高人气产品与存活状态的关系。

Attach.io 的 startup-pitch-decks 页面 2016 年在 Product Hunt 获得 11101 票，位列历史第五。文中将其归为高票且仍存活的产品，用于展示投票数与当前可访问性之间缺乏明显负相关。

Pexels 于 2015 年获得 10247 票，位列 Product Hunt 历史第五高投票产品，文章确认其当前仍能正常访问，属于成功响应的案例。

remove.bg 在 2018 年登上 Product Hunt 并获得 16951 票，位列历史得票榜第三。文章将其作为高票产品示例，确认其目前仍返回成功响应，纳入整体 22% 失败率统计中进行对比分析。

Slack 在 2013 年以 17432 票位列 Product Hunt 历史投票第二高的产品，目前仍返回成功 HTTP 响应，属于文中统计的存活产品之一。