Twitter 开源了推荐算法,但

链接
分类
文章科技2023-03-30 10:00:00
简介

里面有 author_is_elon 和其他特定分类的标记……

相似条目

笔记

Beta

本文中Candidate Sourcing是从数亿条推文中为用户筛选约1500条候选推文的过程,分为In-Network(关注者)和Out-of-Network(非关注者)两类来源,占比各约50%。它是推荐 pipeline 的第一阶段,为后续排序提供输入,由Home Mixer服务调用多个来源实现。

本文中Social Graph是Out-of-Network候选来源的核心方法,通过遍历用户关注和互动图谱,找出关注者近期互动的推文以及兴趣相似用户喜欢的推文,再用逻辑回归排序。该方法借助GraphJet引擎实时处理图遍历,目前贡献了约15%的首页时间线推文。它解决了非关注用户内容推荐问题,与嵌入空间方法共同构成Out-of-Network来源。

For You 是 Twitter 主页时间线的推荐流,平均由 50% 关注用户推文和 50% 非关注用户推文组成。它通过多阶段流水线从海量内容中挑选最相关推文,最终混合广告等非推文内容后返回给客户端。

Home Mixer 是负责组装和提供 For You 时间线的核心服务,它整合候选来源、打分模型、过滤规则与产品特性。该服务每日处理海量请求,是整个推荐流水线的执行入口,最终将混合后的内容返回设备。

Product Mixer 是 Twitter 自定义的 Scala 框架,用于构建各类内容流。Home Mixer 基于此框架实现,负责连接候选来源、排序函数、启发式规则和过滤器,形成完整的推荐流水线。

Scala 是 Product Mixer 框架所使用的编程语言,支撑 Home Mixer 等推荐服务的开发。该框架通过 Scala 实现候选获取、模型打分与内容混合等功能,构成 Twitter 推荐系统的基础技术栈。

Real Graph是预测两个用户间互动概率的模型,用于In-Network来源的推文排序,分数越高则作者推文被纳入越多。它是In-Network候选源中最关键的组件,基于用户关注关系数据训练。

GraphJet是Twitter开发的图处理引擎,维护用户与推文间的实时互动图,用于Out-of-Network来源的图遍历生成候选。它目前贡献约15%的Home Timeline推文,是社交图方法的核心实现。

SimClusters是Twitter重要的Embedding Space之一,通过自定义矩阵分解发现145k个由影响力用户锚定的社区,每三周更新一次。用户和推文可属于多个社区,用于计算内容相似度,是Out-of-Network的主要来源。

Embedding Space通过数值向量表示用户兴趣与推文内容,计算相似度以判断相关性。本文中它是Out-of-Network推文的主要生成方式,规模超过社交图方法,SimClusters是其中典型应用。

本文中Logistic Regression用于In-Network来源,对关注用户的推文进行相关性排序;同时也用于Out-of-Network来源中对图遍历产生的候选推文排序。该模型是In-Network来源的主要排序组件,但已多年未更新,目前Twitter正在重新设计训练。该模型帮助从海量候选中高效筛选出最相关的推文进入后续阶段。

本文中Neural Network是Ranking阶段的核心模型,参数规模约4800万,持续在推文互动数据上训练,用于预测用户对每条候选推文的多种正向互动概率。该模型接收数千特征,输出十个标签得分,不区分候选来源地对所有推文统一打分排序。它是决定最终时间线顺序的主要信号。

Twitter 推荐算法包含候选来源、排序、启发式过滤三个阶段,从数亿条推文中选出约 1500 条候选,再由神经网络打分排序。该算法每日运行约 50 亿次,平均耗时不到 1.5 秒,旨在优化点赞、转发等正向互动。

本文中Matrix Factorization是SimClusters嵌入空间的关键算法,用于发现以影响力用户为中心的145k个社区,每三周更新一次。用户和推文被表示为可属于多个社区的向量,通过社区内推文流行度完成嵌入。该方法支撑了Out-of-Network推荐的主要来源,帮助计算内容与用户兴趣的相似度。

该分类暂无内容
该分类暂无内容
该分类暂无内容

Fanout Service是已运行12年的旧服务,曾通过缓存为用户提供In-Network推文。Twitter最近已停止使用该服务,转而采用新方案处理关注者推文。

本文介绍 Twitter 每日处理约 5 亿条推文,通过推荐系统筛选出少量内容展示给用户。平台目标是呈现当下最重要的事件,重点聚焦主页 For You 时间线的构建流程,而非搜索或广告等其他推荐场景。

可左右滑动查看

标题占位
https://example.com/path
描述占位
- · - · 添加于 - -