推荐系统最新SOTA模型出炉

智源社区1年前 (2023)发布智源社区

566 0 0

随着数据量级的增长以及机器学习算法的不断进步，推荐系统(recommender system)在工业界取得了巨大的成功。诸如字节跳动，阿里巴巴，百度等一线互联网大厂，都在推荐系统领域进行了大量投入。

前段时间，Twitter开源了其推荐系统源码，系列涵盖：

Twitter整体推荐系统架构：涵盖图数据挖掘、召回、精排、规则多样性重排、混排等。
Twitter精排模型(Heavy Ranker)：包含模型结构、特征工程、多目标建模、多目标融合等。
Twitter图模型预训练表征(TwHIN embeddings)：基于社交异构图对用户、推文做预训练，Twiiter自研TwHIN KDD 2022的工作。

推荐系统最新SOTA模型出炉

Twitter场景推荐系统架构图

推荐系统包含许多子领域，其中，序列推荐是通过用户对于过往交互过的商品序列进行建模分析，来推断用户下一个最可能交互的物品是什么。序列推荐中，SOTA模型-BERT4Rec是具有代表性的模型，它可以利用更加多样化的表征信息来进行预测，使其在没有见过的序列上能展示更强的泛化能力。

8月29日-8月31日，我们邀请到悉尼大学计算机博士，多个顶会审稿人Alex老师为大家带来——一次说清推荐系统最新SOTA模型，详谈推荐系统热点研究方向及顶会写作实用小技巧。

扫码预约直播

赠30篇推荐系统前沿顶会论文

（文末有福利）

推荐系统最新SOTA模型出炉

部分推荐系统顶会论文

导师简介：ALex老师

-悉尼大学计算机博士

-研究方向：机器学习、隐私计算、弱监督学习、数据挖掘，推荐系统等

-在NeurIPS、IJCAI、WWW、CIKM, Information Sciences等国内外权威期刊会议发表多篇学术论文

-担任NeurIPS，ICLR，ICML，Neural Network，等多个顶会顶刊审稿人

-有丰富的期刊论文和会议论文写作发表经历、熟悉论文写作方式和审核标准

直播大纲：

第一天：推荐系统基础与经典场景

1.经典任务之协同过滤

2.经典任务之CTR

3.经典任务之序列推荐

第二天：热点研究方向分享

1. 基于RNN的序列推荐

2. 基于Transformer的序列推荐

3. 基于MLP-Mixer的序列推荐

4. 多模态序列推荐

第三天：发表顶会的实用技巧

1.如何快速实现idea

2.推荐系统一些可能的蓝海

3.从审稿人角度谈如何审阅论文

扫码预约直播

赠30篇推荐系统前沿顶会论文

（文末有福利）

值得一提的是，BERT4Rec采用了与BERT一致的掩码预测(Masked Language Modeling)，即随机对用户交互的商品序列进行masking，并令模型对这些被mask掉的token进行预测。这样做有两种显著的优势：首先，这为序列推荐模型创造了丰富的监督信号，传统的序列推荐模型只会把序列最末尾的token作为预测目标，而加入掩码预测后，我们序列中的每一个token都成了可能的预测目标；其次，这样做增强了序列推荐模型in-context learning的能力，对于每一个被mask掉的token，它们的上下文信息都是不同的。

BERT4Rec作为序列推荐领域比较有代表性的SOTA模型，其背后的原理并不复杂，甚至绝大部分内容都与BERT的基础模型高度一致，但是其有效性，以及与序列推荐任务的高适配性仍然使其成为领域内影响力最大的文章之一。

目前来看，推荐系统领域的文章发表有“追逐热点”的趋势，在CV，NLP领域的热点模型，都有被迁移到推荐系统中的可能。比如多模态对比学习(CLIP)，Prompt，Sharpness-aware-minimization等等。以及，推荐系统和新的setting的结合也可以被进一步挖掘，比如zero-shot，few-shot的推荐，带噪声的推荐等等。