最新！五大頂會2019必讀的深度推薦系統與CTR預估相關的論文
導讀：本文是「深度推薦系統」專欄的第四篇文章，這個系列將介紹在深度學習的強力驅動下，給推薦系統工業界所帶來的最前沿的變化。本文主要總結一下深度推薦系統相關的幾大頂會（包含ICML2019/ KDD2019/ IJCAI2019/ WWW2019）必讀的幾篇論文，各位老鐵學不動也得學請收好。 歡迎轉載，轉載請註明出處以及鏈接，更多關於深度推薦系統優質內容請關注如下頻道。
知乎專欄：深度推薦系統微博：深度傳送門公眾號：深度傳送門
強化學習
1. Generative Adversarial User Model for Reinforcement Learning Based Recommendation System, ICML 2019
作者：Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi、Le Song論文：https://arxiv.org/pdf/1812.10613.pdf；解讀：https://zhuanlan.zhihu.com/p/68029391
在螞蟻金服被 ICML 2019 接收的這篇論文中，作者們提出用生成對抗用戶模型作為強化學習的模擬環境，先在此模擬環境中進行線下訓練，再根據線上用戶反饋進行即時策略更新，以此大大減少線上訓練樣本需求。此外，作者提出以集合（set）為單位而非單個物品（item）為單位進行推薦，並利用 Cascading-DQN 的神經網路結構解決組合推薦策略搜索空間過大的問題[1]。
深度CTR預估
說到深度CTR預估的模型，就得祭出網上廣為流傳的這張圖。今年到現在為止，這張深度CTR預估的圖譜又下圖左邊DIN家族系列進行了進一步的豐富。學不動也得學，老鐵。
2. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019
作者：Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang論文：https://arxiv.org/abs/1905.06482；代碼：https://github.com/shenweichen/DSIN阿里 at IJCAI 2019，考慮到不同用戶行為序列的session內行為同構與session之間行為異構的特性提出了基於sesssion的CTR預估模型DSIN。使用self-attention機制抽取session內用戶興趣，使用Bi-LSTM針對用戶跨session興趣進行建模。
3. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019
作者：Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai論文：http://t.cn/AiN4s4oe
阿里 at KDD2019，通過引入UIC存儲單元與MIMN模型聯合設計，解決用戶超長行為歷史下CTR預估建模與在線預測性能瓶頸，效果好於GRU4Rec和DIEN。
4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou論文：http://t.cn/Ai9JgWoJ；解讀：http://t.cn/AiKBda4q阿里巴巴搜索推薦事業部的新研究，首次使用強大的 Transformer 模型捕獲用戶行為序列的序列信號，供電子商務場景的推薦系統使用。原有DIN 提出使用注意力機制來捕獲候選項與用戶先前點擊商品之間的相似性，但未考慮用戶行為序列背後的序列性質。離線實驗和在線 A/B 測試表明，BST 與現有方法相比有明顯優勢。目前 BST 已經部署在淘寶推薦的 rank 階段，每天為數億消費者提供推薦服務[2]。
5. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
作者：Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang論文：http://t.cn/AiNqPitATransformer引入推薦系統工業界，應用於利用用戶歷史點擊序列預測下一個點擊item，效果超過GRU4Rec。
6. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems
作者：Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai論文：http://t.cn/AiN5T8Ks；TDM論文：http://t.cn/RQ5MrSg還記得阿里 at KDD 2018的深度樹匹配召回模型TDM嗎？升級版JTM提出索引與模型同時優化的方案，大幅提升召回效果。
Graph Embedding
7. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization, WWW 2019
作者：Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang論文：https://www.microsoft.com/en-us/research/uploads/prod/2019/03/www19netsmf.pdf；代碼：https://github.com/xptree/NetSMF提出適用於大規模網路表示學習方法NetSMF，利用稀疏矩陣分解來學習大規模網路embedding，相對於現有方法DeepWalk/ LINE/ Node2Vec等極大地提高了學習效率，並開源了代碼。
8. Representation Learning for Attributed Multiplex Heterogeneous Network, KDD 2019
作者：Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang論文：https://arxiv.org/pdf/1905.01669.pdf；代碼：https://github.com/THUDM/GATNE；解讀：http://t.cn/Ai9CfBvw
傳統的網路(圖)表示學習方法一般只針對同構的圖，但是實際的圖往往都是異構的。只包含異構節點的圖的表示學習已經被廣泛研究，例如metapath2vec提出了異構的random walk和skip gram。而包含異構邊的圖的表示學習近來開始被大家所關注，比如MNE給每個點學習多種表示來處理異構邊的情形。
這個演算法目前在阿里電商場景下得到應用，阿里的數據由用戶和商品構成的圖就是異構的，不僅包含異構的節點（用戶和商品），而且包含異構的邊（用戶和商品的多種交互行為，比如點擊、購買等）。不僅如此，圖中的節點還包含著豐富的屬性。本文處理的就是這種包含異構節點和異構邊的圖的表示學習[3]。
9. ProNE: Fast and Scalable Network Representation Learning, IJCAI 2019
作者：Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, Ming Ding論文：http://t.cn/AiC5cuXF；代碼：THUDM/ProNEProNE利用矩陣的稀疏性，本質上是用一個低通濾波對原矩陣進行濾波，大大提高了速度，可以得到10-400倍的加速比。
10. Large Scale Evolving Graphs with Burst Detection, IJCAI 2019
作者：Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song and Jie Tang論文：http://t.cn/AiC54K0M動態網路的表示學習最近引起廣泛關注，清華今年和阿里巴巴在IJCAI上提出一個叫做BurstGraph的模型，有意思的是主要通過burst的detection來你和動態網路，這和傳統大家都希望擬合一個平滑的動態模型不同。
如果有耐心讀到這裡的話，就關注一下公眾號吧：）
參考文獻
[1] 強化學慣用於推薦系統，螞蟻金服提出生成對抗用戶模型：https://zhuanlan.zhihu.com/p/68029391
[2] 谷歌、阿里等10大深度學習CTR模型最全演化圖譜
[3] 阿里將 Transformer 用於淘寶電商推薦：http://t.cn/AiKBda4q
[4] 阿里電商場景下的大規模異構網路表示學習：http://t.cn/Ai9CfBvw
[5] 唐傑THU老師的微博：https://weibo.com/jietangthu
推薦閱讀：
