近日,来自意大利米兰理工大学 Maurizio 团队发表的一篇极具批判性的文章火了。这篇文章剑指推荐系统领域的其他数十篇论文,并通过多项试验证明这些论文中基于深度学习的推荐算法大部分都存在不同程度的数据集缺失和源码缺失的问题,导致根本无法复现,即使是可复现的算法,其性能也难以达到预期,甚至还不如基于传统的、简单的机器学习推荐算法。
这篇文章指出,深度学习推荐算法并不是完全可信的,主要存在以下三个问题:
许多声称有提升的方法事实上并不能超越经过合理调参的基准对比工作,甚至不能超越很简单的传统方法。具体来说,这些方法在实验上存在一定的缺陷。
基准对比工作的选择问题:许多方法选择的对比工作本身就有问题,不是广义上的基准工作。并且该领域的基准工作很混乱,不太统一。
不同工作采用的数据集,验证方法,性能指标,数据预处理步骤都不同,这使得性能对比很困难,无法确定哪个工作在相同的应用环境中表现最好。而且很多工作不开源数据和代码,这不符合现在的代码开源趋势,甚至即使开源了,也不把完整代码放出来。
事实上,关于热门会议论文复现难的问题很久之前就有人提出,此次文章发布后再次引发读者热议,可见推荐系统论文的可复现性是很多人都关注的问题。在评论中,大多数人表示赞同这篇文章敢于说实话的态度,说出了大家的对不可复线论文真实性的质疑,指出了不开源代码、数据集缺失等问题导致无法真正衡量一个算法性能是否优越。
当然,以上仅是关于基于深度学习的 top-n 推荐算法存在的问题之一,但问题的存在并不能磨灭推荐系统的作用,因为经过无数实践的检验,推荐系统在塑造当今信息流生态和现状功不可没。
个性化推荐算法滥觞于互联网的急速发展,随着国内外互联网公司,如 Netflix 在电影领域,亚马逊、淘宝、京东等在电商领域,今日头条在内容领域的采用和推动,个性化推荐如今已成为互联网公司背后的无形“推手”,可以说,如今我们打开任意一款联网的产品,用户看到的内容,接收到的信息,绝大部分取决于提供这些商品和服务背后企业的推荐算法团队。
在效率至上的时代,推荐系统将信息生产者与信息受众有效地连接起来,前者可以将信息精准传达给后者,后者也能接收到自己最感兴趣的内容。
然而,正如上文所说,推荐系统并非完美无缺,比如,再完美的个性化推荐系统都逃不过“信息茧房”的桎梏,因为人的兴趣会随着时间的变化而改变,甚至自己都无法意识到自己感兴趣的话题和领域有哪些,在何时悄然发生变化,推荐系统更是无法精准“揣度”人的心思。这导致仅凭推荐算法已无法满足用户越来越高的要求,因此,基于推荐算法,结合了知识图谱、深度学习、AutoML 等技术的新方法随之诞生,让推荐系统变得更加可信赖。
目前,推荐系统的发展还面临着哪些亟待解决的技术和应用瓶颈?为解决这些问题,各个领域的研发人员都进行了哪些努力和尝试?当今个性化推荐最前沿、最实用的技术手段有哪些?选择适合自己平台的推荐技术有哪些选用标准?搭建系统过程中需要绕过哪些雷区和坑?所有问题的答案,尽在2019 年 AI 开发者大会(AI ProCon)的推荐系统技术专题。
本次大会上,阿里资深算法专家、阿里妈妈深度学习算法平台负责人、兼任定向广告&信息流广告排序技术团队负责人朱小强先生将应邀担任推荐系统技术专题出品人,并拟邀其他三位顶尖推荐系统团队的负责人参会,作为演讲嘉宾,分别从广告、电商、视频等领域分享推荐系统的构建理念、搭建系统的技术细节及迭代完善系统的过程,解答大家对于推荐系统的疑问。
推荐系统技术专题的演讲嘉宾分别是:
阿里妈妈深度学习算法平台负责人 朱小强(出品人)
朱小强,花名怀人,毕业于清华大学,阿里资深算法专家,现任阿里妈妈深度学习算法平台负责人、兼任定向广告&信息流广告排序技术团队负责人。他主持了三代核心算法架构(大规模、深度端到端、深度实时化)的设计和落地,驱动了深度学习对阿里广告技术的全面变革与创新,领导了阿里开源深度学习框架X-DeepLearning从0到1的自研、从1到开源演进的全过程,在KDD、AAAI、SIGIR等顶级会议上发表过DIN/DIEN/ESMM等多篇有影响力的工业实战论文,是workshop DLP-KDD 2019的发起人和联合主席。
京东集团高级总监 殷大伟
殷大伟,京东集团高级总监,负责管理推荐工程团队,建立京东推荐系统。他还创建了数据科学实验室,领导推荐、搜索、数据记录、知识图谱等研究工作。在加入京东之前,他是雅虎实验室的高级研究经理,领导相关科学团队并负责雅虎搜索的核心搜索相关性。他获得了利哈伊大学理科硕士学位(2010 年)和博士学位(2013 年),山东大学本科毕业(2006 年)。他的研究领域包括数据挖掘、应用机器学习、信息检索和推荐系统,曾在高级会议和期刊上发表了 70 多篇研究论文,并获得 WSDM 2016 最佳论文奖,KDD 2016 最佳论文奖,WSDM 2018 最佳学生论文奖和 ICHI 2019 最佳论文荣誉奖。
快手科技推荐架构负责人 任恺
任恺,快手科技推荐架构负责人,2015年毕业于卡内基梅隆大学 (Carnegie Mellon University),获得博士学位。主要研究领域方向为大规模分布式系统、机器学习系统和大数据分析。博士期间发表多篇系统领域顶级会议论文,并曾获得2014年世界超算大会(Supercomputing)最佳论文奖。博士毕业后,曾担任Instagram广告组的研究科学家。作为Instagram广告组的创始成员,从零开始建设Instagram广告排序服务,和团队合作在一年内将Instagram广告营收做到数十亿美元规模。2019年加入快手,负责核心推荐系统和中台的建设,包括推荐线上服务、推荐模型大规模实时训练、推荐异构计算等项目。
华为诺亚方舟实验室推荐与搜索项目组资深研究员 唐睿明
唐睿明,华为诺亚方舟实验室推荐与搜索项目组资深研究员。他于 2009 年在中国东北大学获得学士学位,专业为计算机科学与技术;并在 2014 年从新加坡国立大学计算机专业获得博士学位。2014 年底,他加入华为诺亚方舟实验室。他的研究方向包括机器学习、推荐系统、深度学习、强化学习、AutoML等。在基于深度学习和强化学习的推荐系统领域,他的多篇论文发表于国际顶级会议和期刊,如WWW,IJCAI,TOIS,AAAI,RecSys,SIGIR等。
更多嘉宾还在确认中......
(最终出席嘉宾以会议现场为准)
演讲结束后,推荐系统分论坛还设有45 分钟的 Panel 环节,演讲嘉宾将就推荐系统相关热门话题展开讨论,在思想碰撞中拓展推荐系统研发的新思路。
推荐,一个深刻影响人类传播、接收信息方式的产物,将在人类社会发挥越来越重要的作用,深入到人类工作和生活的方方面面,它先进、高效、事半功倍,但是同样存在着不可忽略的问题。来到 AI ProCon,探索推荐系统的原理,发现更好的技术手段,让推荐系统更好地服务用户。
大会除了「推荐系统」专场之外,还有机器学习、计算机视觉、自然语言处理、知识图谱、5G 驱动 AIoT、AI开源、AI+DevOps、AI+小程序等技术论坛。科技饕餮盛宴,想你所想,供你所需!
2019 年 9.6~9.7(周五~周六),AI ProCon 2019将在北京富力万丽酒店如约举行。
目前,大会已邀请到阿里、华为、Google Brain、Amazon、微软中国、百度、京东、小米、快手、科大讯飞、商汤、旷视、图森、云知声、思必驰等重磅嘉宾。“硬核AI技术大会,一年参加一次就够了”。
届时,来自全球各地的60 余位 AI 专家和学者将齐聚一堂,不谈口号,只谈技术,共同探讨机器学习领域开发者最感兴趣的技术话题。我们将用多样化的主题,让你满载而归!