如果人工智能生成的“深度伪造”视频像野火一样蔓延开来,并在未来引发社交混乱,那么这种情况很可能会发生在Facebook或Facebook旗下的WhatsApp和Instagram上。
为了在人类无法检测到deepfake视频的情况下提高技术被用于检测视频的几率,这家社交网络和广告巨头发起了deepfake检测挑战,提供1000万美元的研究经费和奖励。
这项努力还得到了人工智能合作伙伴、微软以及康奈尔理工大学、麻省理工学院、牛津大学、加州大学伯克利分校、马里兰大学、College Park和纽约州立大学奥尔巴尼分校的学者的支持。
Facebook过去曾在未经用户同意的情况下对他们进行心理实验。但这次该公司强调不会使用Facebook用户数据。相反,它是“委托一个现实的数据集,将使用付费的参与者,在获得必要的同意后,为挑战做出贡献”。
其目的是创造一种技术,让每个人都可以用它来检测视频是否被人工智能操纵。
然而,Facebook表示,要做到这一点,它需要一个更大的数据集来处理deepfake内容,而到目前为止,该行业既没有数据集,也没有检测deepfake的基准。
因此,Facebook将使用最新的deepfake技术,帮助付费演员创建deepfake视频和音频数据集。
脸书展示了一个真实的演员和另一个演员在一起的演示视频。
但正如最近一起CEO欺诈案件所显示的,用于扰乱社会的deepfake视频并非唯一的威胁。近日,英国一名首席执行官被其上司的deepfake音频欺骗,将24.3万美元汇入一名诈骗者的账户,这是这起利润丰厚的商业电子邮件泄露欺诈案的一个新转折。
Facebook的deepfake探测计划是在美国国防高级研究计划局(DARPA)利用“语义取证”或SemaFor构建探测系统的最新努力之后推出的。
美国国防部高级研究计划局在8月底宣布了一项新的招标,它指出了媒体操纵和社交媒体之间的联系,当涉及到虚假信息在现实世界中引发动荡的威胁时。
这个新项目的重点是发现基于训练数据的模型中经常出现的语义错误。
美国国防部高级研究计划局信息创新办公室(I2O)的项目经理马特·塔瑞克博士说:“出于娱乐或艺术目的而改变媒体的手法与那些为了产生负面现实影响而改变媒体的手法是有区别的。”
SemaFor程序开发的算法将帮助分析人员自动识别和理解为恶意目的而伪造的媒体。