脸书研发1万表情包“钓鱼”仇恨言论人工智能检测新算法拉开序幕

　　。美国社交媒体脸书（Facebook）12日带来消息，表示由于检测技术提升，其宣扬暴力和仇恨言论的删帖量历史性大幅增加。不过科研人员对该公司系统的准确性持保守态度，表示定义和检测仇恨言论是脸书和其他平台21世纪面临的最大和技术挑战之一，人工智能对人类文本的理解恐暂且只是冰山一角。

　　脸书将仇恨言论内容定义为暴力或不人道的言论（将人与非人类事物相比，例如动物），自卑言论，基于受保护特征的排斥或隔离呼吁。这些特征包括种族、族群、国籍、宗教信仰、性别、性取向、性别认同以及严重的残疾或疾病等。

　　该公司首席技术官斯瑞普菲（Mike Schroepfer）告诉记者，由于违反公司的仇恨言论政策，在2020年第一季度，960万条发布在脸书上的内容被删除，这是“一段时间以来（检测仇恨言论）最大的收益”。据悉，2019年第四季度删除的仇恨言论内容仅为570万条。

　　这份数据来自脸书的《社区标准执行报告》（CSER），该报告还称在第一季度删除的960万个帖子中，其软件在用户报告之前便检测到88.8％。这表明新算法在本季度标记了850万个仇恨言论，比上一季度的460万个增长了86％。

　　斯瑞普菲表示这种增长的原因是由脸书人工智能专家打造的自主仇恨言论“嗅探器”能够更好地进行检测。在与记者的通话中，他说该公司解析语言的机器学习能力（Machine Learning）进步显著，“语言模型变得更大、更准确、更细微了”。“他们能够发现不太明显的东西。”

　　除了发布这一最新期报告，脸书当天还表示已经制作了10000多个关于种族、性别歧视以及仇恨的网络表情包，并将为能够使用它检测仇恨言论的开发人员提供总计10万美元的奖金。这是其致力于打击仇恨言论的最新构想。

　　据悉，该项目的创意与挑战在于同时检测包含图像和文字的“多模式”仇恨言论内容。因为有时候图片内容和文字内容独立来看可以接受，但一旦组合起来就可能传达微妙信息，使其成为仇恨言论。在脸书分享的一个例子中，一张空旷沙漠的照片的标题是《看看有多少人爱你》。它旨在表达，孤立地使用任何一种要素都是无害的，但是一旦结合起来，内容就会变得有侮辱性。福布斯网站也给出说明，在玫瑰的图片上加上“爱你今天的味道”并不令人反感，但是如果配上的是臭鼬图片，相同语句传达出的就是不同的信息。

　　脸书团队表示：“为了应对这一挑战，研究社区致力于构建工具，这些工具将捕捉特定内容中存在的不同模型，然后在分类过程的早期将它们融合在一起。”团队解释说：“这种方法使系统能够像人们一样同时分析不同形态的内容。”

　　据福布斯网站报道，脸书使用了现有的网络表情包创建该表情数据集，但原始图像被替换为了Getty上的相似图片。参与者必须在10月之前研究其图像库数据和启动代码，并以此建立模型。他们可以参加12月在NeurIPS机器学习会议上举行的决赛，届时他们将在新一组展出的表情包里识别“仇恨”表情。获奖者将得到50000美元的奖金，其他参与者也可获得较小的奖励。

　　在过去几年中，脸书在自动化内容删除方面投入了大量资金，其检测仇恨言论看起来比以往任何时候都更加努力。相关专家也开始试图分析他们究竟表现如何。此次有关仇恨言论的报告一出炉，《商业内幕》便参与了分析，不过它认为脸书所用系统的准确性仍然是个谜。

　　它提出脸书并未发布，并且说无法估算其17亿日活跃用户发布的仇恨言论总量。《商业内幕》指出，虽然仇恨言论的删除比例大幅增加，但脸书并未表明其算法网络漏标记了多少仇恨言论。报告中仇恨言论的部分写到，Facebook“仍在制定一项全球指标”。

　　《商业内幕》认为，缺失的数字掩盖了社交网络仇恨言论问题的真实规模。西雅图大学副教授凯特琳·卡尔森（Caitlin Carlson）表示，与脸书庞大的用户网络和令用户不安的内容的观察相比，为仇恨言论而删除的960万篇帖子看起来很少。“找到它们并不难。”卡尔森说。她曾在1月份发布了一项实验的结果，卡尔森和一位同事收集并举报了300多个违反其平台规则的“仇恨帖子”，但最终只有大约一半被删除。对于不同仇恨类型，脸书的检测严厉度似乎也不同。

　　但对此类质疑，斯瑞普菲表现得很坦然：“我并不天真，人工智能不能解决每个问题。”他承认，人类将无限期地处于循环中，技术不会完美。“我认为这些问题从根本上讲是人类在生活和沟通方面的问题，因此我们希望人类能够控制并做出最终决定，尤其是当这些问题产生细微差别时。但是，我们可以使用AI来完成常规任务，数十亿规模的任务和繁重的工作。”斯瑞普菲补充道。

　　研究人工智能的专家提出，即使是对于人类，仇恨言论也比涉及性或的内容更加难测，而且可以归结为文化敏感性问题。因此，自动化是很棘手的，人工智能理解文本和图像共同传达的微妙含义的算法研究才刚刚开始。