2013年，荷兰推出了一种算法，用以识别福利欺诈，取代此前由人工逐项审核的系统。

这里需要介绍一个基本问题。那就是福利等公共、商业项目的审查，人工审核不仅效率低，而且同样存在偏见的问题。但人工审核被干预、纠错的可能性也很高，而接到不符合自己申请实情的人工处理结果而愿意提出申诉的申请者比重，一般也高于基于算法等自动化程序驳回而坚持申诉的申请者比重。

荷兰的这个算法的主要问题在于，不仅延续了错误和偏见，而且不容易被推翻。一旦裁定申请者属于福利欺诈，却并不说明驳回原因。在几年时间里，这个算法错误地指控了约3万名家长在儿童养育补贴中存在福利欺诈。荷兰政府声称这些人欠下的金额在某些情况下高达十几万欧元，导致很多父母陷入严重的精神压力和经济困境。

更令人震惊的是，这个算法竟然使用国籍来预测某人是否涉嫌欺诈的因素。在其他条件相同的情况下，土耳其、摩洛哥或东欧国家国籍的人更可能被标注为欺诈者。

2019年，该算法的细节被披露。荷兰数据保护监管机构对因算法使用而导致的隐私保护的失败进行了调查，对设计算法的税务部门处以370万欧元的罚款。2021年，荷兰首相及其整个内阁因福利欺诈算法的使用而集体辞职。

这样的案例并非孤例。2013-2015年，美国密歇根州使用算法来检测失业欺诈，却错误地向居民收取了2100万美元。2016-2020年，澳大利亚政府也以类似错误向公民追讨了高达7.21亿澳元的款项。2022年夏天，多伦多市引入AI技术，用于预测何时因水质不达标而阻止泳者进入公共海滩，虽然这个技术确实能够较为精准地预测水质安全，但不知为何却仍然在水质不达标情况下，64%的时间让海滩照常开放。

美国著名计算科学专家、普林斯顿大学计算机科学教授阿尔文德·纳拉亚南，与普林斯顿大学计算机科学博士、脸书公司前软件工程师萨亚什·卡普尔合著的《AI万金油：商业幻想与科技狂潮》指出，我们当下的时代对于AI应用有着大量不切实际的幻想与过高期待，尤其是预测式AI的精准性，被广泛用于警务工作、库存管理、招聘以及其他公共政策、商业决策，但因此造成了大量的问题。

书作者指出，现在的生成式AI正在加速迭代进步，但其生成能力距离完美甚至良好仍路途遥远，最显著的表现就是AI生成的图片、视频、文章虽然在很多方面表现惊艳，但充斥着大量偏离常识、现实、真实的错误而预测式AI被认为可以辅助甚至替代人预测未来趋势，很多AI应用声名赫赫，但实际上根本无法达到其宣传效果。

正如书作者所谈到的，现有的预测式AI，其实其运作机理与大数据相似，也就是其可以实现的预测，必须在不改变现有系统，不增设变量的情况下实现，而且这种预测因循的是相关性，而非因果性。这种情况下，意味着预测式AI常常过于依托于现有数据，实际上就成为了对于过往经验、规律的投射——确实可以在很多情况下产出较为精准的预测，但是缺陷难以避免。书作者提醒指出，预测式AI在美国一些城市警务系统、福利政策系统的投用，都出现了基于有限的历史数据而产生歧视有色族裔的结果。

英国殖民印度、法国殖民越南期间，都曾为了治理泛滥的眼镜蛇、老鼠出台激励政策，鼓励具有捕捉能力的人安全捕捉眼镜蛇或老鼠然后上交获得奖励。但这项政策在印度和越南都曾引发道德风险，也就是人们冒险去养殖眼镜蛇或老鼠。书作者警告指出，预测式AI尤其是被应用于公共政策或商业政策的AI，就面临同样的道德风险，比如用于招聘的预测式AI系统，就开始出现一些中介机构帮助付费求职者修改简历，加入一些“投喂”给系统的关键词，从而提高被AI系统选中的概率。

《AI万金油：商业幻想与科技狂潮》这本书的一大亮点在于，书作者不仅从计算科学、人工智能科学的设计和运作原理出发来评测现有的AI应用幻象、乱象，而且书作者阿尔文德·纳拉亚南本人在普林斯顿大学开设过专门课程，深入研究和探讨了人类对于预测未来的执念何以产生以及延续。无论是古埃及、古代巴比伦、古代中国，人们都希望通过积累天文、水利等现象来找出规律，从而预测气候、农业收成。

这种预测思路其实贯穿了人类文明史。但在20世纪后期，实际上复杂科学的诞生已经解释了这种预测思路的短板所在，也就是天气等自然系统，以及城市、经济、金融体系本质上都是不确定的混沌系统。包括人体健康在内，确实可以捕捉到相当多数的规律、定律所在，比如特定的作息特征、进食方式、营养结构会导致疾病，但人体与疾病之谜仍未曾完全破解。

某种意义上可以认为，对于复杂科学应用到包括AI设计在内的各领域，以乐观主义态度，可以期待预测会越来越精准，然而即便如此，也要承认局限性所在。书中历数了新冠疫情、美国政治领域、流行音乐和电影市场与口碑等多方面案例，指出尽管各种模型基于复杂科学和历史数据，取得了显著进步，但目前还不能真正意义上实现精准预测。

书中也讨论了生成式AI现存的突出缺陷，比如热门新闻网站使用生成式AI撰写的大量报道，虽然都标榜经过了事实核查，但许多文章仍存在事实错误。又如，深度伪造、欺诈和其他恶意滥用的泛滥，目前在各国加大监管、打击力度以及企业界、资本机构提高防范的情况下仍未能有效杜绝。

事实上，针对社交媒体上AI生成内容滥用，诸多主流社媒平台目前也在AI审查上发力，通过AI、算法审查与人工审核结合的方式来履行守法要求。但书作者指出，AI的局限反而进一步体现。比如美国曾有用户发现自己的孩子的隐私部位肿胀，就将照片发给医生。但孩子父亲的安卓手机自动将照片备份到谷歌云端，谷歌的AI错误地将这些照片识别为儿童性虐待图像，因而迅速关闭了他的账号。虽然美国警方调查后证实了用户的清白，但谷歌仍然拒绝恢复其账号。这个用户失去了电邮、工作联系人、记录孩子成长的照片，也无法登录其他互联网账户。

又如，YouTube曾经删除了一段国际象棋的视频，原因是AI将棋局解说中的“白棋更有利”误解为种族评论“白人至上”。书作者指出，这些错误之所以发生，是因为AI工具往往会对文本、语音或图像进行字面解释，未能考虑上下文，或者说无法正确理解上下文、语境。

总的来说，《AI万金油：商业幻想与科技狂潮》这本书比较好地揭示了AI快速发展中，各种夸大宣传、误导性信息制造的幻象、过高期待，书作者深入剖析了AI的运作原理和局限性，提醒用户和投资者警惕企业炒作，不要过度聚焦和期待那些既不实用，未来也不可能有良好前景的AI产品。

书名：《AI万金油：商业幻想与科技狂潮》

作者：（美）阿尔文德·纳拉亚南、（美）萨亚什·卡普尔

译者：（加）王勇、（加）王安心

出版社：中信出版社

出版日期：2025年8月