美国《连线》杂志近日报道,作家米娅·巴拉德的小说《Shy Girl》曾被AI检测公司Pangram判定为78%由AI生成。但巴拉德否认使用AI写作。

随后,全球顶级出版商阿歇特图书集团(Hachette)取消了这本书在美国的出版计划。

AI检测并非完全准确

米娅·巴拉德的小说《Shy Girl》,讲述年轻女性被网友囚禁的惊悚故事,自网络走红后签约出版,在英国上市即成为爆款。一位12年资历的文学编辑指出这本小说有明显“AI 味”,某博主相关质疑视频播放量破120万次,Pangram的AI检测结果更将争议推向高潮。作者米娅・巴拉德坚决否认使用AI写作,称是编辑使用AI润色导致检测异常。

事实上,出版业使用AI辅助已成公开秘密。多家出版社推出涵盖选题策划、校对、润色、广告文案等功能的AI工具。然而面对AI“影子写手”,行业缺乏有效识别手段,且AI检测软件频繁 “翻车”,甚至误判经典文学作品,可信度存疑。

那么,AI检测工具的准确率究竟如何?

Pangram 4的技术报告显示,在它们的测试数据里,英文文本的误判率降到了0.0041%。《自然》杂志也提到,今年7月Epoch AI测试了495篇纯人类写的文章,没有发现Pangram出现误判。

《自然》杂志曾拿Frontiers出版社科研诚信总监埃琳娜·维卡里奥的一篇文章去作检测。Pangram旧版本将其判定为100%AI生成,升级后的Pangram 4给出了96%AI的比例。

维卡里奥表示,文章初稿和想法完全由自己完成,只在修改过程中让AI润色了一下,之后又经过了人工编辑。

“96%AI”,并不等于文章中96%的内容由AI完成。Pangram解释称,系统会把文章切分成不同片段,分别判断这些片段更接近AI、人类还是两者混合,再根据这些判断计算整体比例。更准确的说,“96%AI”意为检测器认为这篇文本具有很强的AI生成特征。

美国杂志《快公司》(Fast Company)趋势新闻作者玛丽亚·何塞·古铁雷斯·查韦斯(María José Gutierrez Chavez)认为,AI监测工具是依据特定的标识预判文本是否由AI生成,但截至目前,没有任何一款检测工具能做到100%准确无误。实际上,在学校等频繁使用这类检测工具的场景中,较高的误判率已引发了多起对AI使用的错误指控,甚至AI公司主导的相关项目也未能取得成功,如OpenAI在2023年就已关停了其推出的AI检测工具。

《诗刊》编辑部副主任彭敏此前接受羊城晚报采访表示,用检测软件查AI率只能得到概率结果,现阶段的技术很难做到准确甄别,还算不上具有科学指导意义的技术手段。“我们的刊物严防死守,编辑但凡觉得某个作品的措辞方式像是用AI生成的,很大几率会宁枉勿纵,直接‘毙掉’。可在AI出现之前,一些学院里的写作者就在用这类风格的方式写作了,可能会导致他们被‘误伤’,这也是当前诗歌界、文化界难以避免的遗憾。”

“AI检测AI,是纯粹的社会浪费”?

检测器在升级,规避检测的方法也在更新。市面上已经出现了专门的人性化改写工具,能把AI写的句子重新组织一遍,换上更自然的词,调整表达节奏,目的就是让检测器认不出来。研究显示,经过这种处理的AI文本,漏检率会明显上升。

在中国海洋大学法学院教授桑本谦看来,“像不像AI”是可以伪装的。“降AI率”成了一门生意,而最趁手的工具还是AI。让AI把句子打乱,把连接词换掉,把段落弄得毛糙一点,AI率就降下来了。“AI检查AI,AI逃避AI检测。这是纯粹的社会浪费,不产生任何知识。”

对于学校、出版社和科研机构来说,检测器更适合承担“筛查”的角色。对于学校、出版社和科研机构而言,判断一篇文章是否违规使用AI,还需要结合具体的使用情况。

据《自然》杂志报道,美国癌症研究协会已经使用Pangram检查同行评议。一名审稿人因检测结果异常受到询问后,承认自己在评审意见中使用了AI。这样的案例说明,检测器确实可以帮助机构发现异常,但从“发现异常”到“确认违规”,中间仍然需要人的判断。

Pangram也建议,在处理AI学术诚信问题时,应结合草稿、笔记、修改记录和写作过程等信息,而不能只看检测分数。

桑本谦坦承自己借助AI完成了《疑案的裁判》的初稿写作。“有工具可用而用,没什么奇怪的;有工具可用而不用,那才奇怪呢!至于作弊与否,书稿的质量可以给答案。”他认为AI没能帮他显著提高书稿的质量,但确实帮他节省了时间。

桑本谦说他琢磨了这个课题足足25年。“至于那25年的琢磨,我不指望任何检测能把它测出来。它原本就测不出来:那些误读的论文、写坏的稿子、想岔了又退回来的路,还有那些琢磨了几个月最后发现根本不成立的点子,这些东西都进不了文字,进不了注释,进不了任何一份工作量证明。”

(羊城晚报·羊城派综合科技日报、中国法律评论、大江新闻、国际出版周报)

责编: 校对: 审签:
版权申明

羊城晚报·羊城派原创,未经授权不得转载