新研究声称,人工智能聊天服务ChatGOT有能力取代训练AI程序的人工工作者。根据对ChatGPT的研究和测试,这个AI聊天机器人在执行文本注释任务时比人工工作者更准确和一致。
机器学习系统往往依赖工作者来训练和微调人工智能模型,但最新研究表明,模型本身有可能取代工作者。这对那些定期通过为AI数据集标记和过滤内容进行手工工作的低薪人工工作者产生了巨大影响。
要点:
- 像Mechanical Turk这样的平台上训练AI模型的低薪工作者有可能被AI模型本身取代。
- 与低薪人工工作者相比,ChatGPT在文本注释任务中的准确性和一致性更高。
ChatGPT能够胜过低薪工作者
苏黎世大学的政治科学研究人员在最新的论文中指出,ChatGPT有能力胜过低薪众包工作者,这些工作者执行文本注释任务,即标记用于AI系统训练目的的文本。
研究发现,ChatGPT能够以比人类标注者更高的准确性和一致性标记这些文本,研究人员在亚马逊旗下的众包平台Mechanical Turk上找到了这样的标注者,并在该平台上进行了测试。
研究人员通过要求ChatGPT对2382条推文进行分类,根据其主题、相关性、立场、政策框架和问题或解决方案进行分类。
研究人员总结说,他们发现ChatGPT在互码者一致性上表现出更高的准确性,即两次不同ChatGPT运行对相同级别的推文的百分比。
通过这次测试,他们还发现使用ChatGPT可以节省金钱,因为利用AI聊天机器人比招募和支付Mechanical Turk上的人类更便宜,后者每个标注大约只能赚5美分。
这项研究展示了使用ChatGPT等大型语言模型的AI系统以多快的速度影响和影响人类工作的现实。
在最近一篇论文中,OpenAI的研究人员认为,美国80%的劳动力有可能受到GPTsr引入的工作和任务的至少10%的影响。
尤其对于工人群体来说,人类标注者的前景尤为严峻。在发布ChatGPT之后,微软和谷歌等大型高科技公司都在努力提高其在AI领域的技术、进展和速度。事实上,AI模型确实依赖于低薪人工工作者。
从人工智能模型的数据集中手动筛选和标注内容需要广泛的工作者。人工工作者的工作是必需的,因为AI在其初始训练阶段无法识别照片的细微差别。
今年早些时候,《时代》杂志报道称,OpenAI支付肯尼亚工人为其用户制作更安全的AI聊天机器人,他们每小时支付大约2美元。即使在部署AI模型之后,他们仍然倾向于依赖人类互动来识别和微调AI模型的缺陷。
Krystal Kauffman是一名做了七年的Turker(指MTurk工作者),目前是Turkopticon的一员(这是一个致力于维护Turker权益的非营利组织),她表示该公司的Turker不相信ChatGPT的能力能够取代他们的能力。
ChatGPT保持学习和变化。如果信息在OpenAI’s latest model GPT-4上运行,它能展示相同的结果吗?在不断增加的数据集之后,一年后会有什么区别?AI模型的训练来源是什么?
我们还注意到了关于ChatGPT能力的研究,这证明了同行评审的不足,Kauffman说道。ChatGPT可以创建文本,但人类需要阅读并结论它是否足够好(确保不包含任何冒犯或不尊重的内容)。
她补充说:“写作或生成内容不仅仅是创造词语或判断”。像Turkers这样的人对于当前和可预见的未来来说至关重要,以执行判断任务。目前,还有很多未回答的问题和判断,才能对选择ChatGPT的能力而不是人工工作者感到自信。
研究人员承认现在还为时过早来断言ChatGPT可以在多大程度上替代人工工作者。这是由该论文的合著者Fabrizio Gilardi所说的:“该论文展示了ChatGPT在执行任务注释任务方面的能力,包括其准确性和一致性。
需要进行更多的研究和测试,以了解ChatGPT在各种任务中的能力以及它是否可以替代工作者。”例如,在英语推文上进行的测试表明ChatGPT只能执行有限数量的任务。虽然将这些测试和分析扩展到更多的任务、语言和数据是必要的。