|
德勤承认在帮助撰写一份价值44万澳元的报告时使用了生成式人工智能,该报告存在多处错误,德勤将因此向联邦政府返还部分款项。 就业与职场关系部确认德勤将退回其合同项下的最后一笔款项,具体交易完成后将对外公布。此事发生之际,一名工党参议员指责该咨询公司存在“人类智力问题”。 德勤于2024年12月受该部门委托,对“有针对性的合规框架”及其用于在福利系统中自动执行对未履行相互义务的求职者施加处罚的IT系统进行审查。随后的报告发现了普遍性问题,包括框架规则与其所依据立法之间缺乏“可追溯性”,以及“系统缺陷”。报告称该IT系统“基于对参与者不履行义务的惩罚性假设”。 报告最初于7月4日发布。八月,《澳洲金融评论报》报道指出报告存在多处错误,包括不存在的引用与参考文献,报告随后于周五在DEWR网站重上传。 率先指出这些错误的悉尼大学学者Christopher Rudge博士表示报告中存在AI模型“幻觉”现象,模型可能填补空白、误读数据或试图猜测答案。 经修订的审查指出对引用和脚注进行了“少量更正”,但该部门表示审查的建议未作更改。 在报告的更新版本中,德勤在附录中补充说明使用了生成式AI。文中称,报告的一部分“使用了在DEWR Azure租户上托管、由DEWR许可的生成式人工智能大型语言模型(Azure OpenAI GPT–4o)工具链”。 德勤并未在最初的报告中将错误归因于人工智能,但仍坚持该审查的原始结论。 “所做的更新在任何方面都不影响或改变报告的实质内容、结论和建议,”德勤在修订版中表示。 德勤发言人称“此事已与客户直接解决”。 Rudge虽对报告提出批评,但表示不愿断言整份报告“应被视为非法或无效”,因为其结论与其他大量证据相一致。 《澳洲金融评论报》在原始报告中发现若干错误引用,包括不存在的由悉尼大学和瑞典隆德大学教授发布的报告。报道还指出报告中还捏造了一项关于robodebt案件的法院判决引用。德勤在最终报告中写道已“修正包含错误的案件摘要”。 https://www.theguardian.com/aust ... ai-in-440000-report |