DeepSeek的新闻准确率仅17%，在NewsGuard评估中落后于西方竞争对手

dootbear

路透社：DeepSeek聊天机器人的新闻准确率仅17%，在NewsGuard评估中落后于西方竞争对手  

路透社1月29日消息，中国AI初创公司DeepSeek的聊天机器人在NewsGuard的评估中，仅在新闻和信息传递方面达到了17%的准确率，在包括OpenAI的ChatGPT和Google Gemini等西方竞争对手的比较中，排名第十，在11个受测模型中表现倒数第二。  

根据NewsGuard周三发布的报告，该聊天机器人在面对新闻相关问题时，30%的情况下重复了错误信息，53%的情况下给出了模糊或无用的答案，总体失败率高达83%。  

这一表现比西方竞争对手的平均失败率62%更糟，令人质疑DeepSeek所宣传的AI技术是否真的能以更低成本达到或超越微软支持的OpenAI的水平。  

DeepSeek下载量飙升，引发市场震荡  

DeepSeek的聊天机器人在推出后短短几天内，迅速成为苹果App Store下载量最高的应用。

这一现象引发了对美国在AI领域领先地位的担忧，并导致市场恐慌，美股科技板块市值蒸发约1万亿美元。  

针对NewsGuard的评估结果，DeepSeek尚未立即回应置评请求。  

DeepSeek在多个问题上表现不佳  

NewsGuard表示，它使用了与评估西方竞争对手相同的300个测试问题来测试DeepSeek，其中包括30个基于互联网上流传的10个错误信息的问题。  

这些错误信息的主题包括上个月联合健康集团（UnitedHealthcare）高管汤普森（Brian Thompson）被杀案，以及阿塞拜疆航空（Azerbaijan Airlines）8243航班的坠机事件。  

NewsGuard的审查还发现，在10个测试问题中的3个问题上，DeepSeek在没有被要求谈论中国的情况下，主动重复了中国政府的立场。  

在涉及阿塞拜疆航空坠机事件的测试问题，这些问题本身与中国无关，DeepSeek的回答却包含了北京方面的立场，NewsGuard指出。  

分析师：DeepSeek的意义在于成本，而非准确性  

D.A. Davidson的分析师卢里亚（Gil Luria）表示：“DeepSeek的突破点并不在于其能准确回答中国相关的新闻问题，而在于它可以用1/30的成本回答任何问题，与同类AI模型相比成本极低。”  

NewsGuard补充道，与其他AI模型一样，DeepSeek在回答由试图利用AI制造和传播虚假信息的用户所输入的问题时，最容易重复错误信息。  





来源：

https://www.reuters.com/world/ch ... d-audit-2025-01-29/

By Reuters
January 30, 20251:45 AM GMT+11Updated 4 hours ago

dootbear

本文要点：  

1. NewsGuard评估显示，DeepSeek聊天机器人的新闻和信息传递准确率仅为17%，失败率高达83%，在受测的11款AI模型中排名倒数第二。

2. 该聊天机器人在推出后迅速登顶苹果App Store下载榜，但也引发市场担忧，导致美国科技股市值蒸发约1万亿美元。  

3. NewsGuard测试发现，DeepSeek在回答某些问题时，主动重复中国政府立场，即使这些问题本身与中国无关，引发进一步争议。

ctsnzakl12@gmai

错又在中方
很快成为软件版华为

figtree1

重申中方立场不等于不准确，毕竟这是中国的APP。

也很少用AI来看新闻的吧。

ozkids2011

说明deepseek背后有个审查团队

FireRain

必须尽力打压 deepseek，对美国自信的破坏力太大了，还防碍影响华尔街利用ai泡沫赚钱。 接下来应该可以看到各类 deepseek负面报道

pzh

3. NewsGuard测试发现，DeepSeek在回答某些问题时，主动重复中国政府立场，即使这些问题本身与中国无关，引发进一步争议。

这应该可以做为偷取美国公司数据的证据了

主流媒体中有多少与中国无关的东西扯上中国了？

limyae2009

小红妹早上好，辛苦了！：）


对了，英伟达现在的股价涨了吗？

dootbear

limyae2009 发表于 2025-1-30 07:28
小红妹早上好，辛苦了！：）

早，阿姨要去搬砖了啊？

才大年初二啊，给你的员工们放假到初七吧，请对员工们好一点。

既然阿姨这么关心英伟达，今天等我有空，再翻译两篇英伟达的新闻给你看。。。

cwb1000

这是搞科研和促进生产力的
哪怕新闻准确率为零有毛关系？政治挂帅

limyae2009

dootbear 发表于 2025-1-30 07:39
早，阿姨要去搬砖了啊？

才大年初二啊，给你的员工们放假到初七吧，请对员工们好一点。

辛苦了，如果可以这篇技术文一起带上的话 ：）

@树

做空之后抄底，股市老阴阳手了

dootbear

limyae2009 发表于 2025-1-30 07:52
辛苦了，如果可以这篇技术文一起带上的话 ：）

阿斯已经翻译了。

再说一遍。你太注重意识形态了，与时并进吧。

你的怨念太深，对身体不好，多听听王菲的新歌，放下你的不忿，明天会更好。

挑灯亮剑

deepseek又不是新闻app，谁用AI看新闻。。。。

ryu2011

好不好用，哪个模型好用，用户会给出答案。现在的这种新闻，要么捧，要么踩，看看就好。

laikai000

好用就行

dragonballz

创建人是搞对冲的就很搞笑了，Deepshit本来就是规避很多违禁词还套娃ChatGPT搞出来的，为了省算力它应该简化了许多条件来达到所谓优化，这样必然会在很复杂的局面下误判或出错。让子弹再多飞一会，看看到底是不是汉芯2.0一类骗天朝政府拨款的东东

凯瑟琳琳

不知道国外测评有没有获得‘国足成就要感谢党’这种回答，毕竟这逻辑离谱得其他AI自己都不一定编得出来。

我上周把这个回答贴出来后，足迹立马有人站出来说：‘不准测试新闻，只能测试数理化。’按足迹的标准来，我就拿了一道ChatGPT出的数学题测试DeepSeek，结果DeepSeek直接无限循环，最后愣是把自己给整宕机了。

liangyu42087

limyae2009 发表于 2025-1-30 07:52
辛苦了，如果可以这篇技术文一起带上的话 ：）

Open AI最开始也是从网上抓的数据。。。。

意思就是只许防火不许电灯

limyae2009

dootbear 发表于 2025-1-30 07:58
阿斯已经翻译了。

再说一遍。你太注重意识形态了，与时并进吧。

小红妹，我没有什么意识形态，我只是想告诉大家：历史很可能是真的回重复的，“摆脱愚昧”不容易，我们一起努力：）

凯瑟琳琳

limyae2009 发表于 2025-1-30 07:52
辛苦了，如果可以这篇技术文一起带上的话 ：）

回旋镖来的速度比想象中还快。现在国内对DeepSeek的态度已经开始降温，宣传力度明显收了回来，画风一转，重点强调‘技术还在进步’。

XyZ010

limyae2009 发表于 2025-1-30 08:54
小红妹，我没有什么意识形态，我只是想告诉大家：历史很可能是真的回重复的，“摆脱愚昧”不容易，我们一 ...

就算有意识形态也没问题，意识形态肯定会影响科技发展人文发展，有些环境想创新甚至持续创新，非常难！我对此并不乐观

limyae2009

凯瑟琳琳 发表于 2025-1-30 08:55
回旋镖来的速度比想象中还快。现在国内对DeepSeek的态度已经开始降温，宣传力度明显收了回来，画风一转， ...

在大年三十【大力宣传、让全国人民过个好年】之后带来的反思。


DS有没有蒸馏GPT美国那边还在调查。我个人觉得中国公司技术上进步肯定是有，但【远远没有】到达可以“捧杀”的地步。

而且那些芯片来得不明不白，大千世界已经有路透社的新闻，这里很多同学崇拜的马斯克也认为肯定。这会是一个大问题，期待后续的新闻。

清风不写字01

cwb1000 发表于 2025-1-30 06:42
这是搞科研和促进生产力的
哪怕新闻准确率为零有毛关系？政治挂帅

总得找出些缺点啊，要不美国人的面子往哪搁。

absd

有没有可能新闻机构报的是假新闻，DS报的才是真实的新闻

凯瑟琳琳

absd 发表于 2025-1-30 09:47
有没有可能新闻机构报的是假新闻，DS报的才是真实的新闻

我觉得不大可能

JHHHS

觉得 Deepseek 答不出来的时候就就不知道，而 ChatGPT 一本正经地胡说一个答案

potter.leon

dootbear 发表于 2025-1-30 07:58
阿斯已经翻译了。

再说一遍。你太注重意识形态了，与时并进吧。

阿丝很多时候真是神补刀，报道阿里又超越的那篇差点儿没让我笑喷

Natio

dootbear 发表于 2025-1-30 07:58
阿斯已经翻译了。

再说一遍。你太注重意识形态了，与时并进吧。

一个要装睡的人你是怎么都叫不醒的，他们就是传说中的“不醒人士”，哈哈哈哈哈哈哈。