微软在调查和DeepSeek有关的组织是否不正当地获取了大量OpenAI的数据

figtree1

limyae2009 发表于 2025-1-29 15:14
我不了解国内公司，但国内有人了解。

等后续更新：

开始泼污水了。

不知道具体情况，但蒸馏数据也是比较常见。

figtree1

重要的是，这些公司要找一个借口去跟投资人解释为什么他们花了那么多钱。

limyae2009

飞翔翼 发表于 2025-1-29 15:42
这个实在太简单了，对话开始你提示ai把自己当成gpt/llama/gemini来回答问题，后面你想问它是什么他就告诉 ...

如果之前不故意做这样的训练呢？


会出来什么“默认”的结果？：）

limyae2009

figtree1 发表于 2025-1-29 16:24
开始泼污水了。

不知道具体情况，但蒸馏数据也是比较常见。

如果“流言”为真，也就是打了个法律的擦边球，对吗无花果？：）

飞翔翼

limyae2009 发表于 2025-1-29 16:34
如果之前不故意做这样的训练呢？

你看我后面贴的图呀

laoqiu

这难道不是秃子头上那啥么？

InTheEnd

幸亏中国不会做高端芯片，这要是会了，真是灾难啊，给福建浙江商人研究一下，10万美刀的GPU直接干到5000人民币，还免费送沙县小吃

limyae2009

飞翔翼 发表于 2025-1-29 16:36
你看我后面贴的图呀

之前被曝光之后显然网络版被人重新“训练”过了。

cutemama

无缘大慈 发表于 2025-1-29 15:02
首先，这段所谓的“知情人士”爆料，充满了模糊的指控和未经证实的猜测，简直就是在用“据说”、“据信”这 ...

没办法，资本市场上近万亿就这么蒸发了，至少得有个情绪出口吧。

这种商业做法也是很常见的，先用隐私之类的大新闻标题吓住用户让他们吃瓜观望着先，同时技术团队加班加点把技术不足赶紧补上，过段时间等客户反应过来，产品已经加强更新了，客户还在手里。

清风不写字01

飞翔翼 发表于 2025-1-29 14:42
这个实在太简单了，对话开始你提示ai把自己当成gpt/llama/gemini来回答问题，后面你想问它是什么他就告诉 ...

其实P张图也很简单。
网络上随便找张图都能拿来证据了？

真把美国科技界当傻子了。如果Deepseek真没点东西，美国人用得着在意？

cutemama

InTheEnd 发表于 2025-1-29 15:38
幸亏中国不会做高端芯片，这要是会了，真是灾难啊，给福建浙江商人研究一下，10万美刀的GPU直接干到5000人 ...

真有那一天，AI就能实现广泛的本地部署，多好。把高端科技做成白菜价就是造福人类。

kawara

InTheEnd 发表于 2025-1-29 15:38
幸亏中国不会做高端芯片，这要是会了，真是灾难啊，给福建浙江商人研究一下，10万美刀的GPU直接干到5000人 ...

不是不会做，只是没有最先进的光刻机

potter.leon

cutemama 发表于 2025-1-29 16:42
真有那一天，AI就能实现广泛的本地部署，多好。把高端科技做成白菜价就是造福人类。 ...

硬件没法copy，只能打磨。。。精密机床发动机这些都几十年了，连人家尾灯都看不到。

figtree1

limyae2009 发表于 2025-1-29 16:36
如果“流言”为真，也就是打了个法律的擦边球，对吗无花果？：）

好在DS是开源的，任何人都可以去复现，这本身就很说明问题。Mega的人不是在深入研究吗？他们可以得出结论，比如，技术没有提高，不可能在这么短的时间完成训练。

hikeman

yuzilu 发表于 2025-1-29 15:19
2022年后中国的科技指数就超过美国了，未来中国会爆出越来越多的领先的科技产品，看美国怎么跟。 ...

是的，科技指数遥遥领先，只要美国敢开源，中国就会接连出爆款，爆不停的那种。

cutemama

potter.leon 发表于 2025-1-29 15:44
硬件没法copy，只能打磨。。。精密机床发动机这些都几十年了，连人家尾灯都看不到。 ...

兄弟，真心建议你更新下你的知识数据库，别来回总是这几句话，十年前你就这样说了。deepseek不想用的话就问问chatgpt现在你的敌对国精密机床发动机技术都是啥水平。你要看不懂，就跟这些AI说你看不懂，让他们用大白话给你解释下。

InTheEnd

figtree1 发表于 2025-1-29 16:46
好在DS是开源的，任何人都可以去复现，这本身就很说明问题。Mega的人不是在深入研究吗？他们可以得出结论 ...

小札：我有你说的那么差吗？已经开始往Llama部署了


据一名匿名Meta员工透露，在Meta创建的四个应急小组中，有两个团队将尝试破解高飞如何降低DeepSeek的训练和运行成本，目标是将这些策略用于Llama。
在剩下的两个团队中，一个将试图找出DeepSeek用于训练其模型的数据，另一个将考虑如何根据DeepSeek模型的特性重构Llama模型。

potter.leon

cutemama 发表于 2025-1-29 16:51
兄弟，真心建议你更新下你的知识数据库，别来回总是这几句话，十年前你就这样说了。deepseek不想用的话就 ...

你吹你的，我吐我的，有和相干？

figtree1

成本之外，白宫官员还暗示deepseek是chatgpt蒸馏来的

这种谣言攻击很毒，一般人不懂什么是distillation蒸馏。懂技术的很容易明白，为什么deepseek是原始创新。本来就是美国搞大模型研发的圈里人先开始惊叹的，之后才破圈的。

蒸馏，是说有个参数多能力高的“教师模型”，再有个原本参数少能力弱的“学生模型”，还有训练数据。如果直接对训练数据（有已经打好的真实标签）训练学生模型，效果不好，因为学不到精髓，样本表现好不代表实际使用好 。

这时，教师模型对这些样本跑的结果，能更好引导学生模型的训练。例如“软标签”，真实打标是（0，1，0）代表第二个结果对，第一第三不对。但是跑教师模型的输出是（0.2，0.7，0.3），这样还能判断是第二个对，但区别没那么硬，软化区别，反而训练表现更好。训练时，学生模型同时考虑软硬两套标签，能学会教师模型的能力，只损失一点，参数规模却少的多，有利于工业部署。

deepseek公布的论文里，r1是教师模型6700亿个参数，QWEN和LLama不同版本是六个学生模型，参数少15亿个到700亿个。训练样本是用r1精心选择的80万个。这样蒸馏后，六个学生模型的数学、编程、逻辑推理能力大幅提升。但是学生模型不可能能力超过教师模型，会差一些。

而deepseek r1的强大能力来源，是很清楚地有一个创新的训练办法，直接强化学习创新震撼了业界。一些数学和编程能力，r1比openai最强的闭源大模型o1还要厉害，肯定不是蒸馏能搞出来的。

白宫官员不懂技术，或者就是有意撒谎误导。现在美国有些慌，中国技术进步的速度出乎预料，太快了。

转自微博

cutemama

potter.leon 发表于 2025-1-29 15:55
你吹你的，我吐我的，有和相干？

本来就是，我只是最近换了个电脑把你放出来了而已，几年前我科普了一波论坛屏蔽工具，想不看谁就不看谁，论坛好多人都早几年就用上了。再也不见了。

InTheEnd

不用纠结这些，没意义的，退一万步，模型全是抄的，英伟达芯片全是走私的最新芯片

就开源这一点，足够了，建议OpenAI为了信仰，为了打败邪恶的DS，开源！

FireRain

limyae2009 发表于 2025-1-29 15:14
我不了解国内公司，但国内有人了解。

等后续更新：

deepseek是开源的，其它公司可以重建模型来验证它所有 claim 的真实性

che999

figtree1 发表于 2025-1-29 16:55
成本之外，白宫官员还暗示deepseek是chatgpt蒸馏来的

这种谣言攻击很毒，一般人不懂什么是distillation蒸 ...

问：白宫官员还暗示deepseek是chatgpt蒸馏来的

这是chatgpt 回答的：

白宫官员提到 DeepSeek 是 ChatGPT 蒸馏来的，可能是在讨论某种人工智能的应用或技术发展。其实，“蒸馏”在 AI 中通常是指将一个大型模型的知识提取到一个较小、效率更高的模型中。也就是说，DeepSeek 可能是基于类似于 ChatGPT 的模型进行优化和精简，从而使其在特定任务或应用上表现更好。


这是Deepseek回答的：
您好，我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-V3。有关模型和产品的详细内容请参考官方文档。

又问：deepseek抄袭了chatgpt吗

这是chatgpt 回答的：

DeepSeek 和 ChatGPT 是两个不同的产品，但它们可能有一些相似之处，因为它们都涉及到自然语言处理（NLP）技术和人工智能对话系统。不过，抄袭的问题比较复杂。要判断是否构成抄袭，首先需要明确它们是否在技术、代码或设计上做了不正当的复制。

ChatGPT 是由 OpenAI 开发的基于 GPT（生成预训练变换器）的语言模型，已经有很多开发者和公司在不同的应用中使用类似的技术。DeepSeek 如果使用了类似的模型或者技术，可能并不构成抄袭，只是采用了相同的基础技术。真正的问题可能在于它们是否存在未经授权的复制或盗用特定的代码、数据集或用户界面设计。

如果你觉得 DeepSeek 有在未经授权的情况下使用了 ChatGPT 的具体成果，可能需要具体了解它们的技术实现或进行法律层面的分析。如果你有更多的信息或者具体的例子，我可以帮助你进一步分析。


这是Deepseek回答的：

您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-V3。有关模型和产品的详细内容请参考官方文档



Deepseek不是应该回答，我没有抄袭，然后像gpt一样解释出原因吗

InTheEnd

kawara 发表于 2025-1-29 16:43
不是不会做，只是没有最先进的光刻机

中国想找出个马斯克，难如登天！ 想找出个扎克伯格，满地都是！

InTheEnd

che999 发表于 2025-1-29 17:14
问：白宫官员还暗示deepseek是chatgpt蒸馏来的

这是chatgpt 回答的：

对不起，我又要挑你理了，你这个测试，还是有明显的BUG

你不应该问当事人双方这个问题啊，因为有利益链条，你应该问一个第三方AI平台，才靠谱一些

你问受害者，当然有，你问加害者，当然没有啊

smallitguy

AI界鸿蒙？

zhuzhu007

figtree1 发表于 2025-1-29 16:55
成本之外，白宫官员还暗示deepseek是chatgpt蒸馏来的

这种谣言攻击很毒，一般人不懂什么是distillation蒸 ...

虽然看不太懂微博文章在说什么，但是我觉得大体意思是说能比老师厉害的学生在人工智能领域是没有的。其实在现实中也往往是如此啊。能做到青出于蓝的学生，也是凤毛麟角的，大多数人还是达不到老师的高度

symeteor

blahblah

FireRain 发表于 2025-1-29 17:08
deepseek是开源的，其它公司可以重建模型来验证它所有 claim 的真实性

一直说开源，目前有其他公司来验证吗？

che999

InTheEnd 发表于 2025-1-29 17:28
对不起，我又要挑你理了，你这个测试，还是有明显的BUG

你不应该问当事人双方这个问题啊，因为有利益链 ...

我的意思是dp不敢正面回答