笔盒永久发布，Meta 深陷盗版泥潭，邮件曝光 81.7 TB AI 训练数据黑幕

笔盒永久发布

OpenAI说，DeepSeek使用了数据蒸馏技术开发R1和V3模型。这种技术将复杂模型的知识提炼到简单模型。通过已有的高质量模型来合成少量高质量数据，并作为新模型的训练数据。这意味着新模型可以从旧模型中获益，而无需承担构建旧模型所投入的大量时间、算力等成本。

模型参数：每个参数占用 2 字节。参考模型参数：每个参数占用 2 字节。梯度：每个参数占用 2 字节。优化器状态：每个参数占用 8 字节。8 位优化器：每个参数占用 4 字节。PEFT：有助于减少梯度的显存占用。，Meta 深陷盗版泥潭，邮件曝光 81.7 TB AI 训练数据黑幕

面对未来3年，在清晰的产品图谱上做精、做差异、做全球，是我们的核心产品策略，加上小鹏的体系化作战能力，将是我们杀出淘汰赛，进入晋级赛的坚强后盾。

OpenAI说，DeepSeek使用了数据蒸馏技术开发R1和V3模型。这种技术将复杂模型的知识提炼到简单模型。通过已有的高质量模型来合成少量高质量数据，并作为新模型的训练数据。这意味着新模型可以从旧模型中获益，而无需承担构建旧模型所投入的大量时间、算力等成本。

像 trl 这样的库已经开始支持 GRPO，使得微调由 transformers 构成的 LLM 变得非常简单。代码也非常简洁，只需将训练器替换为 GRPOTrainer 并定义一些奖励即可。GRPO 的最小代码量大约只有 99 行，如果你使用的是像 meta-llama/Llama-3.2-1B-Instruct 这样的小型模型和像 openai/GSM8K 这样的数据集，可以非常快速地启动。

那段时间，厂里的机器日夜不停地运转，工人们加班加点地打包发货。李文每天凌晨才睡，天没亮又爬起来处理订单。他的妻子负责核对订单，父母则帮忙打包，连放寒假的女儿也在一旁递胶带。

小赫内斯在斯图加特的合约中有一项价值在500-600万欧的解约金条款，虽然目前还没有迹象表明他会在今夏离开，但为了应对该条款可能被激活的情况，斯图加特想要为此做好准备而不至于措手不及。也因此，斯图加特的高层们很长时间以来一直在幕后探察教练市场，并关注着可能的继任者候选人。