9l传媒制片厂董小宛：“非常棒”，又有两家科技巨头点赞DeepSeek

9l传媒制片厂董小宛

CNN称，目前一份记录了5000多名FBI人员信息的清单已经被呈交了上去，其中包括这些人员的工卡号码、职务头衔、以及他们在国会大厦骚乱调查中扮演的角色。，“非常棒”，又有两家科技巨头点赞DeepSeek

李德茂致辞

特斯拉1月在法国的销量下降了63%，在瑞典和挪威分别下降了44%和38%，在荷兰下降了42%。在加州，2024年汽车注册量超过170万辆，是美国最大的汽车市场，但特斯拉的销量也下降了12%。

王春梅主持会议

李玉有报告

早前，DeepSeek发布其最新开源模型DeepSeek-R1，用较低的成本达到了接近于OpenAI开发的GPT-o1的性能，一举破解了全球人工智能产业长期以来“堆算力”的路径依赖。

蔡忠平作报告

据悉，大S春节期间和家人一起组团去日本旅游，到达日本后，大S身体还没有什么不良状况，但隔天大S就被染上流感，并引发其他旧疾。

梁奇报告

据中指研究院，今年春节期间（1月28日~2月4日），国内28个代表城市新房日均成交面积较去年假期（2024年2月10日~2月17日）增长8%。二线城市中，成都市场活跃度较高，同时由于基数较低，网签成交量较去年假期大幅增长，南京、南昌、武汉等城市增幅同样明显。

肖延平作报告

我们只是人生一个过客，只是在有限的时间里来看一看这个世界这个地球而已，不要为了情、钱、为了所谓的三观与利益牺牲掉自己的主观感受，大家尽情精彩生活，尽情释放自己，享受属于你的精彩生活才是真的。

骆青凉作报告

10年来，电商产业对村民生活的改变显而易见。“60多岁的村民，每天能拿到80多元的工钱，一个月大概是2000—3000元，一年下来约3万元。”王群喜向记者表示，“农闲时，其他村可能有三五个人聚在一起闲聊，我们村没有，根本找不到闲人，都在忙着挣钱。”

连军岭作报告

另外在一些偏远的乡下医院，急诊也需要预约等待，医生的值班，加护病房的安排也不像国内那么方便。这也是大S首次被救护车接走又被退回的一个原因。

骆永明报告

征求意见稿提出，居住类项目应在有直接建设方案和无直接建设方案中选择其一，进行充电车位配建指标及对应工程建设。如果选择有直接建设方案的，直接建设的充电车位应在某一区域集中设置。非居住类项目的充电车位配建指标及对应工程必须选择有直接建设方案。

张鸿彬报告

熊雪，当地人称“熊老板”，有浓厚的“袍哥”气息，中纪委、国家监察委对熊雪的通报中，称其拉帮结派，与不法商人勾肩搭背、沆瀣一气

对上述内容我们可以这样理解：如果模型的参数占用了 X 的空间，那么梯度也会占用大约相同的空间。然后，像 AdamW 这样的优化器需要更多的空间，因为它们就像一个记录员，跟踪最近的更新历史，以便更好地决定未来的优化。

batch_size=1，由于 GRPO 为每个查询生成多个响应，batch size 会迅速失控。gradient_accumulation_steps=4，优化器是另一个占用大量 VRAM 的地方。此参数决定了我们将存储的梯度以帮助优化器进行其「爬山」过程。num_completions=4，DeepSeekMath 论文中使用了 64。这完全超出了有些人的计算预算。max_prompt_length=256，如果你想训练模型拥有更大上下文的推理能力，将不得不增加 VRAM。GSM8K 的提示相对较小，适合此测试。max_completion_length=786，同样，由于计算注意力的内存有限，推理链在这里受到限制。上下文或生成的 token 越多，需要的内存就越大。LoRA target_modules=["q_proj", "k_proj", "o_proj", "up_proj", "down_proj"] 在这方面可以尝试几种不同的迭代。target_modules="all-linear" 是一种流行的方式，可以从你的 LoRA 中挤出最多的性能（就准确性而言）。 更多推荐：9l传媒制片厂董小宛

来源：胡涛