港科大助理教授何俊贤的团队(共同一作黄裕振、Weihao Zeng),只用了8K个样本,就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。
自 DeepSeek-R1 发布以来,其出色的推理能力和相对低廉的训练成本在业界引发强烈反响。它让人们意识到,高性能 AI 模型的开发,也许不必依赖于昂贵的算力和海量的数据。R1 不仅在性能上接近 OpenAI 的 ...
经过进一步调查,研究者发现,Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码,这可能源于模型原始训练数据的分布特征。输出长度的首次下降,是因为强化学习训练逐渐消除了这种代码生成模式,转而学会使用自然语言进行推理。
分析认为,大模型比拼的不再是动辄千万亿美元的算力战,OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解,英伟达的股价将开始动摇。从此,大模型时代很可能会进入一个分水岭:超强性能的模型不再独属于算力巨头,而是属于每个人。
硅谷正经历由中国公司引发的重大变革。全美都在担忧全球人工智能的中心是否已经转向中国。此时,全球范围内掀起了复现DeepSeek模型的热潮。正如LeCun所说:“这是开源对闭源的一次胜利。”这些讨论引发了人们对数百亿美元支出必要性的质疑,甚至有人预测中 ...
本文来自微信公众号:新智元,作者:新智元,原文标题:《全球掀起DeepSeek复现狂潮,硅谷巨头神话崩塌,30刀见证啊哈时刻》,题图来自:视觉中国 诚如LeCun所言:“这一次,正是开源对闭源的胜利!” ...
【新智元导读】就在刚刚,网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现,只用强化学习,没有监督微调,30美元就能见证「啊哈时刻」!全球AI大模型,或许正在进入下一分水岭。