在预训练阶段，OLMo 2通过多种技术改进了训练稳定性，例如过滤重复的n-gram、使用更好的初始化方法、架构改进和超参数调整。这确保了模型在训练过程中不会出现崩溃或损失激增，从而提高了最终模型的性能。

DeepMind发布了一项名为Mind ...

在日前的达沃斯 “技术辩论” 会上，Meta 的首席 AI 科学家 Yann LeCun 对未来五年的人工智能发展做出了激动人心的预测。他认为，现有的人工智能系统将在未来3到5年内面临巨大的变革，将出现一种 “新的 AI 架构范式”，超越当今普遍使用的生成式 AI 和大型语言模型（LLM）的能力。

AI 智能体目前是科技领域的热门话题。从 Google DeepMind、OpenAI 到 Anthropic，各大顶尖公司正竞相为 LLM 赋予自主完成任务的能力。这类系统在行业内被称为 Agentic AI（代理式人工智能），是硅谷新的热议焦点。从英伟达到 Salesforce，各家公司都在探讨如何利用这项技术颠覆行业格局。

总体来看，FlashInfer不仅是高效Attention引擎的代表，更是当前LLM推理领域的一次革命性进步。未来，该技术的广泛应用有望推动更为复杂但高效的AI模型的实现，进而为各类自然语言处理任务（如对话系统、文本生成和信息检索等）注入新的活力与可能性。正如陈天奇团队所言，FlashInfer的发布不仅仅是一次学术成果，更是对未来AI技术进步的展望。借助这些创新，我们期待在各行各业的AI应用中， ...

Prefill阶段拿到最开始的Prompt，填充kv cache；Decode阶段则是一个query计算出一个输出；存在多轮对话或者使用投机推理（Speculative Decoding）时，又可以有多个query向量并行计算。

「亲爱的粉丝朋友们好啊！今天熊猫又来介绍好玩有趣的Docker项目了，喜欢的记得点个关注哦！」 ...

遗传算法是一种受自然选择启发的元启发式算法。在遗传算法中，候选解种群会朝着包含更多高质量个体的种群方向演化，这里的质量是相对于目标优化目标而言的。这个目标通常也被称为「适应度」函数。每个候选个体都有一个可以突变并与其他个体重组的遗传表示。

随着人工智能技术的不断发展，终身学习成为了构建智能系统的关键方向之一。终身学习，又称持续学习或增量学习，是指智能体在动态环境中持续适应的能力。这一概念在大规模语言模型（LLM）智能体的发展中尤为重要，因为目前的LLM往往是为静态任务设计的，缺乏应对新 ...

随着人工智能技术的迅猛发展，自然语言处理（NLP）领域正迎来前所未有的机遇。近日，Apple中国宣布正在招聘NLP和大模型方向的算法实习生，旨在加强其在大型语言模型（LLM）应用和后端系统开发方面的能力。这一招聘消息不仅引发了在校学生和求职者的广泛关 ...

在大模型（Large Language Model，LLM）快速发展的今天，模型的训练和推理成本日益成为研究和应用的关注焦点。最近，腾讯混元团队发布了一项重要研究，深入探讨了低比特浮点量化训练的 “Scaling Laws”，即浮点数量化训练的规模法则。此项研究的核心在于通过降低模型的精度，探索如何在不损失性能的情况下，显著降低计算和存储成本。

1 月 14 日消息，纽约大学的一项研究揭示了大型语言模型（LLM）在医学信息训练中的潜在风险。研究表明， 即使训练数据中仅含有 0.001% 的错误信息，也可能导致模型输出不准确的医学答案 。