LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” ...

pip换源和安装依赖包 # 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install modelscope transformers sentencepiece ...

DeepSeek MoE目前推出的版本参数量为160亿，实际激活参数量大约是28亿。与自家的7B密集模型相比，二者在19个数据集上的表现各有胜负，但整体比较接近。而与同为密集模型的Llama 2-7B相比，DeepSeek MoE在数学、代码等方面还体现出来明显的优势。但两种密集模型的 ...

虽然目前还不如顶尖的 Claude3.5 Haiku 等，但考虑到它是一目十行的效率，能保持这个生成质量已经是非常哇塞了。 我们也在官方放出的 Mercury Coder Playground ...

如果A是注意力分数矩阵，添加一个相对位置偏差矩阵B： 下面是一个在PyTorch中实现相对位置嵌入的简单代码，该实现与Transformer-XL的实现方式相近。 import torch import torch.nn as nn class RelativePositionalEmbedding(nn.Module): def __init__(self, max_len, d_model): ...

如此高效且达到商业级的新型语言模型自然吸引了不少关注，著名 AI 研究科学家 Andrej Karpathy 发帖阐述了这项成果的意义。他表示，不同传统的自回归 LLM（即从左到右预测 token），扩散模型是一次性向所有方向进行预测 —— 从噪声开始，逐渐去噪成 token ...

在人工智能领域，混合专家架构（MoE）与Transformer架构的融合正在成为推动大模型发展的新趋势。文章深入剖析了MoE架构的核心理念、优势以及与Transformer架构的融合方式，探讨了这种融合如何提升模型的计算效率、扩展性和适应性，供大家参考。 DeepSeek 采用的创新混合专家架构（MoE，Mixture of Experts）是其技术核心，也为大模型的发展带来了全新的思路和方向。那 ...

LLM 在生成 long CoT 方面展现出惊人的 ... 为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 transformer 的部分层中引入更高效 ...

DeepSeek引入了Multi-Head Latent Attention（MLA），一种配置了低秩键值联合压缩（low-rank key-value joint ...

AI创投周报是阿尔法公社推出的聚焦于以生成式AI为代表的人工智能新浪潮的创投资讯周报。阿尔法公社发现和投资非凡创业者（Alpha Founders），相信非凡创业者们在技术、商业和社会方面的巨大推动力，他们指引着创投生态的风向。

随着AI技术的飞速发展，大模型如ChatGPT等已成为人工智能领域的热门话题。然而，这些看似“灵性”的创造行为背后，实则隐藏着精密的机械逻辑和技术架构。本文将深入解析AI大模型背后的秘密，从Chat的含义、LLM（大型语言模型）的定义、Token的计 ...