[我要投稿] [用户注册] [用户登录] [退出]

您现在的位置:返回首页

马斯克突发Grok15!上下文长度至128k推理能力大幅提升

发布时间: 2024-03-31 09:08 文章来源: 互联网 作者:

  腾讯科技讯 3月29日消息,“硅谷钢铁侠”埃隆·马斯克(Elon Musk)旗下的人工智能初创公司xAI宣布正式推出Grok-1.5,该模型能够进行长语境理解和高级推理,将于近日向X平台Grok用户和早期测试者开放。

  通过在两周前公布Grok-1的模型权重和网络架构,xAI展示了该公司截至去年11月取得的进展。此后,xAI在最新模型Grok-1.5中提高了推理和解决问题的能力。

  Grok-1.5最显着的改进之一是它在编码和数学相关任务中的性能。在xAI的测试中,Grok-1.5在数学基准测试中获得了50.6%的分数,在GSM8K基准测试中获得了90%的分数,这两项数学基准测试涵盖了从小学到高中的各种竞赛试题。此外,它在评估代码生成和问题解决能力的HumanEval基准测试中获得了74.1%的分数。

  Grok-1.5能够在其上下文窗口中处理多达128K Token的长上下文,这是它的一个新特征。这让Grok能够具有高达之前16倍的上下文处理长度,从而能够利用更长文档中的信息。

  此外,该模型可以处理更长、更复杂的提示,在上下文窗口扩大的情况下仍保持其遵循指令的能力。在大海捞针(NIAH)评估中,Grok-1.5展示了强大的检索功能,可以在长度达128K的上下文中检索嵌入的文本,获得完美的检索结果。

  在大规模GPU集群上运行的尖端大型语言模型研究需要强大而灵活的基础架构。Grok-1.5建立在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。这个训练堆栈让xAI的团队能够以最少的努力构建原型并大规模训练新架构。xAI的定制训练编排器可确保自动检测出有问题的节点,并把它从培训任务中剔除。

  Grok-1.5将很快向早期测试人员开放,xAI也期待收到反馈帮助其改进Grok。随着xAI逐渐向更广泛的受众提供Grok-1.5,该公司还将在未来几天为Grok-1.5推出若干项新功能。(编译/无忌)

本文标签:

更多相关资讯

推荐内容

MORE