MoonshotAI与KimiChat携手，探索通用人工智能新境界

70 0 0

文章主题：Moonshot AI, 大模型服务, Kimi Chat, 内测

Moonshot AI大模型服务Kimi Chat开始内测，火山引擎为其保驾护航

2023-10-10 17:38:39 作者：姚立伟

10月9日,北京月之暗面科技有限公司(Moonshot AI)宣布在“长文本”领域实现了突破,推出了首个支持输入20万汉字的智能助手产品Kimi Chat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度,标志着Moonshot AI在这一重要技术上取得了世界领先水平。

火山引擎与Moonshot AI深度合作,为其独家提供高稳定性和高性价比的AI训练和推理加速解决方案,双方联合进行技术研发,共同推进大型语言模型在垂直领域和通用场景的应用落地。同时,Kimi Chat即将入驻火山引擎大模型服务平台——火山方舟,双方将持续在大模型生态领域为企业和消费者提供更丰富的AI应用。

相比当前市面上以英文为基础训练的大模型服务,Kimi Chat具备较强的多语言能力,例如,Kimi Chat在中文上具备显著优势,实际使用效果能够支持约20万汉字的上下文,2.5倍于Anthropic公司的Claude-100k(实测约8万字),8倍于OpenAI公司的GPT-4-32k(实测约2.5万字)。同时,Kimi Chat能够通过创新的网络结构和工程优化,在千亿参数下实现了无损的长程注意力机制,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。

Moonshot AI创始人杨植麟此前在接受采访时曾表示,无论是文字、语音还是视频,对海量数据的无损压缩可以实现高程度的智能。大模型的能力上限(即无损压缩比)是由单步能力和执行的步骤数共同决定的,前者与参数量相关,后者即上下文长度。

应对大语言模型落地挑战,推动行业应用落地

Moonshot AI相信,更长的上下文长度可以为大模型应用带来全新的篇章,促使大模型从 LLM时代进入Long LLM (LLLM)时代,与千行百业精准适配。大模型应用在寻找有效处理长文本场景的方法时,需要持续探索解决降低模型幻觉和提高生成内容可控性的新手段,寻求大模型能力个性化的新路线。在大型语言模型研发过程中,还需要跨越算力资源需求膨胀、任务工程稳定性差、项目成本高昂、安全与信任等诸多门槛,以提升模型的训练效率。

为了解决上述问题,Moonshot AI携手火山引擎进行AI技术创新,在火山引擎机器学习平台veMLP上进行AGI实践。Moonshot AI充分利用GPU资源池,基于大规模预训练模型,实现每天数千卡规模的常态稳定训练,六个月内训练出千亿参数规模语言大模型Kimi Chat,解锁专业场景写作、超长文本理解分析、超长记忆的个性化对话、基于大量文档的知识问答等复杂场景,并成功在多家知名企业中应用。

周昕宇，Moonshot AI的联合创始人，近期表达了该公司专注于寻找通用人工智能的潜在边界，并努力将算力转化为智能力的愿景。作为我国领先的AI基础设施和算力提供商，火山引擎将为Moonshot AI的研究提供强大的支持。在未来，双方将在AI算力基础设施和应用场景等领域深化合作，共同推动人工智能技术的发展，为广大用户提供更稳定、高效和智能的服务体验。

基于火山引擎机器学习平台,大模型训练更稳、更快

火山引擎为大模型的构建和训练提供高稳定性和高性价比的AI训练和推理加速解决方案,其机器学习平台veMLP经过抖音等海量用户业务长期打磨,沉淀形成了全栈AI开发工程优化方案、任务故障自愈、实验可观测性等解决方案和最佳实践,提供高效、稳定、安全互信的一站式AI算法开发和迭代服务,让大模型训练更快、更稳、更高性价比。Moonshot AI基于火山引擎提供的超大规模AI训练和推理加速解决方案,帮助团队快速、稳定、低成本地实现大型语言模型的持续训练迭代、精调和推理。

1.IaaS算力和存储资源的规模化调度

要构建一个高效能的计算集群,以支持大规模模型训练和微秒级延迟的网络,可以实现显著的性能提升。通过采用弹性计算技术,可以降低70%的算力成本,从而更好地应对大规模模型的训练需求。此外,使用vePFS TOS冷热分层加速方案,可以在保证高吞吐量的同时,降低整体存储成本65%,进一步优化计算集群的性能。为了提高显卡利用率,针对大模型的文件系统读写模式,我们共同研发了专用的文件缓存系统。该系统的应用可以大幅提升显卡的性能表现,进一步提高计算集群的整体效率。通过这些措施,我们可以为客户提供更加高效、可靠的计算服务,帮助他们更轻松地应对各种计算挑战。

2.PaaS计算集群稳定性保障

为提升超大型训练集群的稳定性，我们致力于提供硬件故障自动修复及自我诊断功能，使得用户任务能够快速重试并继续训练。我们的目标是在一个月的时间范围内实现稳定的训练，这得益于我们对多台机器训练任务的通信亲和性的优化，从而减少了RingAllReduce across交换机的通信量。

3.实验高可观测性

在执行多个训练任务的过程中，我们需要进行有效的实验管理。通过采用可视化的方法来比较不同的训练结果，我们可以确定最终要上线的模型。此外，我们还会利用全面的监控日志，帮助我们的业务团队对3D并行参数进行调优，从而更好地定位并解决训练过程中可能出现的故障。

4.大模型服务安全互信方案

将可信隐私计算与LLM应用相结合,提供安全沙箱功能,完善开发人员权限管控。火山引擎还与Moonshot AI一起设计适合大模型研发习惯的工作流,确保工作效率前提下,实现数据的分级访问,保证数据安全。

火山引擎智能算法负责人吴迪表示:“火山引擎一直秉持着聚焦技术、赋能伙伴、价值共生的合作态度,Moonshot AI拥有国内先进的大模型研发团队,对AI技术有着深入的理解和应用经验,双方的合作将进一步在多模型生态服务领域为企业和消费者提供更丰富的AI应用。”

MoonshotAI与KimiChat携手，探索通用人工智能新境界

火山方舟功能全景图

目前,火山引擎大模型服务平台——火山方舟上已入驻智谱AI、 Minimax、字节跳动云雀等多家AI科技公司及科研院所的大模型,Moonshot AI的大模型服务Kimi Chat也将登陆火山方舟。火山引擎将持续联合国内优秀的大模型服务商,提供模型训练、推理、评测、精调等全方位功能与服务,助力千行百业加速AI进程。欢迎各位企业在方舟中体验大模型, 火山方舟愿与大家的业务共同成长! 返回搜狐，查看更多

责任编辑：