2023-11-06 16:28 | 来源:亿邦动力 | | [电商] 字号变大| 字号变小
?元象同时提供模型训练、推理、部署、精调等全方位技术服务，赋能文娱、金融、医疗等各行各业，帮助在智能客服、创意写作、精准推荐等多场景打造行业领先的用户体验...
【亿邦原创】11月6日，元象XVERSE公司宣布开源650亿参数高性能通用大模型XVERSE-65B，无条件免费商用，业界尚属首次。XVERSE-13B模型全面升级，提高“小”模型能力上限。这将让海量中小企业、研究者和AI开发者更早一步实现“大模型自由”，根据其算力、资源限制和具体任务需求，自由使用、修改或蒸馏元象大模型，推动研究与应用的突破创新。
元象XVERSE创始人姚星表示：“面对研发时间紧、算力持续短缺等挑战，团队依靠丰富经验，三个月内研发出多款高性能7B、13B模型，并最早为社区献上一个‘大有可为’的65B模型，为研究、商业及生态创造三重价值。”
XVERSE-65B底座模型在2.6万亿Tokens的高质量数据上从头训练，上下文窗口扩展至16K，支持中、英、俄、法等40多种语言。
65B模型的性能主要表现在三方面：
一、理解、生成、推理和记忆等基础能力，到模型的多样性、创造性和精度表现，从优异到强大;
二、扩展了工具调用、代码解释、反思修正等能力，为构建智能体(AI Agent)奠定技术基础，提高模型实用性;
三、显著缓解7B、13B中常见且可能很严重的幻觉问题，减少大模型“胡说八道”，提高准确性和专业度。
元象大模型系列均为全链条自研，涵盖多项关键技术与研发创新。
复杂分布式系统设计：
借鉴团队研发腾讯围棋AI“绝艺”、王者荣耀AI“绝悟”等大系统上的丰富经验，自研高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台与框架协同等关键技术，打造高效稳定的训练系统，千卡集群峰值算力利用率达58.5%，位居业界前列。
全面提升性能：
65B训练中采用FlashAttention2加速计算，3D并行基础上采用虚拟流水线(virtual pipeline)技术，降低较长流水线产生过高气泡率，提升计算推理效率;上下文窗口长度从8K逐步提升到16K，使其不仅能出色完成复杂任务，包括长文理解、长文生成和超长对话，还拓展了工具调用、代码解释及反思修正能力，能更好构建智能体(AI Agent)。
极致提升训练稳定性：
因计算量庞大，通信拥塞、芯片过热或计算节点故障成为65B训练常态，初期出现过一周最高八次故障的情况。通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化，元象打造出高稳定、低中断、强容错的训练系统，将每周有效训练率提升至98.6%。
目前，元象大模型可在Github、Hugging Face、魔搭ModelScope等多平台搜索“XVERSE”下载，简单登记后即可无条件免费商用，能满足中小企业、科研机构和个人开发者绝大部分的应用与迭代需求。
元象同时提供模型训练、推理、部署、精调等全方位技术服务，赋能文娱、金融、医疗等各行各业，帮助在智能客服、创意写作、精准推荐等多场景打造行业领先的用户体验。
2023年10月，腾讯音乐率先宣布与元象大模型建立战略合作，共同推出lyraXVERSE加速大模型、全面升级其音乐助手“AI小琴”，未来还将持续探索AI与3D前沿技术，引领音乐娱乐创新方向。
姚星表示：“真实世界的感知智能(3D)，与真实世界的认知智能(AI)，是探索通用人工智能(AGI)的必由之路，也是元象持续探索前沿科技的动力。XVERSE开源系列致力于推动大模型国产可替代与持续技术创新，为实体经济、数字经济发展注入强劲动力。我们期待与企业和开发者携手，共同开启大模型应用新时代!”
《电鳗快报》
热门
手机版
相关新闻