腾讯HunYuan-NLP-1T

作者:

2023-05-08 14:01:04

上线时间

2022年4月,腾讯首次对外披露HunYuan研发进展。


概述

基于腾讯强大的底层算力和低成本高速网络基础设施,HunYuan依托腾讯领先的太极机器学习平台,推出了HunYuan-NLP1T大模型并登顶国内最权威的自然语言理解任务榜单CLUE。

该模型作为业界首个可在工业界海量业务场景直接落地应用的万亿NLP大模型,先后在热启动和课程学习、MoE路由算法、模型结构、训练加速等方面研究优化,大幅降低了万亿大模型的训练成本。

HunYuan协同了腾讯预训练研发力量,旨在打造业界领先的AI预训练大模型和解决方案,以统一的平台,实现技术复用和业务降本,支持更多的场景和应用。当前HunYuan完整覆盖NLP大模型、CV大模型、多模态大模型、文生图大模型及众多行业/领域任务模型。

HunYuan先后支持了包括微信、QQ、游戏、腾讯广告、腾讯云等众多产品和业务,通过NLP、CV、跨模态等AI大模型,不仅为业务创造了增量价值而且降低了使用成本。特别是其在广告内容理解、行业特征挖掘、文案创意生成等方面的应用,在为腾讯广告带来大幅GMV提升的同时,也初步验证了大模型的商业化潜力。




发展历程

2022年4月,腾讯首次对外披露HunYuan研发进展。HunYuan集CV(计算机视觉)、NLP(自然语言理解)、多模态理解能力于一体,先后在MSR-VTT,MSVD等五大权威数据集榜单中登顶,实现跨模态领域的大满贯。

2022年5月,更是CLUE(中文语言理解评测集合)三个榜单同时登顶,一举打破三项纪录。

2022年12月,HunYuan又迎来全新进展,推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单CLUE。


免责声明:以上文本及图片均来自于互联网,非我方所撰写或拍摄,若涉嫌侵权情况,请您联系客服并提供相关证据,我们将立即予以删除。