清华发布大模型排名:GPT-4第一,百度更懂中文

2023-08-10 12:18:27 来源:面包芯语


(相关资料图)

8 月 10 日消息,近日,清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》(下文简称“报告”),将国内外的大模型做了一番对比。

报告显示总得分率 GPT-4 第一,百度文心一言在三大维度 20 项指标中综合评分国内第一,超越 ChatGPT,其中中文语义理解排名第一,部分中文能力超越 GPT-4。

图片来源:pixabay

从生成质量、使用与性能、安全与合规三个维度,对目前市场上的7个大型语言模型进行了全面的综合评估。

在这7款大模型中,GPT-4获得了毫无悬念的第一,第二名是百度的文心一言,其次是GPT-3.5,后面就是Claude、讯飞星火、阿里云的通义千问及昆仑的天工。

在生成质量方面,基于对语义理解、输出表达、适应泛化的综合评测,文心一言得分率 76.98%,仅次于 GPT-4,领先于包括 ChatGPT 在内的其他大语言模型。其中,在部分中文语义理解方面,文心一言以 92% 的得分率排名榜首,超越讯飞星火、GPT-4。

综合来看,文心一言语义理解能力突出,特别是具备更好的中文理解能力,更懂中国文化,同时时效性强、内容安全把握细微,这源于其知识增强、检索增强和对话增强的技术创新。这跟百度的大模型包含大量中文文本有关系,因此能够更好地处理本土文化相关的内容。

报名提醒:

标签:

上一篇:西四环再现硬核新房 户型89-127平3-4居
下一篇:最后一页