2023人工智能大模型测评报告3.0.docx

《2023人工智能大模型测评报告3.0.docx》由会员分享，可在线阅读，更多相关《2023人工智能大模型测评报告3.0.docx（44页珍藏版）》请在优知文库上搜索。

1、sOmsg三剃蟹4褪即 HY报告回顾：大模型产品市场竞争激烈，技术不断进步三次测评概览从1.0版本到3.0版本的测评过程中，参与厂商的分数变化反映了大模型产品竞争的激烈和技术的进步。可以明显观察到一些厂商在持续进步，而一些新的厂商也在逐渐崭露头角。在LO版本中（5月测评），ChatGPT系列占据领先位置，其中ChatGPT4表现最佳，紧随其后的是ChatGPT3.5。百度文心一言位于整体第三位置，展现出了较强的实力。这一阶段的科大讯飞星火和阿里通义干问也进入了整体前五，国内前三，表现不俗。到了2.0版本（8月测评），专注于国内市场，科大讯飞星火实现了跨越式发展，整体表现亮眼（I百度文心一言、商

2、汤商量与智谱CHATGLM也取得优异的成绩。同时，360智脑和昆仑万维天工也进入了前五。这些变化展示了厂商之间的激烈竞争和技术进步的速度.到了3.0版本（11月测评），科大讯飞星火依旧保持领先，商汤商量紧随其后，稳定发挥。值得一提的是，澜舟科技孟子取得了显著进步，字节削励豆包作为新面孔，在这次评估中崭露头角。纵观这三个版本的发展，可以看出一些规律。首先是竞争日益激烈，厂商之间的得分变动频繁，这体现了大模型产品市场的活跃和竞争激烈程度。其次，技术进步明显，从1.0到3.0版本，各个厂商的产品在性能和功能上都有显著提升.最后，新面孔的涌现也展示了这个行业的活力和吸引力，新的厂商不断加入竞争，推动了

3、大模型产品的发展。I录任*大模型产品测评综述大模型产品现状与进程3.0版本大模里测评规则大模型厂商整体测评3.0版本大模型综合指数30版本测评细分维度指数及评述测评题目展示厂商最佳实践案例厂商优秀案例展示男暇比其鸣比知整长I0迭代风潮之下，大模型产品如何迅速适应并引领市场变革1.大模型更新迭代速度日新月异，OPenAl2022年11月发布了GPT3.5,2022年3月就发布了GPT4,参数规模成倍增长，2023年6月百度发布了文心一言3.5,仅仅4个月之后百度又发布了文心一言4.0,基础模型全面升级，其他厂商的产品也在不断升级迭代，大模型的发展速度可谓日新月异。2.虽然大模型的性能不断提升，但

4、是大模型在快速发展的同时也面临着一些问题-不稳定：在GPT4上线初期，有大量用户反馈大模型的回答质量有所下降，尤其在程序生成方面，GPT4生成的代码时常出现错误。OPenAl开发者推广大使LOganKiIPatriCk也坦言，由于大模型本身存在不稳定性，因此对于相通的提示词，大模型存在回答前后不一致的情况。幻觉：大模型仍然具有一定局限性，不是完全可靠的，会出现幻觉事实并犯推理错误。安全：安全是重中之重。在模型训练、模型线上推理三务、模型安全测试、模型训练过程对齐、模型生成内容等方面的安全合规能力需要持续加强。3.市场需求也在发生变化，ChatGPT上线之初更多的人还是把它当成对话工具，但是不久

5、ChatGPT的功能就得到深度挖掘，如今各个领域的内容创作，以及和行业细分领域深度结合的应用越来越多，市场对于大模型的需求也随着用户所在行业的变化而不断发生变化。历时半年，大模型测评体系再次升级，助力持续发展之路从历史视角观察，测评1.0与2.0阶段代表着大模型产品的初期评测阶段，主要基于小规模问题集进行评测。这种评测方式在初期对于了解大模型产品的基本性能具有一定的价值。然而，随着时间的推移和技术的进步，课题组发现在经过这两次测评后，众多厂商开始根据测评题目进行定向优化。通过针对测评数据集特定调整，以获取相对较好的排名。此次推出的大模型评测，其核心目标是获取客观、真实的产品结果，并希望通过评测

6、向客户反馈产品真实体验状况，并推动产品的实际进步。针对目前市场上出现的问题，研究团队认为，亟须对评测方式进行优化，确保评测能够全面反馈产品现状。为确保评测能够全面反馈产品现状，课题组实施了以下策略来调整和优化评测体系：评估维度立体化多维度全面考察，立体展现模型性能, 避免单一指标偏颇。从数据准确性、 模型稳定性、到算法效率，全方位、 多角度深入评估，实现真实且全面的 性能展现。主观评价融合客观结果既注重客观数据衡量的精准性，又兼 顾用户主观感受的真实性，以用户为 中心，让产品的优质体验真正落地， 助推质量提升。指标随市场情况动态变动随着市场环境的变迁和技术进步，及 时对评估指标进行更新与调整，

7、确保 评估体系始终保持与市场需求的紧密 关联。本次评测规则（7/2）基于优化策略，新华社研究院中国企业发展研究中心正式推出全新的大模型评测3,0版本。此次升级在多方面都呈现出显著的提升和改进：1.增加了厂商技术维度和潜力评估。在评测过程中，不仅考虑模型产品的实际表现，还深入评估厂商的技术实力和未来发展潜力。用三维视角更全面的观察厂商，体现出厂商在技术和市场方面的综合实力。2.分数评估更加客观：本次测评使用机器自动化流程进行第一轮打分，再辅以专家团队进行复核，避免了一些主观因素。3.题库数量扩充。在3.0版本中，题库扩充到了100O道，并精选其中的400道进行实际问答测试。大大提升了评测的广度和

8、深度，能更准确地反映模型在不同场景和问题下的实际表现。4.3.0版本在总分计算方式上也做了调整。之前版本的总分经过加权处理，而3.0版本取消了加权，直接展示真实得分。使得评测结果更为直观，也更能真实反映模型的性能。5.专家团再次进行了升级。新的专家团队在经验和专业度上都有了提升，专业判断和建议将为评测提供更坚实的支撑。本次评测规则（8/2）具体题目打分规则细分维度包括基础能力、智商、情商以及工具提效四个部分一级指标二is指标三级指标易用性平台性能灵活性JZi技术实力安全性能数据安全稳定性模型可解释性透明性、稳定性实时性能数据实时性社会认可度用户接受度创新能力新应用场景发展潜力企业商业模型市场前

9、景企业战略目标技术团队能力分数开放型问题封闭式问题5分问题答案较为完美，内容可在 实际场景中直接使用答案正确且有相关 解读4分基本可用，可在实际场景中使 用答案正确3分调整可用，但需人工进行调整 后方可使用答案错误，但有推 理过程2分大略可用，需要较多人工调整 方可使用-1分不可用，答非所问、语言不通-。分无法作答答案错误，没有推 理过程评测大模型产品技术&潜力评估指标8注：本次测评时间为2023年10月25日-2023年11月6日主流大模型综合指数3.0云你长出发展潜力注：纵坐标代表技术能力，分数越高技术实力越强；横坐标代表发展潜力，分数越高代表潜力越大；横纵坐标位置以圆心为准。气泡图大小（

10、图中数字）为测试题目实际得分，但基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果。主流大模型综合指数3.0解析整体而言，大模型厂商在技术实力上呈现出百家争鸣态势.不同厂商在产品特点和优势上各有干秋.一些厂商在安全性能上趣出色，通过加强模型的鲁棒性和数据保护措施，为用户提供更可靠.更放心的服务。另一些厂商则在易用性上下功夫，致力于降低用户的学习曲线，使产品更贴近用户需求，提升用户体验。技术实力方面：在当下的大模型技术领域，厂商之间的技术博弈尤为激烈.每个厂商都努力在模型的算法、架构、性能等各方面寻求突破。在本次评估中，科大讯飞依赖

11、其在语音技术领域的长期积累，为大模型注入了丰富的语音交互能力.商汤则发挥其在计算机视觉领域的专长，使得其大模型在图像处理和识别上具备卓越性能.智iSAI的技术能力也不容小觑，其开源的GLM-130B和ChatGLM-6B等模型，在行业内赢得了广泛认可，不仅具备很强的语言理解和生成能力，还能有效地处理多轮对话和复杂任务.发展潜力方面：发展潜力是决定一个厂商能否持续领跑的关键因素。虽然字节跳动起步相对较晚，但其产品的用户黏性和活跃度都证明了其有着巨大的成长潜力.此外，澜舟科技虽然在市场上的声量相对较小，但其专业性和针对性都为其在未来的细分市场中赢得了有利地位.实际测评结果方面：本次的实际测评结果是

12、对各大厂商技术实力和市场策略的一次检验。科大讯飞再次表现亮眼，这再次证明了科大讯飞在大模型技术领域积淀深厚。商场和智借Al紧随其后，本次得分结果不仅仅是对其技术能力的认可，更是对其在大模型领域持续创新和努力的反映。3.0版本主流大模型产品测试表现200018001600140012001000800400200600科大讯-星火商汤一商量智谱Al-ChatGLM澜舟科技-孟子360-360智脑字节跳动-豆包阿里-通义千问腾讯-混元昆仑万维-天工中科闻歌-雅意J./13”上3303AU3/33IZUO/8*+3X472H3O464“OO43HOX4474hU4LJ“on3D41340/427H/

13、U419IIIIIIIIIIIIIIIIIIIlllHllIIIIII总计基础能力智商情商工具提效总讦基础能力智商情商工具提效基础能力指数及述评基础能力描述Al大模型基础能力指数在基础能力部分，科大讯飞星火表现最为抢眼，能够准确地理解指令，并且能够生成图像；字节跳动豆包同样能较为准确地理解指令并且完成部分生产图像的指令；智谱AlCHATGLM和澜舟科技孟子都能较为准确地理解指令，表现优良；360智脑、商汤商量和腾讯混元存在对于部分事实无法进行校准的问题，部分过程并未展示，导致无法判断错误回答底层逻辑；昆仑万维天工、阿里通义千问和中科闻歌雅意对于部分题目无法进行回答，且理解不够准确，有待提升推理

14、逻辑等能力。基础能力相关问题假如我是一个5岁的儿童，请向我解释为什么星星会发光。科大讯飞-星火好的，小朋友.你知道夜晚的时候，我们点蜡烛，蜡烛会发出亮光吗？星星其实就像是天空的小蜡烛.它们里面有一种特别的一东西在烧，当它烧的时候，就会发出亮亮的光.所以每当夜晚，我们看上去，就可以看到许多亮亮的星星在天空中闪烁啦！字节用励一豆包你知道太阳吗？太阳是一个非常大非常热的球，它会发出非常明亮的光.星星和太阳有点像，它们也是由气体口尘埃组成的球，但是星星比太阳小很多很多.虽然星星比太阳小，但是它们也会发出光.这是因为星星里面有很多很多的原子，这些原子在不断地运动和碰撞,产生了能量。这些能量会让星星发出光来,就像灯泡里面的灯丝一样.