一个普通用户拉尔斯·维克（Lars Wiik）测试了GPT-4o的英文阅读能力。
测试的方法是：准备了200个英文句子，需要根据语义，对其归类。
（测试的原始数据，可在英文原文里可以找到。）
有些模型会对公开的测试材料进行部分训练，所以会导致答案不客观。
而作者用自己的私有材料，进行测试，答案会相对客观。
原贴地址： https://medium.com/@lars.chr.wiik/gpt-4o-vs-gpt-4-vs-gemini-1-5-performance-analysis-6bd207a2c580
unsetunset评测材料说明unsetunset
这份测试材料，由 200 个句子组成，分为 50 个主题，其中一些句子密切相关，旨在使分类任务变得更加困难。
所有的内容，都是拉尔斯·维克手动创建、标记的。
unsetunset评测的模型unsetunset
主要测评了openai的GPT-4产品和谷歌的2款产品（Gemini和Palm 2）
Gemini和Palm 2都是谷歌出品的AI产品。
Gemini侧重多模态（可以处理图片、文件、音视频等），
Palm 2更侧重于文本和编程
详细模型：
GPT-4o: gpt-4o-2024–05–13 GPT-4：gpt-4–0613 GPT-4-Turbo: gpt-4-turbo-2024–04–09 Gemini 1.5 Pro: gemini-1.5-pro-preview-0409 Gemini 1.0: gemini-1.0-pro-002 Palm 2 Unicorn: text-unicorn@001
unsetunset评测的结果unsetunset
表现最好的工具是：GPT-4o， 只出现了2个错误。
表现最差的是Gemini-1.0， 出现了12个错误。
说明：错误率越低，说明模型表现的效果越好。
unsetunset小结unsetunset
本文作者对ChatGPT和谷歌的6个模型的文本做了独立的个人测试，测试方向是：文本理解能力。
最后的结果是：在英文文本理解方面，openai最新发布的GPT-4o效果最好。
这和官方公布的测评结果一致。
（下图为openai官方公布的测评结果）
忍不住吐槽一下谷歌的Gemini
一个不喜欢Gemini的原因：经常会出现拒绝回答的情况。
前面聊的好好的，突然整这么一出。 很让人不舒服。
本文链接：https://zkka.vip/ChatGPT/49.html
chatgpt4.0苹果手机版怎么下载微软发布chatgpt解读下载chatgpt英文下载手机版手机版chatgpt4下载使用流程如何下载chatgpt苹果版中文版电脑端如何下载中文版chatgpt下载chatgpt绘图免费中文版美国下载的chatgpt有中文版吗电脑如何下载安装chatgptchatgpt怎么下载电脑版
网友评论