研究:谷歌 Gemini 表现不如 GPT-3.5 Turbo
来源: 巴比特2023-12-20
据站长之家 12 月 20 日报道,在近期的一项研究中,来自卡内基梅隆大学和 BerriAI 的研究团队对 Google Gemini Pro 进行了深入的评估,并发现其在多项任务中表现不如 OpenAI 的 GPT-3.5 Turbo。 研究团队在 LiteLLM 平台上测试了四个不同的 LLM:Google Gemini Pro、OpenAI GPT-3.5 Turbo、GPT-4 Turbo 和法国初创公司 Mistral 最新推出的 Mixtral 8x7B。测试内容涵盖了 STEM、人文和社会科学领域的 57 个多项选择问题,以及一些与通用推理、数学和编程相关的任务。 研究结果显示,在多项选择问题的测试中,Gemini Pro 的准确性低于 GPT-3.5 Turbo 和 GPT-4 Turbo。Gemini Pro 在人类性、形式逻辑、初等数学和专业医学等领域的表现较差,其中一部分原因是 Gemini 在某些问题上拒绝回答,声称由于安全和内容限制无法遵循。但在安全和高中微观经济学等领域,Gemini Pro 的表现略优于 GPT-3.5 Turbo,但进步有限。
热门新闻
- 1下周必关注|BounceBit将上线主网并空投代币;LayerZero将公布官方女巫检查结果(5.13-5.19)
- 2BounceBit主网已上线,推出节点质押和委托等多项新功能
- 3以太坊近期事件解析:香港加密ETF影响、美国ETH ETF前景、ETH是否会被认定为证券?
- 4特朗普“蹭”上加密圈:买4653美元NFT即可参与晚宴 相关MEME币飞涨
- 5Bitget研究院:加密市场全线反弹,Blast 6月26日确定空投
- 6全览FHE赛道:25个值得关注的项目
- 7特朗普和拜登,打响“加密大选”之战
- 8链游周报 | MATR1X阿波罗计划即将上线;超90%游戏代币下跌(5.6-5.12)
- 9特朗普代币MAGA正在狂飙!懂王竞选的新筹码:新兴的加密支持者!
交易平台最新公告查看更多>