研究:谷歌Gemini表现不如GPT-3.5Turbo
币界网报道:据站长之家 12 月 20 日报道,在近期的一项研究中,来自卡内基梅隆大学和 BerriAI 的研究团队对 Google Gemini Pro 进行了深入的评估,并发现其在多项任务中表现不如 OpenAI 的 GPT-3.5 Turbo。研究团队在 LiteLLM 平台上测试了四个不同的 LLM:Google Gemini Pro、OpenAI GPT-3.5 Turbo、GPT-4 Turbo 和法国初创公司 Mistral 最新推出的 Mixtral 8x7B。测试内容涵盖了 STEM、人文和社会科学领域的 57 个多项选择问题,以及一些与通用推理、数学和编程相关的任务。研究结果显示,在多项选择问题的测试中,Gemini Pro 的准确性低于 GPT-3.5 Turbo 和 GPT-4 Turbo。Gemini Pro 在人类性、形式逻辑、初等数学和专业医学等领域的表现较差,其中一部分原因是 Gemini 在某些问题上拒绝回答,声称由于安全和内容限制无法遵循。但在安全和高中微观经济学等领域,Gemini Pro 的表现略优于 GPT-3.5 Turbo,但进步有限。
推荐专栏
热门币种
更多
币种
美元价格
24H涨跌幅
热搜币种
更多
币种
美元价格
24H涨跌幅
最新快讯
更多
2024-05-19 13:52:14
2024-05-19 13:52:14
2024-05-19 13:40:09
2024-05-19 13:38:12
2024-05-19 13:36:30
2024-05-19 13:32:43
2024-05-19 13:31:35