#
什么是GAIA？

GAIA 是一个用于评估AI助手在需要核心能力组合的真实世界任务上的表现的基准，这些核心能力包括推理、多模态理解、网页浏览和熟练的工具使用。

此论文介绍了GAIA ”GAIA: A Benchmark for General AI Assistants”。

该基准包含466个精心策划的问题，这些问题对人类来说在概念上简单，但对当前的AI系统来说却极具挑战性。

为了说明差距：

- 人类：约92%的成功率
- 带有插件的GPT-4：约15%
- 深度研究（OpenAI）：在验证集上的得分为67.36%

GAIA突出了AI模型的当前局限性，并提供了一个严格的基准来评估向真正通用AI助手发展的进展。

##
🌱 GAIA的核心原则

GAIA围绕以下支柱精心设计：

- 🔍 现实世界的难度：任务需要多步骤推理、多模态理解和工具交互。
- 🧾 人类可解释性：尽管对AI来说很难，但每个任务在概念上对人类来说仍然简单易懂。
- 🛡️ 不可游戏化：正确答案需要完整的任务执行，使得蛮力破解无效。
- 🧰 评估的简单性：答案简洁、事实性强且明确———作为一个理想的基准测试。

##
难度等级

GAIA任务被组织为三个递增复杂度的等级，每个等级测试特定技能：

- 一级：需要少于5个步骤和最少的工具使用。
- 二级：涉及更复杂的推理和多个工具之间的协调以及5-10个步骤。
- 三级：需要长期规划和各种工具的高级集成。

##
困难GAIA等级（Hard GAIA）的问题示例

> 在2008年画作“乌兹别克斯坦的刺绣”中展示的水果中，哪些曾在1949年10月的早餐菜单中被提供，作为后来用于电影《最后航程》的远洋班轮的一部分？请将这些水果以逗号分隔的列表形式给出，按照它们在画作中从12点位置开始的顺时针排列顺序，并使用每种水果的复数形式。

正如您所见，这个问题在几个方面对AI系统提出了挑战：

- 需要一个结构化的响应格式
- 涉及多模态推理（例如，分析图像）
- 需要多跳检索相互依赖的事实：
  - 识别画作中的水果
  - 发现哪个远洋班轮用于最后航程
  - 查找该船1949年10月的早餐菜单
- 需要正确的排序和高级规划以按正确顺序解决

这种任务突出了单独的LLM往往不足的地方，使GAIA成为基于智能体的系统的理想基准，这些系统可以在多个步骤和模态上进行推理、检索和执行。

##
实时评估

为了鼓励持续的基准测试，GAIA在Hugging Face上提供了一个公共排行榜，您可以在其中测试您的模型对300个测试问题的表现。

👉 在这里查看排行榜

想深入了解GAIA？

- 📄 阅读完整论文
- 📄 OpenAI的深度研究发布文章
- 📄 开源DeepResearch – 释放我们的搜索智能体

Update on GitHub