Mobile-Agent：具有视觉感知的自主多模式移动设备代理

📋介绍

• 纯可视化解决方案，独立于 XML 和系统元数据。
• 操作范围不受限制，可进行多应用操作。
• 多种视觉感知工具，用于操作定位。
• 无需探索和培训，即插即用。

📢新闻

• [2.5] 🔥🔥我们提供免费的 API，并部署体验移动代理的整个过程，即使你没有 OpenAI API 密钥。查看快速入门。
• [2.2] 🔥我们正在部署基于 Gradio 的演示，用户将能够上传屏幕截图。
• [1.31] 🔥我们的代码可用！欢迎试用 Mobile-Agent。
• [1.31] 🔥Mobile-Eval 中的人工操作数据正在准备中，并将很快开源。
• [1.30] 我们的论文可在LINK上获得。
• [1.30] 我们在 Mobile-Eval 上的评估结果已经公布。
• [1.30] 代码和 Mobile-Eval 基准测试即将推出！

📺演示

https://github.com/X-PLUG/MobileAgent/assets/127390760/26c48fb0-67ed-4df6-97b2-aa0c18386d31

🔧制备

安装

git clone https://github.com/X-PLUG/MobileAgent.git
cd MobileAgent
pip install -r requirements.txt

连接移动设备的准备工作

1. 下载 Android 调试桥。
2. 打开Android手机上的ADB调试开关，需要先在开发者选项中打开它。
3. 使用数据线将手机连接到计算机，然后选择“传输文件”。
4. 按如下方式测试你的 ADB 环境： .如果显示连接的设备，则准备工作完成。

   /path/to/adb devices

5. 如果你使用的是 MAC 或 Linux 系统，请确保按如下方式开启 adb 权限：

   sudo chmod +x /path/to/adb

6. 如果你使用的是 Windows 系统，则路径将是

   xx/xx/adb.exe

🔧快速上手

注意

❗由于 GPT-4V 在感知非英语屏幕截图时会产生严重的幻觉，因此我们强烈建议在纯英语系统和应用程序下使用 Mobile-Agent 以确保性能。 ❗由于当前资源有限，请联系我们获取由 url 和令牌组成的免费 API 密钥。

• 电子邮件：junyangwang@bjtu.edu.cn、junyangwang287@gmail.com（如果无法联系到前者）
• 微信：wangjunyang0410

跑

python run_api.py --adb_path /path/to/adb --url "The url you got" --token "The token you got" --instruction "your instruction"

🔧开始使用你自己的 API 密钥

视觉感知工具的准备

1. 下载图标检测模型 Grounding DION
2. 运行 Mobile-Agent 后，文本检测模型将自动从 modelscope 下载。

跑

python run.py --grounding_ckpt /path/to/GroundingDION --adb_path /path/to/adb --api "your API_TOKEN" --instruction "your instruction"

API_TOKEN 是来自 OpenAI 的 API 密钥，具有访问 .

gpt-4-vision-preview

📱移动评估

Mobile-Eval 是用于评估移动设备代理性能的基准测试。本次基准测试包括 10 个主流单应用场景和 1 个多应用场景。

对于每个方案，我们设计了三个说明：

• 指令1：相对简单和基本的任务
• 指令 2：在指令 1 的难度基础上增加附加要求
• 指令 3：用户需求，没有明确的任务指示

Mobile-Eval的详细内容如下：

📝评估结果

我们在 Mobile-Evoal 上评估了 Mobile-Agent。评估结果可在LINK上获得。

• 我们已将 10 个应用和多应用方案的评估结果存储在以每个应用命名的文件夹中。
• 每个应用文件夹中的数字表示该应用中不同类型指令的结果。
• 例如，如果要查看Google map中第二条指令的Mobile-Agent结果，则应转到以下路径：。

  results/Google Maps/2

• 如果 Mobile-Agent 的最后一个操作不是“停止”，则表示 Mobile-Agent 没有完成相应的指令。在评估过程中，我们手动终止了这些无法完成的案例。

📄待办事项清单

• 在Android平台上开发Mobile-Agent应用程序。
• 适配其他移动设备平台。

📑引文

如果你发现Mobile-Agent对你的研究和应用有用，请使用此BibTeX进行引用：

@article{wang2024mobile,
  title={Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception},
  author={Wang, Junyang and Xu, Haiyang and Ye, Jiabo and Yan, Ming and Shen, Weizhou and Zhang, Ji and Huang, Fei and Sang, Jitao},
  journal={arXiv preprint arXiv:2401.16158},
  year={2024}
}

📦相关项目

• 接地DINO：将DINO与接地预训练相结合，用于开集目标检测
• CLIP：对比语言-图像预训练