DroidRun

DroidRun

一款可以通过AI代理实现Android设备的自动化操作开源框架,它结合视觉解析与UI结构提取技术,支持多种语言模型,可自动执行任务、处理复杂界面和动态UI。

#Ai工具箱 #Ai开源项目
收藏

DroidRun简介

DroidRun是什么?

DroidRun 是一款可通过ai代理实现Android设备的自动化操作的开源工具。它结合视觉解析与 UI 结构提取技术,支持多种语言模型(如 OpenAI、Gemini 等),可自动执行任务、处理复杂界面和动态 UI。DroidRun 还具备智能错误处理、截图分析能力、元素跟踪等功能,适用于日常任务自动化、应用测试、数据提取等场景,支持 Android 6.0 及以上系统。

DroidRun:可通过简单的自然语言命令来控制Android设备.webp

DroidRun核心功能

  • 自然语言控制:用户可以通过自然语言指令让 AI 代理执行各种任务,例如打开应用、发送消息、浏览网页等。

  • 视觉与 UI 结构提取:结合视觉理解和 UI 结构提取技术,能够准确识别屏幕上的按钮、输入框等交互元素,从而实现复杂界面的自动化操作。

  • 智能错误处理:具备智能错误处理和自动恢复功能,能够在遇到弹窗广告、权限提示等意外情况时自动处理并继续执行任务。

  • 多语言模型支持:支持用户连接自己偏好的语言模型,无需复杂的设置即可立即开始自动化操作。

DroidRun使用场景

  • 日常任务自动化:用户可以将重复性任务(如每日查看新闻、定时发送消息等)交给 AI 代理自动完成。

  • 社交媒体管理:能够批量处理社交媒体任务,例如自动登录、上传图片、发布帖子等。

  • 应用测试开发:开发者可以利用 DroidRun 模拟用户操作,测试应用的界面和功能,记录响应时间并发现潜在问题。

  • 数据提取与分析:AI 可以自动从应用中提取数据,例如搜索附近餐厅并截图。

DroidRun使用步骤

  1. 打开浏览器,访问 DroidRun 官方网站。

  2. 在首页点击“Download Android Portal APK”下载 droidrun-portal.apk 文件(约 10MB)。

  3. 在 Android 设备上,进入“设置 > 安全”,启用“未知来源”选项,允许安装非官方应用。

  4. 使用文件管理器找到下载的 APK 文件并点击安装(安装过程约需 1 分钟)。

  5. 安装完成后,首次打开 DroidRun Portal 应用时,应用会提示启用“无障碍服务”和“屏幕截图”权限。点击提示进入设置页面并启用相关权限。

  6. 在应用内输入语言模型的 API 密钥(支持 Gemini、ChatGPT、Grok 等),点击“Verify”确认连接成功。

github地址:https://github.com/droidrun/droidrun

到头啦!

与DroidRun相关工具