Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration Junyang Wang1, Haiyang Xu2†,Haitao Jia1, Xi Zhang,2 Ming Yan2†, Weizhou Shen2, Ji Zhang2, Fei Huang2, Jitao Sang1†
🔥[6.27] We proposed Demo that can upload mobile phone screenshots to experience Mobile-Agent-V2 inHugging FaceandModelScope. You don’t need to configure models and devices, and you can experience it immediately. [6. 4] Modelscope-Agent has supported Mobile-Agent-V2, based on Android Adb...
近日,通义实验室推出了手机端智能体Mobile-Agent。输入一句指令,AI可以作为智能中枢,根据指令在手机上自动规划和操作各种APP,操作场景包括但不限于导航、购物、组织电话会议、更改系统设置,其准确程度如同人类在操作手机一般,通过Mobile-Agent,用户将拥有一个手机端的超级智能助理,通过指令就可以使用手机端已授权app完成任...
多模态agent时代已经到来,目前已有不少有趣的应用,今天来介绍一个用多模态agent实现手机操作助手的工作《Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception》,通过纯视觉方案实现AI操作手机。 所谓手机操作助手,即用户输入指令,agent自动完成一系列手机上的操作,例如下面的这几个例子: 用...
项目:https://github.com/X-PLUG/MobileAgent 论文:https://arxiv.org/abs/2401.16158v1 多模态agent时代已经到来,目前已有不少有趣的应用,今天来介绍一个用多模态agent实现手机操作助手的工作Mobile-Agent: Autonomous Multi-Modal Mobile Dev...
代码:https://github.com/X-PLUG/MobileAgent 此外,ModelScope-Agent现已集成了Mobile-Agent-v2,详情请参考以下链接:https://github.com/modelscope/modelscope-agent。根据魔搭团队发布的演示视频,ModelScope-Agent拥有了使用Mobile-Agent-v2完成自动...
代码:https://github.com/X-PLUG/MobileAgent 此外,ModelScope-Agent现已集成了Mobile-Agent-v2,详情请参考以下链接:https://github.com/modelscope/modelscope-agent。根据魔搭团队发布的演示视频,ModelScope-Agent拥有了使用Mobile-Agent-v2完成自动化打车的能力。用户只需输入目的地,ModelScope-Agent即能通过规划、...
今年年初发布的Mobile-Agent凭借强大的自动化手机操作能力,引起了AI界和手机厂商的广泛关注,仅5个月的时间就已在Github上收获了2,000个Star。 Mobile-Agent基于纯视觉方案,通过视觉感知工具和操作工具实现智能体在手机上的操作,而不依赖其他系统级别的UI文件。借助智能体中枢模型强大的操作能力,Mobile-Agent无需训练和...
多模态手机智能体 Mobile-Agent 开源实战 最后,介绍一下多模态手机智能体 Mobile-Agent 的开源和实战。Mobile-Agent 已在 GitHub 上开源,包含 demo 和部署方法。图中展示的是 ModelScope-Agent,它是阿里魔搭开发的中文开源社区,类似于 Hugging Face。ModelScope-Agent 也已将 Mobile-Agent 集成在内,大家可以在我们...
项目地址:https://github.com/X-PLUG/MobileAgent 能力展示 首先为大家介绍 Mobile-Agent 可以自动做哪些有趣的任务。 下面是一个在 YouTube 里找相关视频并发表评论的例子,用户的要求是在 YouTube 里搜索视频,找到一个和某个明星相关的视频,然后发表评论。在整个过程中,Mobile-Agent 没有出现任何错误、不必要或...