2 月 12 日，微软在官网发布了 OmniParser 最新版本 V2.0，可将 OpenAI（4o / o1 / o3-mini）、DeepSeek（R1）、Qwen（2.5VL）和 Anthropic（Sonnet）等模型，变成可以操控计算机的 AI 智能体。与 V1 版本相比，OmniParser V2 使用了更大规模的交互元素检测数据和图标功能
具体而言,OmniParser V2采用了更大规模的交互元素检测数据和图标功能描述数据进行训练。 此外,通过减少图标描述模型的图像输入尺寸,OmniParser V2的推理延迟比上一版本降低了60% 值得注意的是,OmniParser与GPT-4o结合后,在最新发布的 ScreenSpot Pro基准测试上达到了39.6%的平均准确率,该基准测试具有高分辨率屏幕和极...
AI黑科技!微软开源OmniParser V2 & OmniTool,让AI像人一样操作电脑 ! 微软开源了两个超强工具:OmniParser V2 和 OmniTool,它们能让AI像人类一样“看懂”并“操作”你的电脑屏幕,简直不要太酷! OmniParser V2是什么? 简单来说,它是一个框架,能让AI“看懂”你的屏幕内容。V2版本比上一代快了60%⚡️,...
微软在其官网上发布并 开源OmniParser V2,它可以将任何 LLM 变成能够使用计算机的Agent。可以启用 GPT-4o、DeepSeek R1、Sonnet 3.5、Qwen等来了解屏幕上的内容并采取相关操作。 OmniParser 是一款通用屏幕解析工…
微软近期在人工智能领域再次迈出重要一步,推出了OmniParser V2.0,这是一款基于纯视觉技术的GUI智能体解析工具,能够精准识别并解析屏幕上的可交互图标。此前,该工具与GPT-4V的结合已显著提升了其识别能力。 在2月12日,微软官方网站上正式发布了OmniParser的最新版本。这一版本不仅延续了前代产品的优势,还实现了与多...
微软发布其基于纯视觉的 GUI 代理的屏幕解析工具 OmniParser 的更新,V2版本, OmniParser 旨在使任何大语言模型(LLM)能够作为 计算机使用代理,进行 图形用户界面(GUI)自动化。 也就是帮助计算机理解和自动执行图形界面操作的工具,它可以让大型语言模型(如 GPT)识别屏幕上的按钮、图标等可交互元素,从而实现自动化任务。
V2版本的OmniParser推理延迟降低60%，支持实时处理动态界面（如弹窗、加载动画）。这种快速响应能力使得它能够适应各种实时变化的界面，为用户提供更流畅的自动化体验。开发者友好工具链：OmniParser提供了OmniTool，一个开箱即用的Docker化开发环境，支持一键部署Windows 11虚拟机，并通过API快速定制AI助手。这种工具链的...
微软的 OmniParser V2 是一款强大的工具,旨在将大型语言模型(LLM)转化为能够操控计算机的智能代理。它通过将图形用户界面(GUI)的屏幕截图转化为结构化的机器可读数据,显著提升了 LLM 在理解和交互软件界面方面的能力。 白嫖「AI GPT5.0 turbo大模型编程/论文/聊天」工具 >> BV13c411i7TT 宝藏学习「IT/科技/...
大模型越来越进化了
相较于上一版本,OmniParser V2在训练数据和图标功能标题数据方面有了显著提升,使得其在处理小尺寸可交互UI元素时的准确率更高,推理速度更快。这一改进不仅提高了工作效率,也降低了误判的可能性,从而提升了用户体验。 值得一提的是,为了能够更快地实验不同的智能体设置,微软还开源了OmniTool,这是一个集成了智能体...