GPT-4V 学会自动操纵电脑比特派钱包客户端，这一天终于还是到来了。

只需要给 GPT-4V 接入鼠标和键盘，它就能根据浏览器界面上网：

甚至还能快速摸清楚“播放音乐”的播放器网站和按钮，给自己来一段 music：

是不是有点细思极恐了？

这是一个 MIT 本科生小哥整出来的新活，名叫 GPT-4V-Act。

只需要几个简单的工具，GPT-4V 就能学会控制你的键盘和鼠标，用浏览器上网发帖、买东西甚至是玩游戏。

要是用到的工具出 bug 了，GPT-4V 甚至还能意识到、并试图解决它。

来看看这是怎么做到的。

GPT-4V-Act，本质上是一个基于 Web 浏览器的 AI 多模态助手（Chromium Copilot）。

它可以像人类一样用鼠标、键盘和屏幕“查看”网页界面，并通过网页中的交互按键进行下一步操作。

要实现这种效果，除了 GPT-4V 以外，还用到了三个工具。

一个是 UI 界面，可以让 GPT-4V“看见”网页截图比特派钱包客户端，也能让用户与 GPT-4V 发生交互。

这样，GPT-4V 就能将每一步运行思路都通过对话框的形式反映出来，用户来决定是否要继续让它操作。

另一个是 Set-of-Mark Prompting（SoM）工具，让 GPT-4V 学会交互的一款工具。

这个工具由微软发明，目的是更好地对 GPT-4V 进行提示词工程。

相比让 GPT-4V 直接“看图说话”，这个工具可以将图片关键细节拆分成不同的部分，并进行编号，让 GPT-4V 有的放矢：

对于网页端也是如此，Set-of-Mark Prompting 用类似的方式让 GPT-4V 知道从网页浏览器的哪个部分找答案，并进行交互。

最后，还需要用到一个自动标注器（JS DOM auto-labeler），可以将网页端所有能交互的按键标注出来，让 GPT-4V 决定要按哪个。

比特派 bithd

一套流程下来，GPT-4V 不仅能准确判断图片上的哪些内容符合需求，还能准确找到交互按键，并学会“自动上网”。

这是个大项目，目前还只实现了部分功能，包括点击、打字交互、自动标注等。

接下来，还有其他的一些功能要实现，例如比特派钱包客户端试试 AI 打标器（目前网页端的交互还是通过通过 JS 接口得知哪里能交互，不是 AI 识别的）、以及提示用户输入详细信息等。

此外，作者也提到，现阶段 GPT-4V-Act 用法上还有一些需要注意的地方。

例如，GPT-4V-Act 可能会被网页打开后铺天盖地的弹窗小广告给“整懵了”，然后出现交互 bug。

又例如，目前这种玩法可能会违反 OpenAI 的产品使用规定：

所以用的时候也要低调一点（doge）

这个项目在网上发出后，吸引了不少人的围观。

像是小哥用到的微软 Set-of-Mark Prompting 工具的作者，就发现了这个项目：

还有网友提到，甚至可以用来让 AI 自己读取验证码。

这个在 SoM 项目中提到过，GPT-4V 是能成功解读验证码的（所以以后可能还真不知道是人还是机器在上网

）。

与此同时，也有网友已经在想象桌面流自动化（desktop automation）的操作了。

对此作者回应称：

不过目前 GPT-4V 还是要收费的，有没有其他的实现方法？

作者也表示，目前还没有，但确实可能会尝试 Fuyu-8B 或者 LLaVAR 这样的开源模型。

免费的自动化桌面流 AI 助手，可以期待一波了。

参考链接：

本文来自微信公众号：量子位 （ID：QbitAI），作者：萧箫

在1/8决赛中淘汰了卡塔尔队后，外界“看低”中国亚运队的前景，普遍的看法就是：中国队在本届亚运会上恐怕已“走到头”了。这倒不是不希望中国亚运队更进一步，而实在是因为1/4决赛的对手是韩国队。但凡如果换成是八强中的其他任何一个对手，中国队倒还是有可能去一拼，但偏偏赶上是韩国队！尽管中国队与韩国队在今年6月份曾有过交锋，且也曾以1比0赢得了第二回合，但两队之间的实力差距是显而易见的。特别是，韩国球员为免服兵役，不惜一切代价要拼下这枚亚运男足金牌，所以组成了最强阵容，众多效力于欧洲俱乐部的韩国球员也纷纷归队助阵，因为他们所在的欧洲俱乐部也不想他们返回韩国服兵役而影响到俱乐部的自身利益，即便是亚运会男足赛在非国际足联指定的国家队比赛窗口期，也依然同意放人。所以，韩国队一直以来就是亚运会男足赛中整体实力最强的队伍。

此外，在今年联赛中发挥出色的天津津门虎25岁高中锋谢维军也第一次得到征召。效力于土耳其青年联合的23岁中卫吴少聪入选大名单，成为本期国家队中唯一的留洋球员。

本次亚运男足打入八强，是中国男足时隔17年再次在亚运会上进入八强，从战绩来讲，应该算是及格的。然而，男足在比赛中暴露出来的一些问题，也值得反思。

但是，在创造奇迹的道路上，这支球队能够连续两场1-0击败巴勒斯坦和伊朗，闯入亚运会四强，还是印证了那句老话——自助者天助。

没有奇迹，在中后场多名主力伤停的情况下，国足亚运队未能在四分之一决赛面对韩国队的比赛中再进一步，0-2的比分算是两队实力的客观体现。

这个冠军是他职业生涯中，在40场排名赛决赛里赢得的第25个冠军，目前，在斯诺克排名赛历史冠军榜上，只有罗尼-奥沙利文（39个）、斯蒂芬-亨德利（36个）、约翰-希金斯（31个）和史蒂夫-戴维斯（28个）的冠军数比他多，同时他也在该项榜单上，甩开了身后紧追的尼尔-罗伯逊（23个）和贾德-特鲁姆普（23个），坐稳了历史第五的位子。

赛制方面，从资格赛到正赛第3轮，都采用7局4胜制；1/4决赛采用9局5胜制；半决赛采用11局6胜制；决赛采用19局10胜制，分为2个阶段进行。包括中国香港选手傅家俊和李俊威在内，共有22位中国选手出战资格赛，其中，丁俊晖、彭弈淞、龙泽煌和江俊的4场比赛，将在正赛期间进行。此外，在资格赛期间，共有11位中国球员闯进正赛。经过16场延迟资格赛的争夺，只有丁俊晖顺利晋级，这样，共有12位中国选手将出战正赛首轮的比赛。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考比特派钱包客户端，IT之家所有文章均包含本声明。

　　声明：新浪网独家稿件，未经授权禁止转载。 -->