想象未来的某一天,你坐在电脑前,喝着咖啡唱着歌。看一眼电脑,有一个 AI 在为你自动帮你处理各种繁琐的任务。
它不仅能自动帮你玩游戏,提升你的游戏等级,还能高效地剪辑视频、写文档,制作出专业水准的内容。能够在你忙碌的时候为你分担工作,让你有更多的时间去享受生活。
这一切听起来像是科幻小说中的情节,今天推荐的开源项目 Cradle 正在为实现这种愿景而探索,这是一个能自己玩荒野大镖客、剪视频、发邮件的 AI。
01
Cardle:能控制计算机的聪明AI
Cradle 是一个能够控制计算机的 AI 框架,它的目标是提升 Foundation Agents 的能力,使其能够通过统一的接口执行复杂的计算机任务,包括日常软件操作、专业软件使用、游戏等。
简单的讲就是,它能够理解你给它看的屏幕截图,然后再操纵键盘、鼠标来操作电脑和玩游戏。可以玩复杂的电脑游戏,试用日常使用的软件,甚至帮你管理一个虚拟的城市。
,时长00:16
02
它目前能做啥?
Cradle 目前能够自动操作各种软件,包括但不限于 Chrome 浏览器、Outlook 邮箱、剪映、美图和飞书等。
可以自动玩四款游戏:荒野大镖客2(RDR2)、星露谷物语(Stardew Valley)、都市:天际线(Cities: Skylines)和当铺人生 2(Dealer’s Life 2)
PS:在本文章的最后, 贴上了 Cradle 玩各种游戏和软件的演示视频。
03
原理是啥?
下图是 Cradle 论文中给出的示意图。简单来说,让 AI 能自动玩游戏或者是用软件,通常有如下几个步骤:
① 信息收集:Cradle 首先会读取屏幕截图,理解上面显示的内容。
② 自我反思:读取了目前屏幕上显示的结果,它先会思考之前的操作是否成功,如果没有,它会找出原因。
③ 任务推理:Cradle 会根据当前情况来决定接下来要做什么任务。
④ 技能策划:它有一些预设的技能,比如点击鼠标或按键盘,能够根据目前所在的事情选择合适的技能。
⑤ 动作规划:Cradle 会计划一系列动作来完成任务。
⑥ 记忆:有一个记忆模块,它会记住之前的经验,这样下次遇到类似的情况就能做得更好,不需要人类一步步指导。
04
开源地址
Cradle 基于论文《CRADLE: Empowering Foundation Agents Towards General Computer Control》,由 Weihao Tan 等人撰写,他们来着来自不同的研究机构,包括北京人工智能研究院、南洋理工大学、北京大学、香港大学等。
开源地址:https://github.com/BAAI-Agents/Cradle
科研论文:https://arxiv.org/pdf/2403.03186
05
早期 AI 驯服电脑珍贵影像
下面都是 Cradle 自动玩游戏、操作办公软件的视频,素材来源于 Cradle 的主页。更多的视频欢迎大家前往 Cradle 的 GitHub 主页浏览。
荒野大镖客
,时长06:06
都市:天际线
,时长04:56
当铺人生 2
,时长03:21
星露谷物语
,时长05:55
自己剪视频
,时长00:52
使用飞书
,时长00:22
使用美图秀秀
,时长00:39
点击下方头像 关注逛逛GitHub
声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/419221.html