想象未来的某一天，你坐在电脑前，喝着咖啡唱着歌。看一眼电脑，有一个 AI 在为你自动帮你处理各种繁琐的任务。
它不仅能自动帮你玩游戏，提升你的游戏等级，还能高效地剪辑视频、写文档，制作出专业水准的内容。能够在你忙碌的时候为你分担工作，让你有更多的时间去享受生活。
这一切听起来像是科幻小说中的情节，今天推荐的开源项目 Cradle 正在为实现这种愿景而探索，这是一个能自己玩荒野大镖客、剪视频、发邮件的 AI。
01
Cardle：能控制计算机的聪明AI
Cradle 是一个能够控制计算机的 AI 框架，它的目标是提升 Foundation Agents 的能力，使其能够通过统一的接口执行复杂的计算机任务，包括日常软件操作、专业软件使用、游戏等。
简单的讲就是，它能够理解你给它看的屏幕截图，然后再操纵键盘、鼠标来操作电脑和玩游戏。可以玩复杂的电脑游戏，试用日常使用的软件，甚至帮你管理一个虚拟的城市。
，时长00:16
02
它目前能做啥？
Cradle 目前能够自动操作各种软件，包括但不限于 Chrome 浏览器、Outlook 邮箱、剪映、美图和飞书等。
可以自动玩四款游戏：荒野大镖客2（RDR2）、星露谷物语（Stardew Valley）、都市：天际线（Cities: Skylines）和当铺人生 2（Dealer’s Life 2）
PS：在本文章的最后， 贴上了 Cradle 玩各种游戏和软件的演示视频。
03
原理是啥？
下图是 Cradle 论文中给出的示意图。简单来说，让 AI 能自动玩游戏或者是用软件，通常有如下几个步骤：
① 信息收集：Cradle 首先会读取屏幕截图，理解上面显示的内容。
② 自我反思：读取了目前屏幕上显示的结果，它先会思考之前的操作是否成功，如果没有，它会找出原因。
③ 任务推理：Cradle 会根据当前情况来决定接下来要做什么任务。
④ 技能策划：它有一些预设的技能，比如点击鼠标或按键盘，能够根据目前所在的事情选择合适的技能。
⑤ 动作规划：Cradle 会计划一系列动作来完成任务。
⑥ 记忆：有一个记忆模块，它会记住之前的经验，这样下次遇到类似的情况就能做得更好，不需要人类一步步指导。
04
开源地址
Cradle 基于论文《CRADLE: Empowering Foundation Agents Towards General Computer Control》，由 Weihao Tan 等人撰写，他们来着来自不同的研究机构，包括北京人工智能研究院、南洋理工大学、北京大学、香港大学等。
开源地址：https://github.com/BAAI-Agents/Cradle
科研论文：https://arxiv.org/pdf/2403.03186
05
早期 AI 驯服电脑珍贵影像
下面都是 Cradle 自动玩游戏、操作办公软件的视频，素材来源于 Cradle 的主页。更多的视频欢迎大家前往 Cradle 的 GitHub 主页浏览。
荒野大镖客
，时长06:06
都市：天际线
，时长04:56
当铺人生 2
，时长03:21
星露谷物语
，时长05:55
自己剪视频
，时长00:52
使用飞书
，时长00:22
使用美图秀秀
，时长00:39
点击下方头像 关注逛逛GitHub
声明：文中观点不代表本站立场。本文传送门：https://eyangzhen.com/419221.html
