
让 AI 帮你在手机备忘录里建一份清单,它可能先写好内容,再告诉你打开哪个应用、点哪个按钮
最后那几下,还是得自己动手
开源项目 Phone Harness 把这段操作接了起来,让电脑里的 AI 助手读取真实手机的屏幕,点击、滑动、输入,再检查结果
一个原本只会给你建议的助手,开始有了操作手机的通道
AI 负责想,它负责把动作送到手机
Phone Harness 可以连接 Claude Code、Codex 等能够调用工具的 AI 助手,本身不提供一个新的聊天模型
你提出任务,AI 判断接下来做什么,Phone Harness 提供读屏和操作能力,再把手机当前的状态交回去
项目给出的简单示例是打开天气应用,找到屏幕上的文字,点击对应位置,读取跳转后的页面
这里最有用的变化,是一些手机应用即使没有专门为 AI 开放接口,也多了一条可以尝试的操作路径
人平时靠看屏幕和点击完成的动作,现在能拆成工具调用,交给 AI 一步步执行
不过,能点到按钮只是起点,点完之后是否得到想要的结果,还得继续确认
它每点一下,都应该回头看一眼
iPhone 和 Android 走的是两条路
iPhone 借用 Mac 的“iPhone 镜像”,把手机显示成电脑上的一个窗口 工具读取这个窗口,用文字识别找出按钮位置,再把点击和键盘输入送进去
Android 通过 adb 连接,这是一套让电脑与安卓设备通信的调试工具 它可以读取屏幕上的控件信息、截图,并发送点击和滑动指令
两条路都要处理同一个问题,动作发出去了,不代表事情做成了
点到空白处、页面还没加载完、输入框没有选中,都可能让操作落空 项目的使用指南因此要求,执行后检查标题、字段或页面状态是否按预期变化

读屏、操作、检查结果,再决定下一步,才构成一次完整的任务推进
这也解释了为什么它适合从短任务开始 流程越长,越可能遇到弹窗、登录失效或界面变化,AI 必须处理这些中途出现的情况
可以先试三种小任务
第一种是读取手机里才能看到的信息
比如让助手打开某个应用,找到一条预约记录,读出时间和地点 这是基于读屏能力可以尝试的场景,能否顺利完成,取决于应用是否允许读取、页面是否容易识别
第二种是准备草稿
把已经整理好的清单填进备忘录,或把一段文字放入输入框,再由你检查 从打开应用到准备内容,操作可以交给助手尝试,最终保存或发送的动作则单独确认

先把内容准备好,再交给人检查,是更容易判断成败的使用方式
第三种是检查手机应用的操作流程
做产品的人可以在测试账号里,让助手走一遍搜索、填写表单或返回上一页的路径,观察页面变化 这适合辅助检查,复杂手势和身份验证仍可能需要人接手
这些是根据公开能力推导的尝试方向,不能据此承诺某个应用一定可用
使用前先看清连接和输入门槛
Phone Harness 仍需要在电脑上配置,手机配对和权限授权也要本人完成,距离下载即用还有一段路
iPhone 需要兼容的 Mac,以及能够正常使用的镜像功能 苹果的要求包括 macOS 15 或更高版本、iOS 18 或更高版本,同一 Apple 账户及双重认证,还受设备型号和地区限制
Android 可以连接 macOS、Windows 或 Linux 电脑,但要开启调试并授权连接
截至本文写作时,项目指南还写明,Android 默认的文字输入方式只支持 ASCII 字符 中文输入不能直接按英文输入的方式照搬,需要另找经过验证的办法
项目也明确列出了多点触控、相机和 Face ID 等流程的限制 没有文字标签的图标,还可能需要能看懂图片的模型参与判断
开源工具本身免费,使用 AI 助手产生的模型费用仍要另算,项目提供的云手机则属于额外服务
开源,也要问数据去了哪里
手机屏幕可能包含联系人、通知和账号信息 如果连接的是云端 AI,读屏内容是否发送出去,要看助手和模型服务的配置
Phone Harness 自己还有一处需要留意的设置,使用统计默认开启
当前的执行与统计源码显示,统计调用包含脚本内容、操作步骤和输出等字段,因此不能仅凭“匿名统计”就认定不涉及任务内容
项目提供了关闭命令 phone-harness config set telemetry false 涉及个人资料之前,应先处理这项设置,再检查所连接的 AI 服务如何使用数据
它更适合愿意配置环境、能看着任务执行的人,尤其是确实需要操作手机端应用的场景 如果同一件事在网页上就能完成,直接操作网页通常更省事
第一次尝试,可以只让助手打开天气应用,读出当前页面的内容 先确认它能看清、点准、解释结果,再考虑把更长的流程交出去
手机上的最后几下开始有人代劳了,但每一步有没有做对,仍然值得你看一眼