连续意图
将说话的时刻、手势的指向与当时的屏幕内容对齐,理解用户正在关注什么。
说「把这个移过去」时,你先指向一个文件,再指向它该去的地方。我们研究的人机意图交互基础设施,让机器能把这句话和两次手势联系起来。即使设备、操作系统或 AI 模型换了,你仍然可以这样表达。
将说话的时刻、手势的指向与当时的屏幕内容对齐,理解用户正在关注什么。
目标还在形成时,先准备可撤销的预览。到了需要作出决定的那一步,再请用户确认。
用户可以换一个指向来修正目的地,让已经开始的任务接着进行。
同一句话,可以有不同的结果。看一份录音如何被移入文件夹,也可以在确认之前改选目的地。
仅凭「这个」,还无法确定是哪个文件。系统等待一个指向。
结合说话时间和手指的位置,系统定位到这份录音,接下来需要确定目的地。
第二个手势指向目标文件夹。现在可以选择另一个文件夹,修正这次移动的预览。
工作区返回执行结果,确认文件已经进入选中的文件夹。
录音仍被选中。用户补了一个手势,系统回到定位阶段,寻找新的目的地。
我们正在研究如何通过 SDK 和 API,让同一个意图模型服务于不同的应用、智能体和设备。接入层负责检查权限、分发动作,并返回实际执行结果。