Navigation menu

新闻中心

苹果的最新AI调查避免了未经授权和高风险行为

根据6月27日,随着IA代理变得更聪明,他们甚至可以积极帮助用户完成手机上的各种任务(例如更改某些配置或打开导航),但是AI本身并不了解与用户界面结构相对应的特定行为机制,并简单地遵循Preetos程序执行操作。华盛顿大学的研究人员现在正在发布文档,探讨了AI学习如何判断几个任务的结果,避免用户尚未批准的高风险行为的方法。 AI代理的自主行为是2026年Apple系统更新的中心特征之一。苹果将在2024年在WWDC展示Siri的未来开发地址。作为个人设备,移动电话商店银行财务数据,银行数据,健康,照片,照片和个人信息记录。当AI代理执行任务时,它必须区分哪些行动是无害的,并可能导致永久或危险后果,并知道何时停止并请求用户确认。但是,尽管大多数IA开发人员仅保留“使AI工作”(即,识别按钮,搜索相应页面,根据说明执行程序),但很少注意这些操作对用户的后续影响。苹果AI研究人员指出,并非所有行动都是安全且无风险的。单击“更新”按钮是一种低风险行为,但是单击“重新启动”是一种高风险行为。这项研究始于AI Security and UI设计专家所讲述的研讨会,目的是创建一个“分类”(结构化列表),以定义不同类型的UI操作的影响。团队围绕以下问题展开:该动作是否被撤销?仅涉及所有者还是更多的影响?您是否更改了隐私设置或有费用?该文档表明,研究人员已经建立了一种多维方法方舟移动应用程序操作。例如,可以在2分钟内取消淘汰消息,但是一段时间后无法将其恢复。转移是正常的,您需要帮助才能被撤销。该分类法的重要性在于,它为AI提供了人类意图的框架。它对应于一个“风险验证”程序,该程序可以帮助AI确定“哪些行动是错误的”或“为什么需要其他控件”。为了培训AI以区分行动的风险,研究人员要求参与者在模拟的移动环境中注册高风险的动作(Nostarting TA:从帐户中更改密码,发送消息,更新付款详细信息等),而不是诸如导航或搜索之类的较低风险任务。该团队将新数据与现有数据集结合在一起,这些数据集涵盖了安全和传统的互动,将所有数据标记为分类法,并测试了包括OpenAI GPT-4在内的五个AI模型,以评估其预测行动影响或分类水平的能力关于属性。结果表明,在应用程序中添加分类法有助于提高风险判断的准确性,但即使是“多模式的GPT-4”模型“最佳执行”。精确度约为58%。研究表明,AI模型通常高估了风险。这包括无害的危害行为,例如“不及时请求的空中卡车”。富裕的问题是,模型很难散发出判断:苹果研究人员是否需要“方便和安全”的自动化。批准PPRICK支持透明度和自定义,并帮助IA的设计师确定当前模型中的弱点(尤其是在真正的高风险任务方面)。为此,教AI“识别按钮”是不够的,这是必要的。尽管人类可以通过上下文指示和历史经验发表判断,但机器很难完全解决这种复杂性操纵。 [来源:这是一所房子]