交互模型

已完成

混合现实工具包允许你接收来自多种输入源的信息,例如控制器、可操作的手或语音。 选择最适合混合现实体验的交互模型需要你确定用户及其目标,并考虑可能影响其体验的任何情况或环境因素。 在这里,你将了解混合现实体验的三个主要交互模型以及如何在 Unity 中模拟输入。

交互模型

有三个主要交互模型适合大多数混合现实体验。

型号 示例方案 适应
手部和运动控制器 3D 空间体验,例如空间布局和设计、内容作或模拟。 非常适合与语音、眼动跟踪或头部凝视结合使用的新用户。 学习曲线低。 手部跟踪和 6DoF 控制器之间的一致 UX。
免手动 用户双手被占用的上下文体验,例如在职学习和维护。 需要一些学习。 如果手部不可用,设备与语音和自然语言配对良好。
凝视和提交 点入浏览体验(例如,3D 演示文稿或演示)。 需要对头戴式设备进行训练,但不需要在移动设备上训练。 最适合辅助控制器。

尽管可以将多个交互模型的部分组合到混合现实体验中,但请注意,这样做会产生用户输入竞争的风险,如同时使用手部射线和头部凝视光标。 这会使用户不知所措并感到困惑。

如果你的体验确实需要多个交互模型,请记住,从一个模型过渡到另一个模型时,许多用户可能会遇到困难,尤其是不熟悉混合现实的用户。

手部和运动控制器模型

手部和运动控制器模型要求用户使用一只或两只手与全息影像交互。 此模型删除虚拟和物理之间的边界。

一些特定方案包括:

  • 为信息工作者提供具有 UI 的 2D 虚拟屏幕来显示和控制内容
  • 为一线工作者提供关于工厂装配线的教程和指南
  • 开发用于协助和教育医疗专业人员的专业工具
  • 使用 3D 虚拟对象来装饰现实世界,或创建另一个世界
  • 使用现实世界作为背景创建基于位置的服务和游戏

有三种手部和运动控制器的形态:

  • 用手直接作
  • 用手点和提交
  • 运动控制器

免手动模型

无手模型允许用户与全息内容交互,而无需使用双手。 如果用户可能需要动手来完成实际目标,并且很难与基于手部和控制器的接口进行交互,则最好使用此方法。

一些特定方案包括:

  • 在用户双手被占用时引导用户完成任务
  • 在用户手忙时引用材料
  • 手部疲劳
  • 无法跟踪的手套
  • 手里拿着东西
  • 避免在做大幅度手势时的社交尴尬
  • 空间小

有两种免手动模态:

  • 语音输入
  • 凝视并停留

凝视和提交

“凝视并提交”是一种输入模型,与我们使用鼠标进行指向和单击来与计算机交互的方式密切相关。 “凝视并提交”被认为是包含间接操作的远点输入模型。 因此,在与无法触及的全息内容交互时,最好使用“凝视并提交”。 有两种类型的凝视输入(头部凝视和眼睛凝视)以及不同的提交操作。

用户使用凝视定位对象或 UI 元素后,用户可以使用辅助输入与对象或 UI 元素进行交互或选择它。 这称为输入模型的提交步骤。 提交方法包括语音命令、按下按钮或手势。

Unity 编辑器内输入模拟

Unity 编辑器内输入模拟允许在使用手或眼部交互时测试全息对象行为。

如何在场景中四处移动:

  • 使用 W/A/S/D 键向前/向左/后/向右移动相机。
  • 使用 Q/E 键垂直移动相机。
  • 按住 鼠标右键 旋转相机。

如何模拟手部输入:

  • 按住 空格键 以启用右手。
  • 按住空格键时,移动鼠标以移动手部。
  • 使用 鼠标滚轮 调整手部的深度。
  • 单击 鼠标左键 模拟收缩手势。
  • 使用 T/Y 键使手保留在视图中。
  • 按住 Ctrl 键并移动鼠标以旋转手。
  • 按住 左移键 以启用左手。