苹果 vision pro 的眼动追踪技术是推动苹果空间计算机超越所有其他头显的关键技术之一。近日，美国专利商标局公布了苹果的另一项专利申请，专门涉及为 vision pro 提供基于视网膜成像的调节检测（即焦点）的系统和方法。
在苹果的专利背景中，他们注意到存在各种眼动追踪技术。例如，一些注视追踪技术基于检测眼睛外部的反射。光线被引导到眼睛上，在瞳孔和角膜上产生可检测的反射，这些反射由摄像头追踪以确定注视方向，例如，通过确定角膜和瞳孔之间对应于注视方向的矢量。现有的眼动追踪技术可能无法提供足够的眼部调节（即焦点）追踪。
苹果专利申请涵盖了基于视网膜成像技术来评估用户在使用电子设备期间的眼睛调节（即焦点）的系统、方法和设备。
一个或多个光源将光线引导到视网膜上的一个或多个可通过传感器检测到的斑点。斑点的大小和形状取决于眼睛的调节/焦点，因此用于识别调节/焦点变化或测量眼睛的调节/焦点。当用户通过电子设备查看、交互或以其他方式体验电子内容时，可以实时确定眼睛调节。
一些实施方案涉及通过处理器执行存储在电子设备的非暂存存储器中的指令来执行的方法。这种方法可能涉及在具有处理器和光源的电子设备上，使用光源产生光（例如，红外光或可见光）以将光引导向眼睛视网膜上的点。
例如，一个或多个准直照明器可用于将光线引导至视网膜上的一个或多个点，光源可以相对于眼睛的轴以离轴的方式定向。该方法在传感器（例如摄像头）处接收传感器数据（例如，图像），传感器数据对应于视网膜上的发光点。例如，传感器数据可以包括具有图像部分的一个或多个摄像头图像，例如，对应于视网膜外观的像素，包括在照明点反射的光。
该方法根据传感器数据确定眼睛调节特性。在一些实施方案中，眼睛调节特性是根据视网膜上发光斑点的大小或位置确定的。确定眼睛调节特征可以涉及检测调节的变化或找到眼睛调节的估计（例如，表示的数值）。在一些实施方案中，确定眼睛调节特征涉及将视网膜的图像与先前的视网膜图像进行比较，以识别照明点的大小和/或位置的变化。
在一些实施方案中，一个斑点被识别（例如，大小、形状和/或位置）和/或与视网膜的其他不太发光的部分区分开来。可以通过算法（例如基于阈值）和/或使用机器学习（ml）模型来识别点。ml 模型可用于评估/比较斑点的大小和/或位置和/或多个斑点之间的关系。
苹果专利图 8 示出了头戴式设备（hmd）的框图，实际上是 vision pro；图 3 示出了在第一调节/聚焦状态下将光引导至眼睛视网膜上的点的一个或多个照明器；图 4 示出了包括图 3 中照亮的点的视网膜的图像。
苹果专利图 5 示出了图 3 的一个或多个照明器将光线引导至眼睛视网膜上的第二个调节/聚焦状态的点；图 6 示出了包括图 5 中照明斑点在内的视网膜图像。
在某些实施方案中，vision pro 包括一个眼动追踪系统，用于检测眼球位置和眼球运动。眼动追踪系统可以包括一个或多个照明器（例如，一个或多个红外发光二极管），其发射从用户眼睛反射并通过传感器（例如，近红外摄像头）捕获的光。
在一个例子中，vision pro 的一个或多个照明器可以发出指向用户眼睛视网膜上的一个或多个点的 nir 光，并且传感器捕获用户眼睛的图像，包括被照亮的斑点。在一些实施方案中，可以分析由眼动追踪系统捕获的图像以检测用户眼睛的位置和运动，以检测关于眼睛的其他信息，例如注视方向，和/或检测眼睛的调节/焦点。此外，从眼动追踪图像估计的注视点可以实现基于注视的内容交互。
