来源：第三维度
作者：赵新灿 左洪福 任勇军
单位：南京航空航天大学民航学院,
摘要：文章在回顾视线跟踪技术的研究历程基础上, 定义了视线跟踪的基本概念和参数。分析了六种主要视线跟踪技术原理, 比较了每种技术的优、缺点。介绍了眼动仪硬件设备的研制和发展状况, 对比了几种主要的眼动仪性能。最后, 探讨了视线跟踪数据的处理软件和方法, 并对视线跟踪技术的应用前景进行总结和展望。
信息加工在很大程度上依赖于视觉, 约有80%～90%的外界信息是通过人的眼睛获得的。由于人的视线具有直接性、自然性和双向性等其它信息所无法具备的特点[1], 人们对视线的研究有着浓厚的兴趣。眼动的早期研究可以追溯到古希腊, 但是真正使用仪器设备对眼动进行观察和实验是从中世纪才开始的。
直到1901 年Dodge 和Cline 才开发出第一台精确的、非强迫式的眼追踪设备[3]。目前, 视线跟踪技术逐步成熟, 应用越来越广泛。主要应用于图片/广告研究[18, 19]( 网页评估、设计评估等) 、动态分析[7～9]( 航空航天相关领域、体育运动、汽车、飞机驾驶、打字动作分析等) 、产品测试[18, 19]( 广告测试、网页测试、产品可用性测试等) 、场景研究[6, 11, 25]( 商场购物、店铺装潢、家居环境等) 和人机交互等各种领域, 另外在理解人的意图的智能计算机、具有交互功能的家用电器、虚拟现实和游戏等领域也有很好的应用前景。
1 眼动的基本概念和主要参数指标
目前, 关于眼动的研究文献和硬件设备很多, 由于每个作者和设备生产商使用的概念和参数指标不同, 造成了各种方法、模型和设备性能无法比较, 给眼动的研究带来许多困难。我们参阅了大量的文献, 对眼动的概念和参数指标给出了明确的界定。
1.1 眼动的概念
眼动主要有三种形式: 注视( fixations) , 跳动( saccades) 和平滑尾随跟踪( smooth pursuit) [1, 2, 10, 13]。
( 1) 注视。表现为在被观察目标上的停留, 这些停留一般至少持续100ms～200ms 以上。在注视时, 眼并不绝对静止, 眼球为了看清物体总是不停地做轻微的抖动( jitter) , 其幅度一般小于1 度。绝大多数信息只有在注视时才能获得并进行加工。
( 2) 跳动。注视点间的飞速跳跃, 是一种联合眼动( 即双眼同时移动) , 其视角为1°～40°, 持续时间为30ms～120ms, 最高速度为400°/s～600°/s。在眼跳动期间, 由于图像在视网膜上移动过快和眼跳动时视觉阈限升高, 几乎不获得任何信息。
( 3) 平滑尾随跟踪。眼睛能平滑地追踪运动速度为1°/s～30°/s 的目标, 这种缓慢、联合追踪眼动通常称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移动的目标, 在没有目标的情况下, 一般不能执行。
1.2 视线跟踪技术的主要参数[1, 4, 8]
( 1) 总注视次数。是衡量搜索效率的一个指标, 注视次数越多, 可能意味着显示区域的布局越不合理。但也应该考虑注视次数和任务时间的关系( 例如: 任务时间越长需要的注视次数也越多) 。
( 2) 注视持续时间。反映的是提取信息的难易程度。持续时间越长往往意味着被测试人员从显示区域获取信息越困难。
( 3) 注视次数。区域重要程度的一个标志。显示区域越重要, 被注视的次数越多。
( 4) 注视点序列。注视点在兴趣区之间的转换, 能够度量用户界面布局的合理性。
( 5) 第一次到达目标兴趣区的时间。在显示区域搜索特定 的目标时, 第一次到达目标区域的时间。也是用户界面布局合理性度量的一个重要指标。
2 视线跟踪的基本原理和实现技术
2.1 视线跟踪的基本原理[1, 8, 14]
由光源发出的光线经红外滤光镜过滤后只有红外线可以通过; 红外线经过半反射镜后, 部分到达反射镜, 经反射镜发射到达眼球; 眼球对红外线的反射光经同一反射镜到达能锁定眼睛的特殊的瞳孔摄像机, 通过连续的记录从人的眼角膜和瞳孔反射的红外线, 然后利用图像处理技术, 得到眼球的完整图像;再经软件处理后获得视线变化的数据, 达到视线跟踪的目的。、
2.2 视线跟踪技术[1, 4, 8]
人眼的注视点由头的方位和眼睛的方位两个因素决定。目前Stiefelhagen 等人将视线跟踪技术按其所借助的媒介分为以硬件为基础和以软件为基础两种。
( 1) 以硬件为基础的视线跟踪技术的基本原理是利用图像处理技术, 使用能锁定眼睛的眼摄像机, 通过摄入从人眼角膜和瞳孔反射的红外线连续地记录视线变化, 从而达到记录分析视线跟踪过程的目的。以硬件为基础的方法需要用户戴上特制的头盔或者使用头部固定支架, 对用户的干扰很大。视线跟踪装置有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分, 其精度从0.1°至1°不等。
( 2) 以软件为基础的视线跟踪技术是先利用摄像机获取人眼或脸部图像, 然后用软件实现图像中人脸和人眼的定位与跟踪, 从而估算用户在屏幕上的注视位置。
2.3 主要的眼动测量方法
眼动测量方法, 经历了早期的直接观察法, 主观感知法, 后来发展为瞳孔- 角膜反射向量法、眼电图法( EOG) 、虹膜- 巩膜边缘法、角膜反射法、双普金野象法、接触镜法等。其具体的原理如下[4～6, 22, 23]:
( 1) 瞳孔- 角膜反射向量法。通过固定眼摄像机获取眼球图像, 利用亮瞳孔和暗瞳孔的原理, 提取出眼球图像内的瞳孔, 利用角膜反射法校正眼摄像机与眼球的相对位置, 把角膜反射点数据作为眼摄像机和眼球的相对位置的基点, 瞳孔中心位置坐标就表示视线的位置。
( 2) 眼电图法( EOG) 。眼球在正常情况下由于视网膜代谢水平较高, 因此眼球后部的视网膜与前部的角膜之间存在着一个数十毫伏的静止电压, 角膜区为正, 视网膜区为负。当眼球转动时, 眼球的周围的电势也随之发生变化; 将两对氯化银皮肤表面电极分别置于眼睛左右、上下两侧, 就能引起眼球变化方向上的微弱电信号, 经放大后得到眼球运动的位置信息。
( 3) 虹膜- 巩膜边缘法。在眼部附近安装两只红外光敏管,用红外光照射眼部, 使虹膜和巩膜边缘处左右两部分反射的光被两只红外光敏管接收。当眼球向左或向右运动时, 两只红外光敏管接收的红外线会发生变化, 利用这个差分信号就能测出眼动。
( 4) 角膜反射法。角膜能反射落在它上面的光, 当眼球运动时, 光以变化的角度射到角膜, 得到不同方向上的反光。角膜表面形成的虚像因眼球旋转而移动, 实时检测出图像的位置, 经信号处理可得到眼动信号。
( 5) 双普金野象法。普金野图像是由眼睛的若干光学界面反射所形成的图像。角膜所反射出来的图像是第一普金野图像, 从角膜后表面反射出来的图像微弱些, 称为第二普金野图像, 从晶状体前表面反射出来的图像称为第三普金野图像, 由晶状体后表面反射出来的图像称为第四普金野图像。通过对两个普金野图像的测量可以确定眼注视位置。
( 6) 接触镜法(Contact Lens) 。是将一块反射镜固定在角膜或巩膜上, 眼球运动时将固定光束反射到不同方向, 从而获得眼动信号。
六种常用的眼动测量方法性能的比较如表1 所示。
表1 六种常用的眼动测量方法的比较
3 视线跟踪技术的硬件实现
3.1 视线跟踪系统类型
目前的视线跟踪系统主要有两种类型:
( 1) 头盔式眼动跟踪系统由头盔式眼动仪和配套计算机组成。在眼动仪的配置选项中包含三维环境下的磁场头追踪仪,在记录眼动数据的同时记录头部位置变化, 不但可以提高眼动数据的准确性, 还可以记录视觉深度; 无线传输系统使头盔和眼动仪之间无线传输数据; 视频分析软件简化了景象分析流程[4, 5]。
( 2) 摄像头式眼动跟踪系统主要由摄像头式眼动仪和配套计算机组成。被测试者无需佩带任何测试仪器, 摄像头校准后自动捕捉被试的眼动。能够处理大量图片的眼动测试并进行在线分析[17～19]。
3.2 视线跟踪设备的性能
视线跟踪设备应该具有以下性能: 具有良好的视野; 高速记录双眼位置, 具有较高数据采集率; 优越的空间解析度, 低噪音; 具有一定的精度, 平均注视位置误差小; 头盔按工效学原理设计, 轻便耐用; 系统易于设置、校正和确认; 具有实时操作反馈功能; 在线数据分析, 可分辨眼跳、注视、回扫等多种眼动模式; 强劲的应用程序界面和其它应用程序兼容[5]。
3.3 国内外眼动设备研究现状及性能比较
根据英国Derby 大学行为科学研究所的Divid Wooding 教授建立的眼动仪数据库网站( http: //ibs.derby.ac.uk/emed/) 公布的结果, 目前世界上约有44 家生产眼动仪的厂家。目前, 利用电流记录法生产眼动仪的公司有法国的Metrovision 公司生产大Model Mon EOG 眼动仪; 利用电磁感应法生产眼动仪的公司有荷兰SKALAR 公司; 利用光学记录法中角膜和瞳孔的反射原理来设计的眼动仪最多, 主要的生产厂家有德国的SMI 公司, 加拿大的SR 公司, 美国应用科学实验室(ASL) , 日本的ISCAN 公司的[8]。
国内对视觉测量的研究始于70 年代末, 80 年代初。一般都是引进国外的设备作实验研究, 西安电子科技大学在自主开发研制眼动仪样机方面做了很多工作。
我们对主要眼动仪公司的产品性能进行了比较, 结果如表2[8]。
表2 四种主要的视线跟踪设备性能比较
4 视线跟踪数据处理软件
目前, 主要的眼动仪制造商的数据处理软件是基于ScanEval 软件包开发的。ScanEval 是一个对视线跟踪系统数据进行记录和分析处理的软件包。能够提供大量的统计和获取数据的方法, 能够对眼动数据进行实时的分析和反馈。这个工具包在训练系统评估, 界面设计和评价以及人机工效等很多方面具有较大的用途。对眼动数据的处理主要有滤除噪声( Filternoise) , 识别定位(Recognize Fixations) , 及局部校准与补偿(Compensatefor Local Calibration Errors) 等。最重要的功能是提取出反映用户注视区域或感兴趣区(Area of Interest- AOI) 的眼睛的定位坐标。
5 视线跟踪技术的关键问题
视线跟踪技术主要存在的问题有[1, 8]:
( 1) 数据提取问题。目前视线跟踪系统的典型采样速率为50Hz 到500Hz, 为采样点提供水平和垂直坐标。随着实验时间的延长, 很快就积累了大量的数据, 对大量采集数据的存储和分析是一个困难的问题。数据分析首先是把注视点和眼跳动分开, 由于对注视点等概念没有统一的定义, 使得在概念定义上的微小差异也能导致提取和分析结果的巨大偏差。虽然设备制造厂商都提供分析软件, 但由于软件使用的参数定义不同, 结果也就没有可比性。另外由于被测试人员的头部和身体的运动而导致场景不停的改变也为数据提取带来了新的挑战。
( 2) 数据解释问题。目前, 视线跟踪数据的分析主要有基于认知理论和模型的自上而下分析法和自下而上的数据观察法。由于眼动存在固有的抖动和眨动, 导致从眼动数据中提取有意( intentional) 信息较为困难。解决此问题的方法是利用某种先验模型( priorimodal) 来对眼动数据处理过程加以约束。但是应用研究并不总是有很强的理论和模型来指导的。在许多情况下, 研究人员必须使用数据驱动来发现数据的模型。例如: 为了研究顾客的购买喜好, Russo 和Leclerc 在1994 年简单地通过观察被测试人员眼睛运动, 记录下来注视点序列, 在注视序列中发现一般通用的模型。另外, 由于对数据解释中使用的参数缺乏统一的定义, 有时不同的研究人员对同一参数的理解甚至是矛盾的, 因此要正确的解释视线跟踪数据也是非常困难的。
( 3) 精度和自由度问题。以硬件为基础和以软件为基础的视线跟踪技术相比, 其精度可以达到很高( 0.1°) , 但所应用的设备却限制了人的自由, 使用起来很不方便; 相反以软件为基础的视线跟踪技术, 对用户的限制大大降低, 如用户的头部可以移动, 但其精度相对来说低得很多, 只有2°左右, 要想得到准确的注视焦点比较困难。
( 4) 米达斯接触(Midas Touch) 问题。所谓米达斯接触(MidasTouch) 问题( 米达斯是希腊神话中的一位国王, 能点石成金) 指的是由于用户视线运动的随意性而造成计算机对用户意图识别的困难。用户可能希望随便看什么而不必非“意味着”什么, 更不希望每次转移视线都可能引发一个动作。因此, 视线跟踪技术的挑战之一就是避免“米达斯接触”问题。
( 5) 算法问题。由于视线跟踪技术还没有完全成熟和眼动本身的特点( 如: 存在固有的抖动, 眨眼等) 造成数据中断, 会存在许多干扰信号, 使得我们把注视焦点与屏幕元素相关联时存在困难; 另外, 视觉通道只有和其它通道( 如: 听觉等) 配合才能发挥更大的作用, 提出合理的通道整合模型和算法也是一个巨大的挑战。
6 结论
本文在总结大量文献的基础上对视线跟踪技术中的概念和主要参数进行了定义, 分析了六种主要的视线跟踪技术原理, 并对几种主要的眼动仪性能进行了对比。通过对眼动仪硬件设备的研制和发展状况的介绍, 可以看出, 虽然我国在研制眼动仪方面取得了一定的成绩, 但在眼动仪商品化方面尚需进一步努力; 另外在眼动数据的提取和处理软件、方法的研究上,还是有许多工作可以做的。相信随着计算机技术和高性能摄像机的出现, 视线跟踪设备必将朝着高精度、高实用和低成本的方向发展。
参考文献
1.Robert J K Jacob, Keith S Karn.Eye tracking in human computerinteraction and usability research: Ready to deliver the pormises[J].Computer Vision and Image Understanding, 2003; 24: 682～701
2.Andrew T Copola.Idiosyncratic characteristics of saccadic eye movementwhen viewing different visual environments[J].Vision Research,1999; 39: 2947～2953
3.Carlos H Morimoto,Marcio R M Mimica.Eye gaze tracking techniquesfor interactive applications[J].Computer Vision and Image Understanding,2005; 98: 4～24
4.L Young, D Sheena.Methods & designs : survey of eye movementrecording methods[J].Behav Res Methods Instrum, 1975; 7( 5) : 397～224
5.Arnon Amir, Lior Zimet, Alberto Sangiovanni- Vincentelli.An embeddedsystem for eye- dectection sensor[J].Computer Vision and Image Understanding,2005; 98: 104～123
6.Chern- Sheng Lin, Li_Wen Lue.A new image processing method forevaluating the papillary responses in a HMD- type eye- tracking device[J].Optics & Laser Technology, 2003; 35: 505～515
7.Christopher D Wickens, Xidong Xu.The allocation of visual attentionfor aircraft traffic monitoring and avoidance: Baseline Measures andimplications for freeflight[R].2000: Technical Report ARL- 00- 2/FAA-00- 2, 2000
8.Sohel Merchant.Eye Movement Research in aviation and Commerciallyavailable eye trackers today.2001
9.Liu Zhong- qi , YUAN Xiu- gan.Characteristics of eye movement andcognition during simulated landing of aircraft[J].航天医学与医学工程,2002; 15( 5) : 379～380
10.Stato S.Does fatigue exist in a quantitative measurement of eyemovement[J].Ergonomics, 1992; 35( 5) : 607～615
11.Franz Hatfield, Eric A Jenkins.Principles and guidelines for the designof eye/voice interaction dialogs[J].IEEE, 1996
12.Melanie Diez, Deborah A, Boehm- Davis.Tracking pilot interactionswith flight management system through eye movements[C].In: 11th InternationalSymposium on Aviation Psychology, Columbus1
13.Beggs W, Howaveh C.Movement control in man in a repetitive motortask[J].Nature, 1970: 391～756
14.Yar A L.Eye movement and vision[M].Plenum Press, 1967: 19～58
15.Collewijn H, Van der Mark F.Precise recording of human eye movements[J].Vision Research, 1975; 15: 447～450
16.Shackel B.Note on mobile eye viewpoint recording[J].Journal of theOptical Society of America, 1960; 50( 8) : 763～768
17.Ditchburn R W.Eye movements and visual perception[M].Clarendonpress Oxford, 1973: 48～49
18.闫国利, 白学军.广告心理学中的眼动研究和发展趋势[J].心理科学,2004; 27( 2) : 459～461
19.丁锦红, 王军, 张钦.平面广告中图形与文本加工差异的眼动研究[J].心理学探新, 2004; 24( 4) : 30～34
20.刘卫芳, 李智.扫视眼动的系统分析方法[J].国外医学生物医学工程,1998; 21( 6) : 338～343
21.孙复川, 赵信珍.视觉图像辨认眼动中的TOP- down 信息处理[J].生物物理学报, 1994; 10( 3) : 431: 438
22.Erkelens C J, van Ee R.Capture of visual direction: an unexpectedphenomenon in binocular vision[J].Vision Res, 1997; 37: 1939～1951
23.Haslwanter T.Mathmatics of 3- dimensional eye rotations[J].VisionRes, 1995; 35: 1727～1739
24.石上有一.用于注视点跟踪的眼摄像机系统[J].红外月刊, 2001; 4:35～40
25.Brandt H F.Ocular patterns and their psychological implications[M].The Ame Press, 1940
