视线检测方法、视线检测装置以及控制程序产品与流程

本发明涉及一种检测人的视线的技术。

背景技术：

1、视线检测技术被用于诸如对人感兴趣的对象的推测、对睡意等人的状态的推测以及通过视线进行向设备的输入的用户界面等的各种用途。视线检测技术大致区分为头部佩戴型和非接触型。头部佩戴型的视线检测技术是将头戴式显示器等的装置佩戴到人的头部从而检测视线的技术。非接触型的视线检测技术是无需将装置佩戴到人体即可以检测视线的技术。由于非接触型的视线检测技术不必如头部佩戴型的视线检测技术那样需要将装置佩戴到头部，具有不会给人带来麻烦、不会遮挡人的视野的优点。因此，本发明着眼于非接触型的视线检测技术。

2、在此，非接触型的视线检测技术大致区分为瞳孔角膜反射法和基于三维眼球模型的方法。瞳孔角膜反射法，例如，如专利文献1所述，是通过发光元件对人的眼睛照射光，并通过被投影到眼睛的反射像的位置、光的照射角度、反射像的位置的移动量等检测视线的方法。

3、基于三维眼球模型的方法是基于通过解析脸部图像获取到的与眼球有关的信息推测视线方向的方法。例如，专利文献2公开了一种根据通过解析脸部图像获取到的眼球的转动角度以及脸部的朝向推测视线方向的方法。而且，还已知有一种将连接通过解析脸部图像而获得的眼球中心位置和虹膜中心位置的三维矢量推测为视线方向，或将相对于瞳孔中心位置的切面的法线推测为视线方向的方法。

4、然而，非接触型的视线检测技术，在利用表示脸部的一侧面的脸部图像的情况下，换句话说，在从脸部图像只能检测到一只眼睛的情况下，难以高精度地检测视线方向。为此，例如，对于被设置在相对于步行者的行进方向位于侧面的对象物，存在难以基于步行者的视线信息判断注视度或有无注意力不集中的问题。上述专利文献1以及专利文献2所公开的非接触型的视线检测技术并没有具体地考虑在只能检测到一只眼睛的情况下的视线的检测方法。

5、现有技术文献

6、专利文献

7、专利文献1：日本专利公开公报特开昭61-172552号

8、专利文献2：日本专利公开公报特开2003-271932号

技术实现思路

1、本发明是为了解决上述的问题而做出的发明，其目的在于谋求进一步提高在从脸部图像只能检测到一只眼睛的情况下的视线的检测精度。

2、本发明的第一实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，从所述脸部的图像数据检测包含所述人的耳朵的耳朵区域以及包含所述人的头发的头发区域的至少其中之一；基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示被包含在所述耳朵区域的耳朵的位置以及被包含在所述头发区域的头发的位置的至少一方的位置的信息，检测表示所述脸部的朝向的信息；基于表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息，检测表示所述人的视线的信息。

3、本发明的第二实施方式涉及的视线检测方法，是视线检测装置的视线检测方法，获取人的脸部的图像数据；从所述脸部的图像数据检测包含所述人的左眼的左眼区域以及包含所述人的右眼的右眼区域；在检测到所述右眼区域以及所述左眼区域的情况下，从所述脸部的图像数据检测表示所述脸部的朝向的信息，通过第一处理，检测表示所述人的视线的信息，所述第一处理利用了表示被包含在所述右眼区域的右眼的位置的信息以及表示被包含在所述左眼区域的左眼的位置的信息和表示所述脸部的朝向的信息；在仅能检测到所述右眼区域或者所述左眼区域其中一方的眼睛区域的情况下，基于表示被包含在所述一方的眼睛区域的一方的眼睛的位置的信息和表示在所述脸部与眼睛不同的部位的位置的信息，检测表示所述脸部的朝向的信息，通过利用了表示所述一方的眼睛的位置的信息和表示所述脸部的朝向的信息的第二处理，检测表示所述人的视线的信息。

1.一种视线检测方法，是视线检测装置的视线检测方法，其特征在于包括以下步骤：

2.根据权利要求1所述的视线检测方法，其特征在于，

3.根据权利要求2所述的视线检测方法，其特征在于，

4.根据权利要求3所述的视线检测方法，其特征在于，

5.一种视线检测装置，其特征在于包括：

6.一种视线检测装置的控制程序产品，其特征在于，使所述视线检测装置所具备的计算机作为以下各部而发挥作用：