基于球谐函数的人脸模型表面光场构建研究
大学在特定环境下（半球形采集设备， 特定人位于球中心，半球采集架上分布6架摄像机以及分布均匀的光源）拍摄的6张图像，分别对应6个视点，如图3所示，且6个视点分布范围如图中绿色曲线所示。采用的三维人脸模型为基于多视图的三维网格重建模型，顶点个数为1660968，如图3中间的三维人脸模型。
2.3 离散表面光场数据获取
根据上述源数据采样，首先记6个稀疏采样视点的角度值为向量ω=ω1，…，ω6T，然后把采样得到的6个视点下的人脸图像像素点分别与其三维人脸模型顶点对应，即将三维模型上第j个顶点在第i个视点图像上的像素点颜色值（RGB）存为mi，j，这样整个三维人脸模型顶点对应的离散表面光场数据可压缩为矩阵Mm×n，其中m表示顶点个数，n表示视点方向个数。即每行代表一个顶点所有方向的辐射值，每列代表物体的整个表面在一个方向的辐射值。
3 人脸表面光场构建
针对极稀疏采样数据，为克服稀疏采样导致的亚约束性和不稳定性问题，本文使用具有诸多特殊性质的球谐函数作为基函数，且在无约束最小二乘拟合过程中添加一项稳定能量项。这样，人脸表面光场的构建问题就转化为无约束最小二乘问题： argminC1-λEMSE+λEstab
（6） 式中：λ为权重，EMSE为式（5）计算的最小均方误差，Estab为能量项。式（6）中，Estab和λ的选取对拟合起到非常关键的作用。一个好的能量项不仅可以防止在采样没有覆盖的半球区域上出现强烈的颜色变化（即高频），还可防止这些区域函数不超过颜色空间范围。
受文献[12]和文献[13]的启示，经过大量实验验证，本文选定Estab在式（7）条件下稳定拟合。Estab =1Area（Ω）∫Ωf2
（7） 基于球谐函数的人脸模型表面光場构建问题可进一步表示为：argminC（1-λ）EMSE+λArea（Ω）∫Ω‖f2‖
（8） 综上，利用采样得到的稀疏已知视点下的表面光场数据，根据式（7）拟合出系数，以球谐函数为基底的线性组合表示每个顶点处的表面光场，即实现表面光场的连续化。基于此，给定任意视点参数就可利用构建的表面光场函数计算得到顶点在该视点下的辐射度值，然后利用基于光场的绘制技术绘制出该视点下的图像。
4 实验结果
实验主程序在Visual Studio 2010中运行，处理器为Intel （R） Core（TM） i7-4790 CPU 3.60GHz和4RAM。表面光场的一个重要作用是进行任意视点绘制。为验证本文方法的有效性和鲁棒性，下面给出基于本方法构建的人脸表面光场绘制结果，且与基于插值法拟合出的离散表面光场数据绘制效果对比。
4.1 插值法计算表面光场
插值法计算表面光场计算方式为：M（Ri，Gi，Bi）=1∑αi∑6i=1αi·（Ri，Gi，B）
（9） 式（9）中：M（Ri，Gi，Bi）为空间任意一点在给定视点下投影点的辐射值。αi为视点 j 与表面光场数据记录的光线方向之夹角的余弦值。（Ri，Gi，Bi）为采样得到的离散表面光场矩阵Mm×n的第i列值。
当对指定视点进行绘制时，还需考虑三维模型网格点间的遮挡情况，即模型中点在该视点下的可见性。判断方法为： 计算三维网格模型顶点在此视点下的投影点，当图像平面同一位置的投影点多于一个时，比较三维模型点在相机坐标中的深度，即距离相机位置的远近，离相机近的为在此视点下的可见点。
4.2 已知视点绘制结果
为验证本文方法的有效性，利用拟合出的表面光场数据渲染出已知视点图像，与真实拍摄图像和插值法渲染出的图像进行对比，绘制结果如图4～图6所示。其中，第a列图像为拍摄图像，第b列图像为插值法绘制图像，第c列为本文方法绘制结果。从绘制结果看，c列绘制图像有真实感，与插值法的绘制结果相比，更接近真实拍摄的图像。
4.3 新视点绘制结果
为进一步验证本文方法有效性，选择任意几个视点进行绘制，结果如图7所示。其中，第a列图像为基于插值法拟合出的新视点光场数据绘制效果图，第b列和第c列图像为基于本文方法构建的表面光场绘制效果图。从绘制视觉效果看，第b列和第c列绘制图像明显更具真实感，这验证了本文方法效果较好。综上，已有视点和新视点的绘制实验结果验证了本文提出的基于球谐函数构建人脸表面光场的方法有效且具鲁棒性。
5 结语
针对极其稀疏的表面光场采样数据，获取其函数是非常困难的。本文提出把表面光场表示为基函数的线性组合，利用球谐函数作为基函数；为了避免稀疏采样数据造成拟合的约束性和不稳定性，使用增加稳定能量项的无约束最小二乘拟合法，实现对人脸模型表面光场的鲁棒性构建。利用连续化的表面光场函数实现了原有视点和新视点绘制，实验结果验证了本文方法的有效性；与基于插值法计算的离散表面光场数据绘制结果相比，本文方法更具鲁棒性。
参考文献：
[1] C BUEHLER， M BOSSE， L MCMILLAN， et al.Unstructured lumigraph rendering[M]. In SIGGRAPH， 2001.
[2] A DAVIS， M LEVOY， F DURAND. Unstructured light fields.comput[J]. Graph. Forum， 2012，31（2）：305-314.
[3] LEVOY M，HANR AHAN P. Light field rendring [C].Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM，1996： 31-42.
[4] M TAO， P SRINIVASA， J MALIK， et al. Depth from shading， defocus， and correspondence using light-field angular coherence[M]. In CVPR， 2015.
[5] S HEBER，T POCK. Convolutional networks for shape from light field[M]. In CVPR， 2016.
[6] MILLER G， RUBIN S， PONCELEON D. Lazy decompression of surface light fields for precomputed global illumination [M]. Vienna： Rendering Techniques， 1998： 281-292.
[7] WOOD D N， AZUMA D I， ALDUBGER K， et al. Surface light fields for 3d photography [C]. Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2000： 287-296.
[8] MIANDJI E， KRONANDER J， UNGER J. Geometry independent surface light fields for real time rendering of precomputed global illumination [C]. Proceedings of SGRAD 2011. Stockholm： Royal Institute of Technology， 2011：27-34.
[9] JACHNIK J， NEWCOMBE R， DAVISON A J. Real-time surface light-field capture for augmentation of planar specular surfaces [C]. IEEE International Symposium on Mixed and Augmented Reality （ISMAR）. Piscataway，NJ： IEEE， 2012：91-97.
[10] WU H， DORSEY J， RUSHMEIER H. A sparse parametric mixture model for btf compression， editing and rendering[J]. Computer Graphics Forum ，2011，30（2）：465-473.
[11] LIYUN TU， DAN YANG， JARED VICORY， et al. Fitting skeletal object models using spherical harmonics based template warping[J]. IEEE SIGNAL PROCESSING LETTERS， 2015，22（12）：321-325.
[12] MALZBENDER T， GELB D， WOLTERS H. Polynomial texture maps[C]. In Computer Graphics， SIGGRAPH 2001：519-528.
[13] N K KALANTARI， T C WANG ，R RAMAMOORTHI. Learning-based view synthesis for light field cameras[J].ACM Trans. on Graphics， 2016，35（6）：1254-1262.
[14] WOOD D N， AZUMA D I， ALDINGER K，et al. Surface light fields for 3d photography[C]. In Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques， SIGGRAPH ’00， ACM Press/Addison-Wesley Publishing Co， New York， USA， 2000：287-296.
[15] SUREN VAGHARSHAKYAN， ROBERT BREGOVIC， MEMBER. Light field reconstruction using shearlet transform[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017.
[16] K VANHOEY， B SAUVAGE， O GNEVAUX，et al. Robust fitting on poorly sampled data for surface light field rendering and image relighting[M]. Computer Graphics Forum， 2013.
[17] I TOSIC ， K BERKNER.Light field scale-depth space transform for dense depth estimation[C]. Proc IEEE Conf ， Computer Vision and Pattern Recognition Workshops （CVPRW）， 2014：441-448.
[18] K Y UCER， A SORKINE HORNUNG， O WANG， et al.Efficient 3D object segmentation from densely sampled light fields with applications to 3D reconstruction[J].ACM Trans. on Graphics， 2016，35（3）：46-48.
[19] 王玉萍，王立春，劉蓬燕，等.基于多视点图像的人脸表面光场重构[J].北京工业大学学报，2016，42（6）：125-128.
[20] S HEBER ，T POCK.Convolutional networks for shape from light field[C]. Proc. IEEE Conf. Computer Vision and Pattern Recognition， 2016：654-661.
[21] LAM P M， LEUNG C S， WONG T T. Noiseresistant fitting for spherical harmonics[J]. IEEE Transactions on Visualization and Computer Graphics 2006，12（3）：254-265.
（责任编辑：杜能钢）