首页| 行业资讯| 企业名录| 周边产品| 数字城市| 增强现实| 工业仿真| 解决方案| 虚拟医疗| 行业仿真| 图形处理| 军事战场
用户登录/注册 ×
资讯首页
行业资讯 >> 专业文献
行星探测的可量测虚拟现实环境构建方法
时间:2015-10-21    评论:0
    作者:梁健,刘召芹,邸凯昌
    单位:中国科学院遥感应用研究所
          航天飞行动力学技术重点实验室

    摘要:提出了一种基于行星探测巡视器地面图像和高分辨率卫星图像的可量测虚拟现实环境构建方法?根据巡视器在不同方位角?高度角获取的立体图像,经过圆柱投影?自动匹配和无缝拼接生成360°全景图像?同时开发了从全景图像到原始图像的反算功能,使用户可直接在全景图像上进行量测,从原始立体像对上得到三维地形信息?三维可量测全景图像与基于NASA的World Wind的星球浏览器进行无缝集成,为行星探测应用提供了可量测虚拟现实环境,实现了从垂直视角卫星图像到地面水平视角巡视器图像的一体化量测?

    1 引言

    卫星图像和巡视器地面图像被广泛用于行星着陆探测任务中?高分辨率的卫星图像用于全球范围的制图以及着陆区选取?巡视器地面图像提供更精细的着陆区域地形地貌和光谱信息,为科学目标选取及路径规划提供技术支撑?卫星图像和地面图像及其生成的数字产品的可视化与量测是实施行星着陆探测任务不可缺少的工具,同时也可以用于行星科学研究以及教育和科普方面?

    在对地观测和地理信息领域,虚拟现实(Virtual Reality,VR)和虚拟地理环境(Virtual Geographic Environments,VGE)技术已广泛应用于空间影像和数据的可视化[1],李德仁院士等提出了可量测虚拟现实(Measurable Virtual Reality,MVR)的概念,并用正射影像及其立体匹配片实现MVR用于可视化和三维量测[2],而后又提出数字可量测影像的概念并用于地球空间信息服务中[3-4]?地理信息系统(GIS)技术已被应用于行星探测研究和任务实施中,例如由美国地质调查局研发的交互式网络地理信息系统行星分析数据库(Planetary Interactive GIS on the Web Analyzable Database,PIG-WAD)[5]和美国俄亥俄州立大学开发的火星网络地理信息系统[6]?但总的来说,GIS和虚拟现实技术在行星探测领域的研究和应用还比较少,其关键技术和应用潜力远没有被开发?

    Google Earth是目前比较流行的星球浏览软件,其中包含了月球和火星及其它行星的卫星图像数据,用户可以以不同分辨率?多视角进行浏览,同时在对应的地理位置上通过热点提供了浏览着陆器和巡视器(如勇气号和机遇号火星车)全景图像功能?NASA开发的开源软件World Wind具备与Google Earth类似的便捷强大的可视化功能,同时也提供了更多的行星数据?但是,对于图像的量测,以上两款软件仅提供了简单的基于卫星图像的距离量测功能,均没有提供巡视器全景图像量测功能?

    2 面向行星探测的可量测虚拟现实环境的提出

    2.1可量测虚拟现实环境的概念

    图1 显示了可量测虚拟现实环境的结构图,其核心部件包含了三维可量测全景浏览器以及基于World Wind的星球浏览器?其中三维可量测全景浏览器,用于浏览及量测由地面立体像对经过圆柱投影?自动匹配?无缝拼接?图像匀光后生成的360°全景图像?量测功能的实现可以分为以下几个步骤:

    (1)在全景浏览器上选取需要量测的目标点;

    (2)由柱面全景图像坐标反算回原始立体像对,找到该点在原始立体像对上的对应像素坐标;

    (3)由立体像对进行最小二乘匹配,获取图像内外方位元素后,进行前方交会解算出点的三维坐标?World Wind全球浏览器为数字高程模型(DEM)和数字正射影像(DOM)的可视化提供了平台,同时,巡视器的路径也可以在上面进行叠加?这两个浏览器无缝连接在一起,实现从垂直视角到水平视角的一体化量测?


图1可量测虚拟现实环境(MVE)概念图

    2.2 数据

    文中所用地面图像实验数据,来自于美国勇气号火星探测车(Mars Exploration Rover,MER)上搭载的全景相机(Pancam)拍摄的火星地面图像?

    立体全景相机基线30cm,每台相机的像幅大小为1024×1024像元,相机主距为43mm,像元大小为12μm,视场角为16.8°×16.8°,具备多个光谱波段[7]?全景相机和导航相机一同挂载在高精度云台上,可以实现360°方位角和±90°俯仰角的旋转?实验中使用的数据为经核线重采样的Pancam立体像对及派生的三维点云数据?经过核线重采样后,立体像对消除了上下视差,使得立体影像匹配时同名点的搜索范围由二维降到了一维,提高匹配的可靠性和速度?三维点云数据通过立体像对间匹配得到同名点后,根据相机外方位元素(位置和姿态),进行前方交会计算得到?图像和三维点云数据直接从MER Analyst’s Notebook网站中下载(https://an.rsl.wustl.edu/mer/mera/mera.htm)?这些数据由美国喷气推进实验室(Jet Propulsion Laboratory,JPL)的多任务图像处理实验室(Multimission Image Processing Laboratory,MIPL)通过其软件流水线自动生成,核线重采样的图像称为FFL文件;三维点云数据文件称为XYL文件,按立体像对核线重采样后的左图像为索引存储每个像素点在工作区局部坐标系中地面坐标X?Y?Z值?图2所示为Pancam获取的一对立体图像,图2(a)是左相机获取图像(图像编号:2p186290744fflajqvp2263l2m1),图2(b)是右相机获取图像(图像编号:2p186290744fflajqvp2263r2m1)?


图2 勇气号火星车全景相机获取的一对核线立体图像

    文中采用的卫星图像来源于美国“火星勘测轨道器”(Mars Reconnaissance Orbiter,MRO)携带的高分辨率科学成像仪(High ResolutionImaging Science Experiment,HiRISE)?HiRISE相机具有14个CCD探测元件,其中10个为红光波段,2个为蓝光波段,以及2个近红外波段,以推扫式扫描的方式获取火星表面图像[8];每个CCD在垂直于行进的方向有2048个像元,沿行进方向有128个像元?

    HiRISE相机采用时间延时积分电荷耦合元件(TDI-CCD)进行成像,通过对一个物体进行多次曝光,使积分时长增加M倍(M有8?32?64和128四种选择),在第一个积分时间周期内,目标在某列的第一个像元进行曝光积分,将得到的光生电荷向下移一个像元;在第二个积分周期,目标恰好移动到该列的第二个像元进行曝光积分,得到的光生电荷与上一个像元移来的电荷相加再移到下一个像元……第M个积分周期结束时,该列上第M个像元的光生电荷与前M-1个像元的电荷相加后从寄存器读出?本文采用的HiRISE图像为红光波段,像元分辨率0.25m,图像大小为44363×26521像元,位于勇气号火星车着陆区域,火星经纬度范围为(175.44°,-14.49°)至(175.56°,-14.68°)?Hi-RISE卫星数据可以在“行星数据系统”(PDS)数据库中(https://pds.jpl.nasa.gov/)下载得到?

    3 可量测全景图像构建

    自动构建大场景?高分辨率的全景图像是近年来计算机视觉领域的研究热点[9],全景图像提供了单一图像所不具备的大视场角,用户可以得到较好的沉浸感?可量测全景图像构建流程如图3所示?


图3 可量测全景图像构建流程图


    3.1全景图像拼接

    3.1.1图像预处理

    通常情况下,火星车所停留的平面会存在一定的坡度,导致获取图像上地平线的倾斜(图4),从而拼接完成的全景图像出现波浪状的扭曲?所以需要通过图像的外方位元素进行校正?

       (1)

    式中:x,y是原始图像的像素坐标;x′,y′是校正后图像的像素坐标;k是沿着光轴的旋转角?

图4地平线校正

    3.1.2 圆柱投影

    在全景图像拼接中,圆柱投影?球面投影?立方体投影是三种常见的投影方式?由于圆柱投影是可展曲面,具有较好的几何特性,是被普遍采用的一种全景图像构建方式,当已知焦距或水平视场角后,就可以将其投影到圆柱坐标系统[10]?

    图5显示了圆柱坐标系统的构建方式,采用右手坐标系XcYcZc,W为原始图像的宽度,H为原始图像的高度?坐标原点设在圆柱中心?圆柱投影可以提供水平方向360°的视角,但在竖直方向,视场角被限制在±90°内?由于火星车相机获取图像时的俯仰角无法达到天顶与天底,故圆柱投影的竖直视场角可以满足要求?


图5 圆柱投影

    3.1.3 全景拼接

    全景拼接在Hugin开源软件[11]基础上增加了对图像外方位元素的处理?首先对输入图像进行圆柱投影,然后利用SIFT算法[12]进行关注点的提取与匹配,经过RANSAC方法剔除粗差?为了获得高精度的拼接图像,获得相邻图像的同名点后,利用同名点进行光束法平差,对各图像的外方位进行调整,利用平差后的影像外方位,计算两两图像间的旋转矩阵,最后对图像进行匀光处理完成全景图像拼接?图6为勇气号火星车在672火星日至677火星日获取的3个不同俯仰角的81幅单波段原始核线图像拼接完成的全景图像?

    生成全景图像后,需要对拼接过程中的参数进行记录,以便进行后续的坐标反算,记录的内容包括:

    (1)原始图像的文件名?格式?图像大小?焦距和水平视场角;

    (2)全景图像的文件名?格式?图像大小?投影类型;

    (3)同名点的像素坐标?

    3.2 全景图像量测

    拼接生成的全景图像只是一个二维的圆柱投影图像,其三维量测功能的实现是通过全景图像坐标反算得到在原始立体图像的位置,利用原始立体图像实现量测功能?由全景图像坐标反算回原始立体图像坐标,分为以下几个步骤?

    3.2.1 全景图像坐标反算回经过圆柱投影后的图像

    首先,通过读取工程文件信息,计算全景图像每个像素所占的水平视场角ρ?

                 (2)

    式中:W是全景图像的宽度;Hfov是全景图像的水平视场角;I(xp,yp)是全景图像上的某一点;I′(xc,yc)是其圆柱投影后图像上的对应点?  

   (3)

    式中:是点I(xp,yp)到全景图像中心的欧氏距离;θ,p,r是构成旋转矩阵的旋转角?

    3.2.2 反圆柱投影

    对点I′(xc,yc)进行反圆柱投影,得到原始图像上的点I″(xo,yo)

    (4)

    3.2.3三维量测

    除了原始立体图像外,PDS提供了MER任务中大部分站点局部坐标系中的地面坐标X?Y?Z值?距离?坡度等数据?这些信息与立体像对中左影像的核线影像相关联,并与图像像素坐标一一对应?

    在全景浏览器中,不仅可以进行单点量测,还可以进行线量测(图7),在全景图像上选取任意两点画线,计算在线段上的所有点的三维信息,可以绘制出该线段的高程和坡度分布曲线(图8)?


图7 对全景图像进行线量测


图8 高程和坡度分布曲线

    对于没有提供三维信息的站点,需要在全景浏览器中进行实时的解算?在反算得到原始图像的坐标值后,调出该点所在的立体像对,通过影像匹配和前方交会解算出该点的坐标?图9显示了实时反算后,调出该点所在的立体像对,然后进行最小二乘匹配和前方交会计算该点的三维坐标?


图9立体像对量测窗口

    3.3 全景图像的可视化

    拼接完成的全景图像(图6)是将圆柱投影的图像以矩形格式存储的,直接浏览会有变形,故需要使用全景浏览器浏览?本文利用DirectX技术构建一个圆柱体,将全景图像作为贴图置于圆柱内表面,设置视点于圆柱中心,用鼠标和键盘控制视点的旋转和移动,同时,对所在显示窗口内的部分采用双缓存技术进行实时的反投影计算,使得浏览器所显示透视投影图像与相机拍摄的原始图像一致(图7)?全景浏览器提供了基础的浏览功能,如缩放?旋转?平移,以及上面所述的各种量测功能?不同站点之间的全景图像通过热点进行连接?

    4 全景浏览器与WorldWind的无缝集成

    World Wind是NASA开发的开源虚拟星球浏览器,除了地球数据外,WorldWind还提供了月球?火星?金星?木星的数据[13]?用户可以对所关注的星球进行浏览?平移?缩放?WorldWind中的数据以XML格式进行管理,可以通过编写XML文件自由叠加自己的图像?DEM?DOM?探测车路径以及其它数据?

    基于火星车着陆区的HiRISE立体卫星图像,生成高分辨率的DEM和DOM,并将其按经纬度叠加到火星表面?为了增加World Wind的渲染速度,图像通过建立金字塔进行分层管理,在每一层中,图像被分割为512×512像素的瓦片,并通过文件名建立索引?其它数据如火星车的路径图,可以以KML格式加入World Wind中?

    全景浏览器与星球浏览器的无缝集成通过影像数据和坐标实现,其中卫星图像所用的星固全球坐标和地面图像所用的着陆区局部坐标实时转换?只要在全景图像站点一定距离范围内点击星球浏览器,则会激活全景浏览器并显示该全景图像?

    图10(a)显示了WorldWind火星的全貌,图10(b)为World Wind叠加HiRISE卫星图像?勇气号火星车路径?以及由火星车地面影像生成的数字正射图像后的效果图?点击星球浏览器上的数字正射影像,则可激活对应的全景图像进行浏览和量测?


        (a) WorldWind火星的全貌          (b) World Wind叠加HiRISE卫星图像

图10 World Wind用户界面

    5 结束语

    本文针对行星着陆巡视探测的特点,提出了一种基于地面全景图像和卫星图像的可量测虚拟现实环境构建方法,将地面图像自动拼接成可量测全景图像,利用全景浏览器直接在全景图像上进行三维量测,三维可量测全景图像与基于星球浏览器进行无缝集成,实现了从垂直视角卫星图像到地面水平视角巡视器图像的一体化量测?在后续的工作中,我们将加入更多的数据,如我国嫦娥二号绕月卫星图像及DEM?DOM数据?未来的月球车地面图像?火星探测数据等,构建月球和火星可量测全景虚拟现实环境,为探测任务和科研应用服务?

    参考文献(References)

    [1]LinHui,Gong Jianhua.Exploring virtual geo graphic environments[J].AnnalsofGIS,2001,7(1):1-7

    [2]LiDeren,WangMi,Gong Jianya.Princip leandimplement of measurable virtual reality(MVR)basedon seamless stereo ortho image database[C]//The International Archives of the Photogrammetry.Beijing:Remote Sensing and Spatial Information Sciences,200

    [3]LiDeren,Huang Junhua Shao Zhen feng.Digitalearth with digital measurable images[C]//The International Archives of the Photogrammetry.Beijing:Remote Sensing and Spatial Information Sciences,2008:533538

    [4]LiDeren,Xin Shen.Geospatialinformationservice basedon digital measur able image take image city Wuhanasan example[J].Geo SpatialInformation Science,2010,13(2):79-84

    [5]Hare TM,Tanaka KL.PIGWAD–new functionality for planetary GIS on th eweb[C]//31st Lunarand Planetary Science Conference.Houston:Lunarand Planetary Institute,2000:1889

    [6]Li Rongxing,Di Kaichang,Wang Jue,etal.A Web GIS for spatial data processing,analysis,and distribution for the MER 2003 mission[J].Photogrammetric Engineeringand Remote Sensing,Special Issueon Web and Wireless GIS,2007,73(6):671-68

    [7]Alexander DA,Deen RG,Andres PM,etal.Processing of Mars Exploration Roverimagery for science and operations planning,E02S02[J].Journal of Geo physical Research-Planets,2006,111(E2)

    [8]McEwenAS,Eliason EM,Bergstrom JW,etal.Marsr econnaissanceorbiter’shigh resolution imaging science experiment(HiRISE),E05S02[J].Journal of Geophysical Research,2007,112

    [9]SzeliskiR,ShumH.Creating full view panoramic image mosaics and texture-mappedmodels[C]//SIGGRAPH’97 Proceedings of the 24th Annual Conference on Computer Graphicsand Interactive Techniques.Los Angeles:ACMSIGGRAPH,1997:251-258

    [10]Chen Shenchang. QuickTime VR-animage-basedap proach to virtual environ mentnavi gation[C]//SIG-GRAPH’95ComputerGraphics.LosAngeles:ACM SIGGRAPH,1995:29-38

    [11]Wikipedia.Hugin(so ftware),2011a[EB/OL].[2011-07-10].https://en.wikipedia.org/wiki/Hugin_software
 
    [12]Lowe DG.Distinctive image features fromscale invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110

    [13]Wikipedia.NAS AWorld Wind,2011b[EB/OL].[2011-07-10].https://en.wikipedia.org/wiki/World_Wind

标签:行星航天量测宇宙
上一篇:基于分布式虚拟现实技术的汽车驾驶模拟器的研究下一篇:习大大戴3d眼镜观看医疗设备(图)
网友评论:行星探测的可量测虚拟现实环境构建方法
留名: 验证码:
最新评论
查看全部评论0
暂无评论
您可能还需要关注一下内容:
·第十九届中国虚拟现实大会深圳举行
·半实物仿真与航天工程
·对航天器虚拟仿真技术发展的思考
·美国虚拟仿真软件的国家意志
·UNIGINE虚拟仿真实时3D引擎
·虚拟现实(VR)技术在武术训练中的应用研究
·UNIGIN航空航天虚拟仿真模拟器解决方案
·汽车工业镁合金压铸成形技术及模拟仿真
·航空工业仿真数据管理解决方案
·3D打印设计婚纱首饰 上海文创开发囍产品
☏ 推荐产品

小宅 Z5 2018青春版
商家:小宅

杰瑞特运动平台
商家:杰瑞特智能

Dikalis眼动追踪
商家:赢富仪器

魔神 Hawk
商家:魔神运动分析

5DT Binoculars
商家:四维宇宙

Christie DS+750
商家:四维宇宙

Zalman M220W
商家:四维宇宙

全息360°
商家:四维宇宙

PD F10 AS3D
商家:四维宇宙

PHANTOM系列
商家:四维宇宙
☞ 外设导航
☏ 企业名录
【深圳】深圳市观度科技有限公司
【沈阳】沈阳中申高新科技有限公司
【北京】北京未尔锐创科技有限公司
【南昌】南昌虚拟现实检测技术有限公司
【上海】上海桥媒信息科技有限公司
【宁波】宁波维真显示科技股份有限公司
【潍坊】歌尔股份有限公司
【上海】霍尼韦尔(中国)有限公司
【北京】科视Christie-中国
【北京】北京华如科技股份有限公司
关于本站联系我们融资计划免责声明网站建设广告服务咨询策划行业推广
北京第三维度科技有限公司 版权所有 京ICP备15051154号-3
2008-2020 Beijing The third dimension Inc. All Rights Reserved.
Email:d3dweb@163.com  QQ:496466882
Mob:13371637112(24小时)
关注虚拟现实
关注第三维度