複合現実感技術を用いた飛行船操縦支援システムの構築

視覚情報メディア講座  水戸 博之,山澤 一誠,横矢 直和



<研究背景・目的>

 近年,飛行船に関する研究が行われ,教育やエンターテインメント,趣味等の様々な用途において,無人飛行船が身近に利用されるようになった.しかし,無人飛行船を地上から見上げて操作するのは直感的でないため,意図した通りに操縦するのは不慣れなユーザには難しく,操縦者が直接視認できない遠隔地を飛行させる際には,飛行船の状況を把握させるためのカメラ画像等が必要となる.そこで本研究では,無人飛行船の操縦に不慣れなユーザを対象として,その操作を複合現実感技術によって視覚的に支援するシステムを構築することを目的とする.



【飛行船操縦の様子】



<飛行船操縦支援システム>

システムの概要

 本システムは飛行船上のPCと俯瞰画像撮影用カメラ,そして地上のユーザ側のPCおよびディスプレイから構成され,双方のPCではネットワークを介してデータの送受信を行う.飛行船上のPCではカメラ画像と飛行船の位置・姿勢情報を取得・送信し,ユーザ側のPCでは受信した情報を元に操縦支援情報を生成し,ユーザへ提示する.主な操縦支援情報としては,カメラ画像をそのまま提示するだけでなく,地図や現実環境のCGモデル等の仮想空間内にカメラ画像を重畳表示し,その空間内に現在の飛行船の状態を示すCGモデルを描画する.ユーザはディスプレイに表示される操縦支援情報を見ながら,無線送信機を用いて操作を行う.これにより,ユーザは飛行船やその周囲の状況を直感的に把握して容易に操縦できるとともに,遠隔地の飛行船を操縦することが可能となる.



【提案システムの概念図】

 



【提案システムにおける処理の流れ】


カメラの位置・姿勢推定処理

 飛行船PCにおいて取得したカメラ画像を入力として,環境中に配置されたマーカを元に位置・姿勢推定を行う.本システムでは,ARToolKitにより環境中の複数のマーカを検出・認識し,例えば下図のように定義される世界座標系において,カメラの位置・姿勢を一意に推定する.本システムでは,単純なカラーパターンを持つ正方形のマーカを用いる.



【マーカの配置例および世界座標系】

 



【用いるマーカの一例】


データ通信処理

 TCP/IPプロトコルによる通信を行い,操縦支援情報の生成に必要なデータの送受信を行う.飛行船PCでは,取得されたカメラ画像と飛行船の位置・姿勢情報を各フレーム毎に無線LAN経由でユーザPCへ送信し,ユーザPCでは受信したデータを元に操縦支援情報を生成し,ユーザへ提示する.カメラ画像は,転送データ量を削減して遅延や動作速度の低下を抑えるために,Motion JPEG形式で圧縮して転送する.

操縦支援情報の生成・提示処理

 ユーザPCでは,受信した画像およびカメラの位置・姿勢推定結果を元に,複合現実感技術を用いて操縦支援情報を生成し,ユーザへ提示する.本システムでは,推定されたカメラ位置に基づき屋内環境のCGモデルを描画し,そこにカメラ画像を合成し,その手前に飛行船のCGモデルを描画する.飛行船と周囲の環境が見渡せるよう,飛行船の後方上空の視点から見た映像がユーザへ提示される.これにより,カメラ画像をそのまま提示する場合に比べて屋内環境・飛行船のCGモデルにより視野が拡張され,ユーザは三人称視点から飛行船を見ることで,飛行船の位置を直感的に把握して操縦することが可能になる.また,飛行船がユーザから直接視認できない場合でも,飛行船の操縦を継続することができる.



【システムを用いた飛行船操縦の様子】

 



【操縦支援のための映像】



<実験>

 本研究では,屋内環境においてシステムを構築し,飛行船の操縦未経験者を対象に被験者実験を行い,提案システムの有効性を検証した.

実験環境

 実験は下図のような約12m四方,約6mの高さの屋内環境で行った.環境中には大きさ56cm四方のマーカを2m間隔で25枚配置し,飛行船PCは学内の無線ネットワーク(IEEE802.11g,54Mbps)に,ユーザPCは学内の有線ネットワーク(100Mbps)に接続した.カメラ画像のMotion JPEG形式への変換にはIndependent JPEG GroupのJPEG画像圧縮ライブラリを用い,飛行船に搭載するカメラの解像度は480×360画素に設定した.本実験では,マーカを配置した床面と部屋の四方の壁の合計5枚のテクスチャを直方体の各面にマッピングして屋内実験環境のCGモデルを構成した.飛行船のCGモデルは3DCGポリゴンモデラを用いて作成した.



【屋内実験環境】

 



【実験に用いた小型無人飛行船】

 



【実験に用いた機器】




【屋内環境のCGモデル】

 



【飛行船のCGモデル】


実験方法

 本実験では,ユーザが飛行船を操縦する際に感じる左右の操作感覚と位置感覚について調べ,また,ユーザが直接視認できない遠隔地に位置する飛行船を操縦できることを確認する.実験では,提案システムとその比較対象の操縦方法として以下の4つの方法を定めた.被験者は,[直視]の方法では飛行船を直接見ながら操縦し,[直視]以外の方法ではディスプレイの画面に提示される映像を見ながら操縦する.各操縦方法によって被験者に飛行船を操縦してもらい,システムの評価を行う.
 システムの評価は,被験者へのアンケート調査による4段階評価と自由記述により行った.4段階評価では,左右の操作感覚
位置感覚総合的な操縦のしやすさの3項目を設定し,自由記述では,各操縦方法の感想と操縦支援に必要な情報について意見を求めた.なお,被験者実験は,目的や条件についての知識がなく,飛行船や飛行機,ヘリコプタのラジコンの操縦経験がない21名を対象に実施した.

【操縦方法】
[直視] システムなし 飛行船を直接見上げての操縦
[カメラ] 比較システム1 カメラ画像のみの提示による操縦
[CG] 比較システム2 CGモデルのみの提示による操縦
[カメラ+CG] 提案システム カメラ画像とCGモデルの提示による操縦



【[カメラ]による提示映像の例】

 



【[CG]による提示映像の例】

 



【[カメラ+CG]による提示映像の例】


実験結果

 アンケート調査で得られた結果として,各評価項目に関する各操縦方法の4段階評価結果について,以下のようなグラフを得た.これは全被験者による4段階評価の平均評価点を表す.左右の操作感覚と総合的な操縦のしやすさでは[カメラ+CG]の方法が最も高い評価となり,位置感覚では[直視]の方法が最も高い評価となった.これらの評価結果について[直視],[カメラ],[CG]と[カメラ+CG]の間で有意水準を5%に設定してt検定を行った結果,統計的な有意差の有無が下表のように確認された.



【被験者による4段階評価結果】


【各操縦方法の[カメラ+CG]に対する有意差の有無】

左右の操作感覚 位置感覚 総合的な操縦のしやすさ
[直視] あり
([カメラ+CG]>[直視])
あり
([カメラ+CG]<[直視])
なし
[カメラ] なし なし あり
([カメラ+CG]>[カメラ])
[CG] なし なし なし


<今後の課題>

  • 提示される操縦支援情報の充実化
  • カメラの位置・姿勢推定処理の改善
  • 屋外環境等の広い空間や動的環境におけるシステムの有効性の検証


<発表等>

  • 全国大会
    水戸 博之,山澤 一誠,横矢 直和:
    "複合現実感技術を用いた飛行船操縦支援システム",
    日本バーチャルリアリティ学会第13回大会論文集, pp. 648-649, Sep. 2008 (pdf file)

  • 研究会
    水戸 博之,山澤 一誠,横矢 直和:
    "複合現実感技術に基づく視覚情報提示による飛行船操縦支援システム",
    電子情報通信学会 技術研究報告, PRMU2008-235, Vol. 108, No. 432, pp. 163-168, Feb. 2009 (pdf file)

  • 修士論文
    水戸 博之:
    "複合現実感技術を用いた飛行船操縦支援システムの構築",
    奈良先端科学技術大学院大学 修士論文 NAIST-IS-MT0751118, Mar. 2009 (pdf file)