拡張現実感(AR)の実現には，仮想物体を幾何学的に正しい位置に重畳表示するために，カメラ位置・姿勢の取得が必要
| 研究目的 |
カメラ付き携帯機器による拡張現実感技術(ユビキタスAR)は，ヒューマンナビゲーションに代表される位置依存情報を利用した様々なサービスに応用可能である． ARの実現にはカメラの位置・姿勢情報の獲得が必要とされるが，従来のカメラ位置・姿勢推定手法では利用可能な範囲の制約や，大きな計算コストのために，現状の携帯端末を用いてカメラ位置・姿勢を高精度・広範囲に推定することは難しい．
携帯端末上でカメラ位置・姿勢推定を行うためには，次の3つの要求事項を満たす必要がある．
- シンプルな機器構成で実行できること
- 広域環境で利用可能なこと
- 携帯端末におけるコストが低いこと
| アプローチ |
提案手法はオフライン処理によるランドマークデータベースの構築とオンライン処理によるランドマークデータベースを用いたカメラ位置・姿勢推定によって構成される．
| ランドマークデータベースの構築 |
ランドマークデータベースの構築は，大江らの手法と同様， 全方位カメラを用いて環境内を移動しながら撮影した全方位動画像上の自然特徴点を追跡することで三次元復元を行い，自然特徴点の三次元位置と自然特徴点撮影時のカメラ位置・姿勢情報を取得する．
最後に，撮影された全方位動画像とフレームごとのカメラ位置・姿勢，自然特徴点の三次元位置に基づき，それぞれの自然特徴点ごとにランドマーク情報を自動的に取得し，ランドマークデータベースを構築する．
ランドマークデータベースの構成
| ランドマークデータベースを用いた カメラ位置・姿勢推定 |
本研究では，オフライン処理でデータベースに登録された膨大な数のランドマークから入力画像から検出される特徴点(入力特徴点)と対応付くランドマークを高速に検索するため，ふるいにかけるように，誤差数十m程度のGPS情報，入力特徴点とランドマークの類似度，ランドマークの空間的な位置を考慮するための投票アプローチ，を順に用いてランドマーク候補を絞り込む．
膨大な数のランドマークからふるいにかけるようにランドマーク候補を絞り込む
入力としては，カメラ付きGPS携帯電話などの携帯機器から取得した静止画像1枚とGPS情報を与える．
まず，GPS情報を基に広域環境のデータベースから推定に用いるデータベースを決定する． 次に，類似度評価処理において，入力特徴点と類似しているランドマークをランドマークデータベースから選択する． ここで，入力特徴点1つに対し複数のランドマークを1対多で対応付けておく．
類似度評価によって絞り込まれたランドマークには，入力特徴点と真に対応するランドマーク候補以外のランドマークが多数含まれる． このような誤対応は，見え方がほぼ同一となるランドマークがデータベース内に複数存在するために発生するが，見え方の類似は画像上の局所的なものであることが大半で，大局的な情報を用いれば誤対応を排除できる．そこで本研究では，類似度評価処理で選択された各ランドマークを同じ見え方で撮影できる領域に投票を行い，入力画像が撮影された可能性が高いカメラ位置候補を複数決定することで誤対応を排除する．
カメラ位置候補を決定することでランドマーク候補を絞り込む
最後に，カメラ位置候補に投票したランドマーク候補と入力特徴点の対応関係からカメラ位置・姿勢推定を行う． ただし，カメラ位置・姿勢推定結果が正しいかどうかはまだ分からない． 従って，推定結果の尤もらしさをシステム側で自動的に判断する必要がある． 本研究では，カメラ位置・姿勢推定に使用された特徴点数lと再投影誤差Rに着目し，以下の2つの条件を満たすカメラ位置・姿勢推定が行われた場合に，尤もらしい推定結果である判定する．
- 再投影誤差Rが閾値以下
- 推定に用いられた特徴点数lが閾値以上
| 実験結果 |
入力画像
(左から場面1，2，3)
(クリックで拡大)
場面1(クリックで拡大)
場面2(クリックで拡大)
場面3(クリックで拡大)
投票結果
(□印：入力画像の撮影位置，△印：最終的なカメラ位置・姿勢推定結果を出力したカメラ位置候補)
最終的なカメラ位置・姿勢推定に用いられたランドマークの画像上の位置(○印)と
そのランドマークと対応する入力特徴点(□印)の関係
(クリックで拡大)
位置精度
(クリックで拡大)
| 発表文献 |
中川 知香, 佐藤 智和, 横矢 直和:
"ランドマークデータベースを用いた投票による静止画像からのカメラ位置・姿勢推定",
情報処理学会 研究報告 CVIM152-13, Jan. 2006. (pdf file)
中川 知香, 佐藤 智和, 横矢 直和:
"ランドマークデータベースを用いた投票に基づく静止画像からのカメラ位置・姿勢推定",
電気関係学会関西支部連合大会講演論文集, p. G308, Nov. 2005. (pdf file)