(GIFアニメーション(長さ：数秒) 0.8MByte)
(動画ファイル(長さ：1分くらい，形式：wmv) 7.3MByte)
拡張現実感(AR)の実現には，仮想物体を幾何学的に正しい位置に重畳表示するために，カメラ位置・姿勢の取得が必要
| 研究目的 |
近年，動画像からのカメラの位置・姿勢推定手法が盛んに研究されており，拡張現実感やロボットナビゲーションに応用されている． これらの分野では，カメラの絶対位置・姿勢が必要とされるため，GPSや磁気センサを用いる手法や，カメラからの入力画像を用いる手法などが提案されている． しかし，従来手法は，利用可能な環境が制限される，広範囲な屋外環境内での利用は難しいなどの問題がある． 本研究の目的は，事前に自然特徴点の３次元位置と撮影地点情報をランドマークとして用いることで，センサ類や人工的なマーカを必要としない，広範囲な環境におけるカメラ位置・姿勢推定を実現することである．
| アプローチ |
提案手法はオフライン処理によるランドマークデータベースの構築とオンライン処理によるランドマークデータベースを用いたカメラ位置・姿勢の逐次推定によって構成される．
| ランドマークデータベースの構築 |
まず，多数の自然特徴点を効率よく取得するために，全方位カメラを用いて環境内を移動しながら撮影した全方位動画像上の自然特徴点を追跡することで，三次元復元を行う．
(GIFアニメーション(長さ：数秒) 11.9MByte)
(動画ファイル(長さ：30秒くらい，形式：mpg) 20.1MByte)
全方位動画像で自動追跡される自然特徴点
次に，自然特徴点の三次元位置と自然特徴点撮影時のカメラ位置・姿勢情報を取得する．
(GIFアニメーション(長さ：20秒程度) 4.5MByte)
(動画ファイル(長さ：20秒くらい，形式：mpg) 10.1MByte)
自然特徴点の三次元位置と全方位カメラ位置
最後に，撮影された全方位動画像とフレームごとのカメラ位置・姿勢，自然特徴点の三次元位置に基づき，それぞれの自然特徴点ごとにランドマーク情報を自動的に取得し，ランドマークデータベースを構築する．
ランドマークデータベースの構成と多重スケールの画像テンプレート
| ランドマークデータベースを用いた カメラ位置・姿勢の逐次推定 |
本研究では，オフライン処理でデータベースに登録された膨大な数のランドマークから入力特徴点と対応付くランドマークを高速に検索するため，前フレームのカメラ位置・姿勢情報を用いてランドマーク候補を絞り込む．
事前に構築されたランドマークデータベースと入力する単眼ビデオカメラで撮影した動画像を用いて，ビデオカメラの位置・姿勢推定を行う．
まず，前フレームのカメラ位置・姿勢推定情報を利用し，ランドマークデータベースから入力画像の対応付けに利用するランドマークを選択する．ただし，初期カメラ位置・姿勢は何らかの手法によって取得しているとする．
次に，ランドマークの３次元位置を前フレームの位置・姿勢情報を用いて現在の入力画像上に投影し，その周辺で検出された自然特徴点を，投影したランドマークと対応付ける候補とする． さらに検出された自然特徴点を中心とした画像パターンと，ランドマークの画像テンプレートを照合することで対応付けを行う．
最後に，得られた対応関係を用いてカメラの位置・姿勢を逐次推定する．
推定されたカメラ位置・姿勢情報を用いることで，以下のように，現実環境を撮影した動画像上に仮想物体を重畳表示することができる．
(GIFアニメーション(長さ：数秒) 0.8MByte)
(動画ファイル(長さ：1分くらい，形式：wmv) 7.3MByte)
推定したカメラ位置・姿勢推定結果を基に，撮影した動画像上に対して仮想物体を重畳表示した結果
| 発表文献 |
大江 統子, 佐藤 智和, 横矢 直和:
"幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定",
日本バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp. 285-294, Sep. 2005. (pdf file)
大江 統子, 佐藤 智和, 横矢 直和:
"画像特徴点によるランドマークデータベースに基づくカメラ位置・姿勢推定",
画像の認識・理解シンポジウム(MIRU2005)講演論文集, pp. 800-807, July 2005. (pdf file)
大江 統子, 佐藤 智和, 横矢 直和:
"画像特徴点によるランドマークデータベースを用いた動画像からのカメラ位置・姿勢推定",
電子情報通信学会 技術研究報告, PRMU2004-157, pp. 19-24, Jan. 2005. (pdf file)
大江 統子, 佐藤 智和, 横矢 直和:
"自然特徴点によるランドマークデータベースを用いたカメラ位置・姿勢推定",
情報科学技術フォーラム(FIT) 一般講演論文集, Vol. 3, pp. 141-142, Sep. 2004. (pdf file)