奥行き画像を利用した時空間超解像画像の生成


粟津 優作, 河合 紀彦, 佐藤 智和, 横矢 直和


研究背景

一般に映像を取得するカメラの撮像素子の数は有限であり,また読み出し速度に制限があるため,時空間解像度の高い映像を取得することは難しい. そのため,一般的なカメラによって取得された画像の空間解像度,時間解像度を向上させる研究が盛んに行われている. しかし,従来の動画像の時間解像度や空間解像度の向上に関する研究では,画像間の対応関係を用いて高解像度化を行っており, 高精度な画像間の対応関係を求めるために,物体の形状や動画像撮影時のカメラの動きの制約を必要としていた. そのため,複雑な形状を持つ物体などが対象である場合,良好な結果を得ることが困難であった.

キーワード:時空間超解像,  奥行き画像,  エネルギー最小化


研究目的

対象物体の形状が複雑なシーンに対して撮影された動画像に対応した時空間超解像画像の生成


アプローチ

奥行き値を用いた1次元探索によって,複数の観測画像間で各画素を高精度に対応付ける

1.画素独立に対応付けが可能なため,撮影対象に関する強い制約が不要
2.隣接するフレーム間で対応点が存在しない場合でも,他のフレームを用いることが可能なため,オクルージョンの影響を緩和


提案手法

入力と出力

入力 : 観測画像,奥行き画像,各観測画像取得時のカメラ位置・姿勢
出力 : 時空間超解像画像


空間解像度の向上処理

提案手法では,微小に異なる位置から撮影された複数の画像から高解像度画像を推定することで空間解像度の向上を行う.

@:奥行き画像を用いてシーンの同一箇所を対応付け
 カメラ位置・姿勢と奥行き画像を用いて,複数の画像間でシーンの同一箇所を示している画素を対応付ける.
 このとき,高解像度な奥行き画像を用いることでサブピクセル精度での対応付けを得る.
A:対応付いた画素をもとに超解像画像の画素を推定
 複数の画像間での対応画素の画素値をもとに超解像画像の画素値を推定.(画像間で整合性の高い画素値に更新)
 このとき,奥行き値も多少変化させ,画素間の対応関係をずらしてみて同様の推定を行い,
 超解像画像の画素値とともに対象フレームの奥行き画像の最適化も行う.(奥行きの初期値に誤差を含む場合を想定)
B:全ての超解像画像の画素に同様の処理を施す
 超解像画像の各画素ごとに上記@〜Aの処理を適用する.

時間解像度の向上処理

提案手法では,観測フレーム間に補間フレームを挿入することで時間解像度の向上を行う.

@:奥行き画像を推定
 補間フレームでは奥行き画像が存在しないため,空間的に近い位置で撮影された近傍フレームの奥行き画像をもとに補間フレームの奥行き画像を推定する.
 カメラ位置・姿勢については隣接するフレームの位置・姿勢を用いて求める.
A:補間フレームの超解像画像の生成
 カメラ位置・姿勢と奥行き画像を用いて,空間解像度の向上処理を施すことで,高空間解像度な補間フレームの画像の生成を行う.



シミュレーション実験

入力

 入力動画像

出力

 時空間超解像画像

比較対象

 1.バイリニア拡大動画像:入力画像を倍の時間解像度で観測しておき,バイリニア補間で空間解像度を向上させた動画像

 2.前フレーム補間動画像:入力画像を縦横倍の空間解像度で観測しておき,直前のフレームを補間フレームに挿入することで時間解像度を向上させた動画像

 3.正解動画像:入力画像を縦横倍の空間解像度かつ倍の時間解像度で観測した動画像

比較動画像 (ただし,再生速度は全て1/2)

 左半分に対象の動画像を,右半分に提案手法で生成した動画像を提示

 入力動画像(画素拡大)と生成動画像の比較

 バイリニア拡大動画像と生成動画像の比較

 前フレーム補間動画像と生成動画像の比較

 正解動画像と生成動画像の比較



正解画像とのPSNRの比較

(※PSNRとは画質の評価によく用いられる,画像の信号と混入したノイズとの比率.値が高いほど画質が良いとされる)



実動画での実験(空間解像度の向上のみ)

対象フレームとその前後2フレームずつの計5フレームを使用して超解像

注1.カメラ位置・姿勢は自然特徴点の追跡によるstructure from motion 法(参考)を用いて入力動画像から推定した値を使用
注2.奥行きの初期値には特徴点の数え上げによるマルチベースラインステレオ法(参考)によって推定した特徴点の奥行き値をもと
    に最近傍補間によって全画素の奥行き値を補間したものを使用

入力画像と生成画像の比較

入力画像 生成画像

発表等

粟津 優作,河合 紀彦,佐藤 智和,横矢 直和:
"奥行き画像を利用した動画像からの時空間超解像画像の生成",
画像の認識・理解シンポジウム(MIRU2008)講演論文集, pp. 188-193, July 2008. (pdf file)

粟津 優作, 河合 紀彦, 佐藤 智和, 横矢 直和:
"奥行き画像を用いた時空間超解像画像の生成",
電子情報通信学会 技術研究報告, PRMU2007-311, March 2008. (pdf file)

粟津 優作, 河合 紀彦, 佐藤 智和, 横矢 直和:
"奥行き画像を用いた動画像からの超解像画像の生成",
電気関係学会関西支部連合大会講演論文集, No. G13-23, Nov. 2007. (pdf file)

粟津 優作:
"奥行き画像を利用した時空間超解像画像の生成",
奈良先端科学技術大学院大学 修士論文 NAIST-IS-MT0651005, March 2008. (pdf file)



横矢研究室 ホームぺージ