研究(Research)


・ 画像修復(Image Inpainting)
・ 三次元欠損修復(Surface Completion)
・ 動画像の欠損修復による不可視領域のない全天球映像の生成
・ 隠消現実感(Diminished Reality)
・ 時空間超解像(Spatio-Temporal Super-Resolution)


(English)

トップページ

画像修復(Image Inpainting)

 画像補間，画像復元，インペインティング，Image Completion, Image Renaissance(?)　などなど・・・

写真についた傷や意図せず写りこんでしまった物体などのような画像内の不要な部分を取り除き，
取り除かれた領域（欠損領域）を自動的に修復する技術

原画像 欠損領域を指定した画像 結果画像
原画像 欠損領域を指定した画像 結果画像
原画像 欠損領域を指定した画像 結果画像

修復ビデオ
You need Flash player 8+ and JavaScript enabled to view this video.


関連文献

河合 紀彦，佐藤 智和，横矢 直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復",
電子情報通信学会論文誌, Vol.J91-D, No.9 pp. 2293-2304 ,Sep. 2008. (pdf file) 　（正式なのは信学会のページから）
（論文中に紹介している結果の比較ページ結果の比較ページはこちら）

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image Inpainting Considering Brightness Change and Spatial Locality of Textures and Its Evaluation",
Proc. Pacific-Rim Symposium on Image and Video Technology (PSIVT2009), Jan. 2009. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image Inpainting Considering Brightness Change and Spatial Locality of Textures",
Proc. Int. Conf. on Computer Vision Theory and Applications (VISAPP), Vol. 1, pp. 66-73, Jan. 2008. (pdf file)

河合 紀彦，佐藤 智和，横矢 直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度に基づくエネルギー最小化による画像修復",
画像の認識・理解シンポジウム(MIRU2007)講演論文集, pp. 227-234, July 2007. (pdf file)



動画像の欠損修復による不可視領域のない全天球映像の生成

 通常の全方位カメラには死角が存在するため全方位動画上に欠損が生じる．
そこで，欠損領域を他フレームの情報を用いて修復し，不可視領域のない全天球映像を生成する．

入力画像(Ladybug)
全天球パノラマ画像に欠損がある！！
→
地面を表す平面に入力画像を投影し
他フレームの情報を用いて修復

全天球パノラマ画像の欠損が埋まった！！


テレプレゼンスの様子
You need Flash player 8+ and JavaScript enabled to view this video.
You need Flash player 8+ and JavaScript enabled to view this video.
欠損あり 欠損なし

関連文献

Norihiko Kawai, Kotaro Machikita, Tomokazu Sato and Naokazu Yokoya:
"Video Completion for Generating Omnidirectional Video without Invisible Areas",
IPSJ Transactions on Computer Vision and Applications, Vol. 2, pp. 200-213, Nov. 2010. (pdf file)

Norihiko Kawai, Kotaro Machikita, Tomokazu Sato and Naokazu Yokoya:
"Generation of an Omnidirectional Video without Invisible Areas Using Image Inpainting",
Proc. Asian Conf. on Computer Vision (ACCV(2)), pp.359-370, Sep. 2009. (pdf file)

町北 幸大郎，河合 紀彦，佐藤 智和，横矢 直和:
"動画像の欠損修復による全方位カメラを用いた不可視領域のない全天球テレプレゼンスの実現",
画像の認識・理解シンポジウム(MIRU2009)講演論文集, pp. 391-397, July 2009. (pdf file)



三次元欠損領域の修復(Surface Completion)

 モデル補間，形状補間，Surface Completion, 3D Inpainting，などなど・・・

3次元メッシュモデル中のオクルージョンなどにより発生した欠損領域を自動的に修復する技術

形状のみの修復

欠損したモデル修復モデル


修復ビデオ
You need Flash player 8+ and JavaScript enabled to view this video.

関連文献

河合 紀彦，佐藤 智和，横矢 直和:
"局所形状の類似度を用いたエネルギー最小化による三次元欠損修復",
日本バーチャルリアリティ学会論文誌, Vol.15, No.1 pp. 83-92 , March. 2010. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Efficient Surface Completion Using Principal Curvature and Its Evaluation",
Proc. IEEE Int. Conf. on Image Processing (ICIP2009), pp. 521-524, Nov. 2009. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Surface Completion by Minimizing Energy Based on Similarity of Shape",
Proc. IEEE Int. Conf. on Image Processing (ICIP2008), pp. 1532-1535, Oct. 2008. (pdf file)

河合 紀彦，佐藤 智和，横矢 直和:
"エネルギー最小化による三次元欠損修復における主曲率を用いた類似形状探索の効率化と修復結果の定量的評価",
第13回パターン計測シンポジウム講演論文集, pp.49-56, Nov. 2008. (pdf file)

河合 紀彦，佐藤 智和，横矢 直和:
"局所形状の類似度評価に基づくエネルギー最小化による三次元欠損修復",
画像の認識・理解シンポジウム(MIRU2008)講演論文集, pp. 272-277, July 2008. (pdf file)



形状とテクスチャの修復

欠損したモデル修復モデル

関連文献

N. Kawai, A. Zakhor, T. Sato, and N. Yokoya:
"Surface completion of shape and texture based on energy minimization",
Proc. Int. Conf. on Image Processing (ICIP), pp. 913-916, Sep. 2011. (pdf file)

河合 紀彦, A. Zakhor, 佐藤 智和, 横矢 直和:
"形状とテクスチャの相関を考慮した類似度に基づくエネルギーの最小化による三次元欠損修復",
画像の認識・理解シンポジウム(MIRU)講演論文集, pp. 1480-1485, July 2011. (pdf file)



隠消現実感(Diminished Reality)

 リアルタイムで現実環境の実物体を除去します。 現在は拡張現実感のためのマーカの除去に取り組んでいます。

ARマーカ除去のビデオ
You need Flash player 8+ and JavaScript enabled to view this video.

関連文献

山崎 将由, 河合 紀彦, 佐藤 智和, 横矢 直和:
"拡張現実感における画像修復に基づく陰影を考慮したマーカの除去",
映像情報メディア学会 技術報告, AIT2012-11, Feb. 2012. (pdf file)

山崎 将由, 河合 紀彦, 佐藤 智和, 横矢 直和:
"ホモグラフィーを用いた画像修復に基づく拡張現実感におけるマーカの除去",
日本バーチャルリアリティ学会第16回大会論文集, pp. 326-327, Sep. 2011.(pdf file)



時空間超解像画像の生成(Spatio-Temporal Super-Resolution)

 動画像の時間解像度と空間解像度を向上させる技術
奥行き画像を利用することで，対象シーンが複雑な場合やオクルージョンなどがある場合でも有効
詳しくはこちらのページ

入力と出力結果のムービー
You need Flash player 8+ and JavaScript enabled to view this video.

関連文献

Yusaku Awatsu, Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Spatio-Temporal Super-Resolution Using Depth Map",
Proc. 16th Scandinavian Conference on Image Analysis (SCIA2009), pp. 696-705 June. 2009. (pdf file)

粟津 優作，河合 紀彦，佐藤 智和，横矢 直和:
"奥行き画像を利用した動画像からの時空間超解像画像の生成",
画像の認識・理解シンポジウム(MIRU2008)講演論文集, pp. 188-193, July 2008. (pdf file)




トップページに戻る