写真の手前に映りこむ“邪魔もの”を消し去る技術　台湾大学やGoogleなどが開発：Innovative Tech [ひよこ★]

1 ：ひよこ ★ ：2021/03/22(月) 10:20:11.99 ID:lqHOlaKI9.net

https://www.itmedia.co.jp/news/articles/2103/22/news020.html
2021年03月22日 07時43分 公開
[山下裕毅，ITmedia]

Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　台湾大学、米Google、米カリフォルニア・マーセッド大学、米バージニア工科大学による研究チームが開発した「Learning to See Through Obstructions」は、画像内の手前に映りこんだ不要な障害物を除去する、機械学習ベースの技術だ。窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消すことができる。

https://image.itmedia.co.jp/news/articles/2103/22/koya_seethru1.png
画像の前景に映り込む窓の反射や雨滴、フェンスなどを除去する

　背景にある対象物と障害物要素はそれぞれのレイヤーがカメラに対して異なる深度に位置しているため、撮影した画像では2つのレイヤー間で動きが異なる。フレームごとに視点がずれるよう連続に複数枚撮影することで発生する背景と映り込み箇所の位置ずれ量の違いが生まれるためだ。これを利用するマルチフレームアプローチでは、明るさの恒常性や正確な動きを推定するなど、計算量の多い最適化プロセスを必要とする。今回はこれらの計算をCNN（畳み込みニューラルネットワーク）で行うことで高品質な結果を出力する。

　カメラで撮影した短い画像シーケンスを入力に、背景と障害物の動きの違いから両方のレイヤーを再構築するように学習する。学習したモデルによって前景を除去した画像は、これまで困難であったモーションブラーや明るさが一定でない画像に対応し、 類似研究と比べても定量的に優れた性能を示したという。

https://image.itmedia.co.jp/news/articles/2103/22/koya_seethru2.jpg
（左）元画像（右）窓の反射を除去した画像

https://image.itmedia.co.jp/news/articles/2103/22/koya_seethru3.jpg
（左）元の画像（右）本手法を用いてフェンスや雨滴、窓の落書きを除去した画像

　反射面や障害物を除去する技術は、コンピュータビジョンベースで動作するロボットがシーンを正しく理解することにも応用できる。


※ソースに動画があります

2 ：名無しさん＠お腹いっぱい。 ：2021/03/22(月) 10:22:15.05 ID:5NOn4erX0.net

自撮りしたら俺が写ってなかった

3 ：名無しさん＠お腹いっぱい。 [GB]：2021/03/22(月) 10:24:07.34 ID:7P9uTCj00.net

用件を聞こうか・・・

4 ：名無しさん＠お腹いっぱい。 [VN]：2021/03/22(月) 10:28:51.40 ID:j7sqAyR/0.net

ヘンタイ御用達

5 ：名無しさん＠お腹いっぱい。 [US]：2021/03/22(月) 11:14:03.46 ID:jxeRA2EV0.net

AI「お前を消す方法

6 ：名無しさん＠お腹いっぱい。 [US]：2021/03/22(月) 11:23:07.62 ID:S/SCBkvQ0.net

そして誰もいなくなった

7 ：名無しさん＠お腹いっぱい。 [ﾆﾀﾞ]：2021/03/22(月) 11:36:18.36 ID:d0Yi7CWc0.net

それはもう「写真」じゃないんじゃ・・・

8 ：名無しさん＠お腹いっぱい。 [US]：2021/03/22(月) 11:55:43.05 ID:D5GoRDN+0.net

ある会社で配布された、「新入社員へうちの会社が求めていること」という資料が、すごい本音だった。

http://dssfe.itleague.com/xxL/818192816.html