消しゴムマジック (Magic Eraser)

10月28日、Googleより「Pixel 6」「Pixel 6 Pro」がリリースされました。私はリリース発表直後に予約購入し、10月27日の午前中には自宅に配送されていました。「Pixel 6」は色々と新機能が追加されていますが、今回はその中で「Pixel 6」「Pixel 6 Pro」で利用可能な「Google フォト」の新機能「消しゴムマジック」の体験レポートです。

概要

「消しゴムマジック」 は、写りこんだ通行人などの写真に不要な要素を消せる機能です。どのオブジェクトが不要かはAIが自動的に検出して提案してくれ、実際にどれを消すかはユーザが選択できます。また、自動検出以外にも手動でオブジェクトを囲って消すことも可能です。

これはワクワクする機能ですね！というわけで色々と検証してみました。

検証

以下の画像は ← before | after → となっています。

会社前の風景です。電柱と電線が消され、きれいな青空が広がっています。この画像はダウンサイジングと圧縮しているためわかりにくいですが、元画像では拡大してみると少し電線が残っています。

このように自動的に検出されています。なかなかの精度。

会社内の風景です。どちらも似たような風景ですが、下の画像は不要なオブジェクトが自動検出されなかったため、手動で囲んで消しました。自動検出はフォーカスからの距離やサイズが影響していそうな感じです。

スマートフォンの画像です。「Pixel 3 XL」の画像を撮りましたが、両サイドに「iPhone」があって景観を損ねています。 「消しゴムマジック」 できれいに消すことができました。
※私の主観です。

先日行われた JPHACKS の MeetupNight のフードデリバリーです。 私のプリンはどこ？

某カフェに飾ってあった絵です。現実のオブジェクトだけではなく絵の中のオブジェクトまで消せるようです。また、この画像は過去に「Pixel 3 XL」で撮ったものです。「Pixel 6」で撮らなくても「Google フォト」にアップロードすれば「消しゴムマジック」を使えます。

マップクエストのツイート画面キャプチャ。「いいね」を消してみました。画面上のコンポーネントや文字まで消せるようです。

考察と感想

かなりの精度で消したいものを期待通りに消せました。試したものすべてを載せてはいませんが、写真だけではなく絵や画面上のコンポーネントも消せるのには驚きました。どのような学習をさせたのか気なります。

AIについてはセグメンテーション → 不要なオブジェクトの判定 → GANによる画像生成 というような流れになっていると予想します。 セグメンテーション やGANについては私も何度か試したことはありますが、なかなか期待するような精度は出せませんでした。さすがGoogle。

なお、「消しゴムマジック」は現在は「Pixel 6」「Pixel 6 Pro」のみ利用できますが、将来的には「Pixel 3」以降の旧モデルでも利用できるようになる見込みだそうです。当然「iPhone」では利用できませんので、「iPhone」信者のみなさんは改宗を検討してみてはいかがでしょうか。