2020年12月12日

iPhone 12 Pro Maxのカメラ 〜Deep FusionとスマートHDR 3〜

(画像:iFixit

私はiPhone XS Maxから12 Pro Maxに替えました。
ですから、Deep Fusionは、はじめて使う機能です。

説明では、露出が異なる複数のフレーム(写真)をA14 BionicのNeural Engineがピクセル単位で賢く合成して豊かな細部を持った写真に仕上げる……というようなことが書かれていますが、それってスマートHDRとどう違うの?また、どんな時にDeep Fusionは機能するの?

漠然とは理解できるけど、普通に撮った写真とどれくらい違いが出るのか、Deep FusionとスマートHDRの違いはなんなのか……Deep Fusionの実態を見てみたいと思いました。


まずは、Deep Fusionが、どんな時に機能するのか。
こちらはiPhone 11当時の記事ですが『「Deep Fusion」って何ですか? - いまさら聞けないiPhoneのなぜ』Deep Fusionのことが詳しく説明されています。
その中に、このようなことが書かれています。

「通常の明るさではスマートHDRで撮影され、中間の明るさより暗いと判断されるとDeep Fusionに、さらに暗くなるとナイトモードにへと切り替わります。」

どうやら、明るさによって機能するモードが判断されるようだ。
AppleのiPhone 12 Proの製品紹介ページにも「中程度の光量と抵光量の間の環境ではそうはいきません。そこでDeep Fusionという機能が活躍」と書いてあります。


違いを見るためには、Deep Fusionのオン/オフを任意で切り替えできなければなりません。
スマートHDRは設定項目でオフにするとカメラアプリでオン/オフができるボタンが表示されるようになりますが、Deep Fusionにはそのような設定はありません。

調べてみると、Deep Fusionはいくつかの条件下でオフになるようです。
この記事によると、Deep Fusionが無効になるのは、

・バーストモードのとき
・超広角レンズ(ウルトラワイドカメラ)で撮影するとき
・『写真のフレームの外側を含めて撮影』スイッチがオンの状態で撮影するとき

とのことです。

すなわち、
・バーストモードで撮影すれば、Deep FusionもスマートHDRもオフになる。
・カメラアプリの「HDR」ボタンをオフにして単写すればDeep Fusionが機能した写真。
・「HDR」ボタンをオンにすればスマートHDR 3の写真が撮れる。
ということになるのでは?


日の入り間近の時間で撮り比べてみました。

・バーストモードで撮影した通常写真とDeep Fusionが機能したと思われる写真の拡大画像
違いが出ました。Deep Fusionはノイズが軽減されています。


・Deep FusionとスマートHDR 3の比較
スマートHDR 3は、コントラストがはっきりとして、ぐっと引き締まった写真になりました。


・通常写真とスマートHDR 3

ここまで違いが出るとは思いませんでした。


しかし、撮影を重ねていくうちに、Deep Fusionは本当に明るさによって機能するかどうか決まるのだろうか?と疑問を持つようになりました。

気になったので試してみました。

・通常写真とDeep Fusion
Deep Fusionでは、影になっているビルのノイズが軽減されています。


・Deep FusionとスマートHDR 3
スマートHDRでは、陽の当たっている白いビルの壁面の白とびが軽減されています。


・スマートHDR 3と通常写真
クレーンと建築中のビルを覆うネットや道路標識などにディテールの違いが見てとれます。


少なくとも、iPhone 12 Pro Maxでは、明るさに関係なくDeep FusionからスマートHDR 3まで機能するようです。
もうこれは、常時、スマートHDRをオンにして、A14 Bionicに任せておけばいいのではないでしょうか。


iPhone XS Maxでは、スマートHDRの設定に「通常の写真を残す」という項目があります。
これをオンにしておくと、スマートHDRの写真と同時に通常の写真も保存され、スマートHDRで撮影された写真には「HDR」のマークが付き判別できるようになっていました。

iPhone 12 Proでは、その設定項目も「HDR」のマークも付かなくなり、どれがHDRで撮影された写真か区別がつかなくなりました。Exifを見ても分かりません。
A14 BionicのNeural Engineは、もはやHDRの写真を当たり前のこととしているかのようです。

Appleは、iPhone 12シリーズ発表の場(キーノート)で、しきりに「コンピュテーショナルフォトグラフィー」という言葉を使っていました。
その時は、そんなに"合成写真"に自信があるのか?それよりも12 Pro Maxのセンサーサイズ拡大のほうが重要だろう、と思っていましたが、こうして撮り比べてみた結果、

「そうか……そうなのか……A14 Bionicよ」

と、それ以上、何も言えなくなりました。


Deep Fusion、スマートHDR 3も完璧ではありません。
動きの大きな被写体は、やはり苦手なようです。
下の写真では、前脚や日の丸に分かりやすい残像が出ています。
なぜiPhoneの画面を写した写真なのかというと、スクリーンショットでは、この残像が消えてしまうからです。
Deep Fusionの謎は、まだ深い。

2020年12月11日

iPhone 12 Proの3つのカメラ


下の写真は、iPhone12 Pro Maxの各カメラとiPhone XS Maxの広角カメラで撮影した同じ空の写真です。

iPhone 12 Proには「広角カメラ」「望遠カメラ」「超広角カメラ」の3つのカメラが搭載されています。
ついつい「広角レンズ」とか「望遠レンズ」と言ってしまいがちですが「カメラ」です。
「レンズ」と言うと、一つのカメラ本体に対し、3つのレンズを切り換えて撮影するという意味合いになりますが、iPhone 12 Proの3つのカメラは、レンズだけでなくカメラのユニットとしてそれぞれ独立しています。
ただし、それは“ハードウェアとしては”ですが。

以前、iPhone 11 Proの製品紹介ページに、このように書かれていました。
後継機種であるiPhone 12 Proでも、当然そのようになっているものと思われます。
ということで、試してみたのが先ほどの空の比較写真です。
広い空とはいえ、超広角ともなると低いところのグラデーションまで写っていますが、XS Maxの空と比べると、3つのカメラは“同じ空”を写していると言えるでしょう。


3つのカメラが、それぞれ連携し合っている分かりやすい例が、「フレームの外側を表示」です。

広角では超広角、望遠では広角カメラの画像を利用してフレームの外側を再現しています。


では、それぞれのカメラ単独では、どうなるでしょうか。
黒い紙で2つのカメラを隠して挙動を見てみました。

広角カメラは、一部使えない機能もありますが、単独でも写真は普通に撮れます。

望遠カメラは、広角カメラを隠すと真っ暗になります。
これは、はじめてカメラが2つ搭載されたiPhone 7 Plusの時から同じことで、室内など十分な光がないところでは、望遠カメラで2倍にするより、広角カメラのデジタルズームで2倍にするほうが「まだマシ」な写真になるからです。
12 Proになって、望遠カメラも随分と明るくなりましたが、この傾向は未だに変わりません。

面白いのが、超広角カメラです。画面全体が白飛びしてしまいました。
望遠カメラだけを隠すと普通に使えることから、どうやら超広角カメラは広角カメラの露出情報を利用しているようです。


サードパーティ製の高機能カメラアプリには、それぞれのカメラユニット(倍率)をハードウェア的に切り替えられるものが多くあります。
しかし、Appleはカメラの性能が向上した今でも、このようなカメラの連携を続けています。なぜ、こんな、まどろっこしいことをするのでしょう。


「人々が自分の暮らしを活き活きと過ごすなかで、技術にとらわれずに人生の瞬間を捉える写真を撮れるようにしたい」

Appleはカメラのスペックではなく、ユーザーが撮る写真のことを考えているのでしょう。

とはいえ、個人的には、標準カメラアプリでも広角/望遠カメラをハードウェア的に切り替えられるようにしてほしいのですが。
Deep Fusionという技術も出てきたことですし。

ということで、次は、そのDeep Fusionのことを見てみたいと思います。