読者です 読者をやめる 読者になる 読者になる

Lattice in the Lettuce

The monologue of a scientist.

iPhone7と被写界深度

スマホ

Xperia Z3のカメラは面白い機能を搭載している。デジタル処理による、擬似的な被写界深度の表現、というと難しく聞こえるかも知れない、一眼レフカメラが得意とするボケの表現手法という方が良いのだろうか。ただここでは、被写界深度によるボケの話を原理から説明するとめんどくさいので、単に被写界深度とだけ呼ばせて貰う。興味のある人は

http://www.antaresdigicame.org/photo_gallery/camera/camera75.html

こういったページを見て勉強して欲しい。

上記に書かれる通り、小さな撮像素子(CMOS)であるスマホのカメラでは被写界深度が非常に深くなってしまうため、ボケを表現することは難しい。そこで、デジカメ発祥国の日本ではずいぶん前から

http://shingi.jst.go.jp/abst/p/09/916/yamaguchi6.pdf

こういった研究が行われており、デジタル処理でボケを強調してしまおうと試行錯誤されていた。

まぁこの機能自体は面白いが、難点があることは考えればすぐ分かる。処理に時間がかかるため連写が効かない点である。

上記pdfは簡単に言えば、デジタル処理で全体のボケを増大させ、その中でエッジが鮮明でない部分のみを残し元画像と合成する、という処理になる。Z3に載ってる機能はもうちょっと複雑で、ピントを合わせておきたい部分をユーザが指定して、その部分よりもエッジが鮮明でない部分のみをボカして合成している。

いずれにしても処理にたっぷり時間がかかるため、連写など到底不可能だ。

そこで考えだされたのが、デュアルカメラである。カメラモジュールを2個載せて、片方を望遠にして光学的にエッジ検出し、広角側と合成することで被写界深度を浅くして一眼レフっぽい写真を連写出来るようにするようだ。この仕組は既に実装したメーカーがあり

http://ggsoku.com/2014/12/huawei-honor-6-plus/

ここに詳しい。HUAWEIは廉価スマホの出荷台数でとんでもない地位に来ているが、技術力もデザインも悪くなく、Xperiaでガラロイド市場が形成されている日本市場とAppleのブランド力を除けば、スマホ世界一を自称しても良いような気がする。

Appleは、iPhone6Sではボディの設計の関係で搭載出来ず、iPhone7からになるという。後塵を拝するので市場的には今更感が漂うだろう。ソニーはZ5で搭載する噂は聞かないので、あくまでデジタル処理オンリーで行くのだろうか。

http://digibibo.com/blog-entry-3183.html?sp

この記事、光学ズームはともかく被写界深度の話が抜けている。良い所を突いてはいるが。デュアルカメラが光学ズームのためだと説明する人も居るようだが、これについては何とも言えない。

ところでiPhoneが8Mに拘る理由は、素子上のマイクロレンズ形成と関係がある。

http://cweb.canon.jp/camera/cmos/technology-j/light_gathering.html

裏面照射型CMOSの感度と解像度はトレードオフの関係だが、フォトダイオード形成に依存するものではなく、マイクロレンズ形成技術の方が重要だ。フォトダイオード形成だけで良いなら、現代の技術を持ってすればスマホ用のCMOSでも100Mピクセルくらい簡単に作れる。が、マイクロレンズはとてもじゃないがそんな大きさには作れない。

このレンズの大きさは、最新の技術でもレンズ径2umがせいぜい。スマホで多い1/2.3インチCMOSで約2500万画素相当。均等に並べるだけならもっと行けるが、かならずギャップが存在するため、それ以上を狙うのが困難となる。ソニーの20Mピクセルは形成可能なマイクロレンズサイズと比べて、かなりギリギリのところを狙っている。

マイクロレンズはレンズ=丸型の観念を逸脱し、四角形に近いものだ。頂点部は丸いが底部は四角くなっている。これをどうにか丸型にしようとやっていたのが、今はもうなくなってしまったが富士フィルムのCCDハニカム。あれの底部は丸だったので、マイクロレンズとしての性能は同世代の他CCDに比べてかなり良かった。

この丸型というのがかなりのミソで、四角いレンズでは頂点部付近でしか、レンズの役目が果たされない(底部に行くに従って歪みのせいで焦点距離が変わる)。丸型ではほぼ全体でレンズとしての効果が発揮されるため有利ということになる。
8Mピクセルくらいまでならどうにか丸型っぽくも出来るため、8MまでのCMOSはそれ以上の画素数CMOSと比較すると、圧倒的に感度が高いようである。

AppleCMOSについては汎用品を使っている(CMOS単体であり、搭載する基板やら上部構造についてはオリジナルだが)ため、ソニーのようにフォトダイオードの感度やらサイズにまで拘っては設計出来ない。8Mにこだわり続けるのは、そんな理由がある。

マイクロレンズは形成技術の問題以外にも、可視光の波長は0.7um程度なので、それより小さなレンズでは屈折が起きなくなるという問題や、単レンズであるため波長によって焦点距離が変わるといった問題もある。

後者については、マイクロレンズの波長による焦点距離差を利用し、カラーフィルタを使わずに分光する(フォトダイオードは積層しておく)というトンデモ製品もかつてあった。トンデモ過ぎて流行らなかったようだが。