“ワンソニー”で開発、Xperia XZ2 Premiumのデュアルカメラに迫る


●Xperia初のデュアルカメラ搭載「XZ2 Premium」
この夏に発売を予定しているソニーモバイルコミニュケーションズの最新スマートフォン「Xperia XZ2 Premium」。デュアルカメラや4K HDR動画撮影対応という特徴を備えたXperia XZ2 Premiumについて、同社はカメラ機能を中心とした新機能を報道関係者に詳しく解説しました。

○デュアルカメラは高感度画質向上のために採用

Xperia XZ2 Premiumは、Xperiaでは初めてカラーセンサーとモノクロセンサーの2つのカメラを搭載したデュアルカメラシステム「Motion Eye Dualカメラシステム」を採用した高性能スマートフォンです。

搭載するのは、有効1220万画素の1/2.3型Exmor RSモノクロセンサー+F1.6の大口径レンズを組み合わせたモノクロカメラと、有効1920万画素の1/2.3型Exmor RSカラーセンサー+F1.8のレンズを組み合わせたカラーカメラの2つです。それぞれ画素ピッチは1.55μm、1.22μmと比較的大型ですが、同クラスのセンサーはXperia XZ2にも採用されていますし、他社と比べても特別大きいセンサーというわけではありません。

最大の特徴は、やはりカラーとモノクロの2つのセンサーを組み合わせるという仕組みです。カラーとモノクロの組み合わせは、すでにファーウェイがPシリーズなどで実現していますが、Xperiaのデュアルカメラはファーウェイと比べるとその目的が違っています。

Xperia XZ2 Premiumは、ズバリ「高感度画質の向上」を狙ったデュアルカメラに仕上げています。ファーウェイの場合、解像感とダイナミックレンジで有利なモノクロセンサーをベースにカラーセンサーで色づけするイメージで、全体的な高画質化を狙っていました。

それに対し、高感度に着目したXperia XZ2 Premiumは、低感度時はデュアルカメラとしては動作しないそう。商品設計部門カメラ設計部主任技師の高野浩司氏は「明るいところではカラーセンサーだけで十分なので、二眼を使う必要がない」と解説します。これは、高感度時にモノクロセンサーを使って高画質化する、という狙いのもとに開発されたからだといいます。

モノクロセンサーを使って全体を高画質化する、ということを想定していない設計なので、今後の開発次第ではそうした方向性もありえるでしょう。ただ、現時点では「モノクロセンサーとカラーセンサーの組み合わせで低感度時の画質を向上させる仕組みではない」としています。

高感度時の高画質化を目指した背景として、同社のクラウドフォトサービス「PlayMemories Online」にアップロードされたスマートフォンの画像600万枚あまりを調査したところ、EV値で7以下の画像が50%あり、さらにEV値が1以下の画像も5%あったことが紹介されました。EV7は明るめの室内ぐらいの照度で、EV1以下となると「夜の市街地」や「星空」、EV-5までになると「冬の天の川」の明るさとされています。

こうしたEV1以下の暗所撮影を行うユーザーが一定層いることに対して、暗所での高画質化を図るためには、デジタルカメラだとより大きなセンサーを採用するという解決策があります。しかし、スマートフォンだとそれが難しいため、Xperia XZ2 Premiumではデュアルカメラを採用することで解決を図ったのだとしています。

デュアルカメラを採用する既存のスマートフォンでは、高感度画質の高画質化に加え、2つのカメラで距離を測定して疑似的にボケを作り出したり、焦点距離の異なるレンズを使った画角を切り替えや、カラーとモノクロの切り替えといった機能を提供しています。Xperia XZ2 Premiumでは、このうち高感度画質の向上とボケの生成、モノクロ撮影の機能を提供します。ただし、ボケの生成とモノクロ撮影機能は発売後のアップデートでの提供になるそうです。

●カメラはソニーグループの力を集めて開発した
Xperia XZ2 Premiumのデュアルカメラは、ソニーセミコンダクターソリューションズとソニーイメージングプロダクツソリューションズの2社による高感度カメラモジュール、ソニー R&Dの画像合成アルゴリズム、ソニーセミコンダクターソリューションズの画像融合処理プロセッサーを組み合わせることで実現しています。

これらソニーグループ各社の製品や技術を使うだけでなく、Xperiaチームと共同で設計することで、最適な画質になるようにカスタマイズをしたとのことです。セミコンダクターソリューションズからは10人以上が半年にわたって常駐したり、ソニーのカメラチームとXperiaチームとの協力関係もさらに強化されたりと、「まさに“ワンソニー”で開発した」(ソフトウェア技術部門SW開発4部Camera Advanced Technology課カメラ画質設計担当の板垣秀星氏)と強調します。

デュアルカメラは、離れた位置にある2つのカメラで撮影した画像を合成する必要があります。この合成を担当するのが、画像融合処理プロセッサー「AUBE」です。Xperia XZ2 Premiumでは、画像処理エンジン「BIONZ」はソフトウェアベースで実装されていますが、このAUBEは高速な処理が必要なことからハードウェアとして実装されています。

2つのカメラが撮影した画像は、厳密にはズレが発生します。その1つが光軸ズレ。これは、カメラがピッチ、ヨー、ロール方向に傾くことで、そのまま合成しようとしても2つのカメラの傾きが異なることで正確に合成できなくなる現象です。

これは、カメラ製造時の光軸合わせでも完全に調整し切れないそう。カメラユニット1台ごとに個体調整値を計測して設定することで、撮影時に幾何変換を行って補正しているそうです。ちなみに、この補正のために、実際の記録画素数の外周部はわずかに切り捨てることになっています。ちょうど動画の電子手ブレ補正のような形です。

光軸ズレ以外に、2つのカメラの距離が離れていることで視差が生じ、被写体の距離によって画像上の位置が異なってしまう、という局所ズレも発生します。

これは、被写体との距離が近くなるほどズレが大きくなり、そのまま合成すると遠景はほとんどズレがないのに、近景がズレた画像になってしまいます。つまり、画像の一部だけがズレた画像になるわけです。このため、画像のピクセルごとにズレを測定して補正することで、ズレのない合成を行うのです。

この合成(Fusion)を行うのがAUBEです。感度の高いモノクロ画像の輝度信号に対して、カラー画像から得られた色情報を画素ごとに位置合わせをしながら合成します。

Xperia XZ2 Premiumが搭載するSnapdragon 845は、GPUとしてAdreno 630を搭載していますが、このGPUでは位置ズレ補正と合成に100ms以上の時間がかかってしまうそう。動画は30fpsでフレーム間隔が33ms、60fpsで16msなので、GPUでは1フレームの間に処理できません。そのため、動画で撮影して合成しようとした場合、Adrenoではズレが発生して記録されてしまいます。このことからAUBEが必要になったのです。

実際の撮影時は、静止画の「プレミアムおまかせオート」では撮影シーンに応じてデュアルカメラの設定が変化します。明るい場合はカラーセンサーのみで撮影し、暗所撮影と認識されるとデュアルカメラになります。

マニュアル撮影モードだと、切替ボタンを押すことでデュアルカメラがオンになります。動画の場合は、デュアルカメラAuto設定にするとシーンに応じて自動でデュアルカメラになり、デュアルカメラOFFでカラーセンサーのみの撮影になります。

●最高ISO感度が大幅アップ、ノイズ低減の効果も
デュアルカメラを利用することで、これまでは静止画の最高ISO感度はISO12800、動画の最高ISO感度はISO4000だったところ、Xperia XZ2 Premiumは静止画が最高ISO51200、動画が最高ISO12800まで拡張できるようになりました。

最高ISO感度の拡張によるメリットは、単に「より暗いシーンでも撮影できるようになる」だけではありません。同じISO感度でも、従来機種よりもノイズ量が低減されるのです。高野氏によれば、その効果は約2段分。つまり、Xperia XZ2 Premiumを使ってISO6400で撮影した場合、旧機種のXperia XZ1のISO1600程度のノイズ量に抑えられるということです。

そのため、従来よりも高感度撮影がより気軽にできようになります。Snapdragon 845のISPの高性能化にともなって基本的な画質が向上したことに加え、BIONZの進化や画像処理の改良を進めたことで低感度時の画質も向上していますが、やはり特に高感度時の画質改善が期待できるそうです。

肉眼ではほとんど見えない夜間の遠くの被写体が撮影できるなど、従来は撮影できなかったようなシーンも撮影できるようになったことも、Xperia XZ2 Premiumの大きなメリットです。もちろん、それなりにノイズは発生しますが、真っ暗な写真に仕上がってしまうよりはちゃんと撮れたほうがうれしいはずです。

4K HDR対応ディスプレイを備えたXperia XZ2 Premiumですが、カメラとしても4K HDRの撮影に対応しています。動画の画質を左右する5大要素である解像度、フレームレート、ダイナミックレンジ、色域、階調のうち、ダイナミックレンジはHDRによって、色域はBT.2020によって、階調は10bit対応によって、それぞれ高画質化を実現しています。

動画のHDR撮影は、露光時間が長短で異なる2枚のフレームを合成することで、暗部を明るくして、明部は白トビを抑えることができます。通常は、長短2枚の画像を合成する形になるので動画には使えませんが、Xperia XZ2 Premiumに採用されているメモリ積層型のイメージセンサーのExmor RSセンサーは1フレーム内で長短2つの露光の画像を合成できるので、動画でHDRを可能にしています。

HEVC形式の10bit HDR動画を撮影できるXperia XZ2 Premiumですが、そのままではYouTubeに公開できません。しかし、YouTubeと協業することで、YouTubeのサーバー上で4K HDR動画のフォーマット変換がなされ、そのままアップロードやストリーミングが可能になっているそうです。

スマートフォンのカメラはデュアルカメラが一般化してきましたが、単に2つのカメラを搭載すればいいわけではなく、さまざまな技術的な工夫が必要となることが分かりました。特に、Xperia XZ2 Premiumは2つのカメラの画像を合成する必要があるため、実現するためのハードルは多かったようです。

高野氏によると、Xperiaは基本的にシングルカメラでの高画質化がベストというスタンスでありますが、今回のXperia XZ2 Premiumは高感度撮影を実現するためのデュアルカメラの採用となりました。とはいえ、せっかくのデュアルカメラなので、今後モノクロセンサーを生かした解像感向上やダイナミックレンジ拡大といった、さらなる機能改善もあり得るでしょう。

もちろん、シングルカメラでの画質追求も求められます。今期に入り、ソニーのカメラチームとの協業をさらに強化したというXperia。その成果が見えてくるのはもう少し先になりそうですが、デュアルカメラを含めたさらなる進化を期待したいところです。

あなたにおすすめ

すべての人にインターネット
関連サービス