ピクセル2カメラの秘密兵器：Googleが設計したSOC、「ピクセルビジュアルコア」

Pixel 2を使用してきましたが、しばらくの間Pixel 2 XLの大きな兄弟になりました。 繰り返しますが、Googleの携帯電話には素晴らしい写真機能があります。 12.2MP背面カメラ と 8MP前面カメラの両方から見たものは、これまで使用した他のどの電話よりもはるかに優れています。 そして、私たちはそれらの多くを使用しました。

Google Pixel 2レビューを読む

そして、Googleが秘密兵器を有効にする前です。 Googleは、Pixel 2でカスタムイメージングフォーカスSoC（システムオンチップ）を設計しており、 Pixel Visual Coreと呼ばれています。

詳細がすべてではありません。 Googleはそれらを共有する準備ができておらず、おそらくこのカスタムチップが何ができるのかさえ知らないでしょう。 Pixel Visual Coreは、Googleが設計した8コアのImage Processing Unitを中心に構築されていることがわかっています。 このIPUは、携帯電話内部の小さなバッテリーで実行しながら、毎秒3兆回の操作を実行できます。

興味深いことに、Pixel Visual CoreはPixel 2および2 XLでの起動時にも有効化されていませんでした。Android8.1 Developer Preview 2では「初期バージョン」が表示されています。 GoogleのHDR +ルーチンはこのIPUを使用して処理され、Snapdragon 835の標準のイメージプロセッサを使用した場合よりも1/10未満のエネルギーで5倍の速度で実行されます。

Googleは、ソフトウェアとハ​​ードウェアがどれほどうまくマッチしているかによって、これが可能であると言います。 Pixel 2のソフトウェアは、通常のプロセッサからソフトウェアへの配置に見られるよりも多くのハードウェアの詳細を制御します。 ソフトウェアに制御を渡すことで、ハードウェアをよりシンプルで効率的にすることができます。

Googleは何よりもまずソフトウェア会社です。 最初のカスタムモバイルSoCが、他社がハードウェアを使用する方法でソフトウェアを活用しているのも不思議ではありません。

もちろん、これはソフトウェアがますます複雑になることを意味します。 Googleは標準的なコード記述方法を使用して完成品に組み込み、すべての作業が終了した後にすべてを管理しようとするのではなく、機械学習のコーディング言語に切り替えました。 実際の画像処理にHalideを使用し、機械学習コンポーネント自体にTensorFlowを使用して、Googleは独自のソフトウェアコンパイラを構築し、完成した製品コードを関連するハードウェア専用に構築されたソフトウェアに最適化できます。

起動時に準備ができておらず、有効にするのに余分な時間を要しましたが、現在、Pixel Visual Coreを使用したカメラエクスペリエンスの唯一の部分は、カメラのHDR +機能です。 すでに非常に良いです。 これが次に来るものです。

HDR +はPixel Visual Coreの始まりにすぎません。

Android 8.1 Developer Preview 2では、Pixel Visual Coreが開発者オプションとして開かれます。 目標は、すべてのサードパーティアプリにAndroid Camera APIを介してアクセスできるようにすることです。 これにより、すべての開発者がGoogleのHDR +とPixel Visual Coreを使用できるようになり、いくつかの本当に大きなものが期待されます。

Googleは、Pixel Visual Coreが プログラム可能で あり、そのパワーを活用できる次のアプリケーションセットを既に構築していることを覚えておく必要があると、Googleが常に耳にしたいことを最後に述べます。 Googleが新しいSoCにより多くの機能を追加するにつれて、Pixel 2および2 XLはさらに向上し、より多くのことができるようになります。 Pixel 2のライフサイクルを通じて新しい画像処理および機械学習アプリケーションが登場しており、その準備は整っています。