Trabajo de investigación, se explica cómo el Google Píxeles de cámara 2 obras

has preguntado alguna Vez cómo el Google Pixel 2 cámara tiene un gran retrato de tiros? Así, los investigadores detrás de la tecnología presentó un trabajo de investigación a principios de esta semana que explica cómo funciona.

Neal Wadwha y su equipo compiló la integral de papel de ACM transactions on Graphics, bimensual revista científica revisada por pares. El documento, que será publicado en el agosto de 2018 problema, se describe el equipo de’s trabajo en la creación de una sola cámara de profundidad de campo (DOF) el efecto.

Wadwha’s equipo quería proporcionar una experiencia de usuario fácil que combina las mejores funciones de una cámara RÉFLEX digital y smartphone. Los goles fueron de procesamiento rápido con una alta resolución de salida, con un botón de captura de experiencia y una convincente DOF resultado.

El sistema que idearon utiliza dos tecnologías en tándem, pero puede funcionar con sólo uno.

Una red neuronal que reconoce a las personas

La primera es una red neuronal el equipo entrenado para el segmento de las personas y sus accesorios fuera de las imágenes. La segmentación utiliza el reconocimiento facial para identificar a las personas en la imagen. A continuación, la red infiere una baja resolución de la ‘la máscara.’ Máscaras de ocultar ciertas partes de una imagen y revelar otras partes de ella.

En este caso, la máscara es aproximadamente la forma de la persona fotografiada. Si usted fuera a ver, la persona forma sería blanco y el resto de la imagen sería negro. Una vez que la baja resolución de la máscara se establece, el sistema aumenta a resolución completa usando el borde-consciente de filtrado — una técnica que suaviza los bordes con precisión.

Todo esto permite que el sistema para determinar qué píxeles de la imagen pertenecen a la persona y que no. A continuación, el efecto de desenfoque puede ser aplicada basada en la no-persona, los píxeles de la imagen.

la Medición de la distancia con split píxeles

La segunda pieza, si se’s disponible, utiliza un doble sensor de píxeles — normalmente se utiliza en los teléfonos para brindar un rápido enfoque automático — para crear un mapa de profundidad en la imagen. Dual pixel sensores de dividir los píxeles individuales en la mitad. Esto crea una ligera disparidad basada en un objeto’s la distancia de la cámara’s del plano focal. En otras palabras, mientras más se aleja algo de la cámara, mayor es la disparidad.

El sistema es capaz de leer la disparidad de la información y la construcción de un mapa de profundidad. Además, el sistema utiliza la información de la profundidad con precisión el desenfoque de los objetos en el fondo de la imagen. Como resultado, los objetos más lejos están, más borrosa.

Aplicar el desenfoque de las imágenes

sin Embargo, cuando se trata de aplicar el desenfoque, el sistema se aleja de la realidad. Cuando se utiliza una cámara de verdad, hay’s un lugar donde el objeto está en el foco — el plano focal. Mientras que el sistema podría sostener que en el mundo real estándar, no’t tiene que hacer.

Un ejemplo se muestra en el documento muestra una imagen tomada de un perro. Si el sistema que se aplica una físicamente corregir el desenfoque de asignación a la foto, el perro’s de la nariz estaría fuera de foco. En cambio, el equipo decidió asignar el desenfoque inteligente para asegurarse de que el sujeto siempre está bien enfocado.

Blur asignación de un perroOtro ejemplo es cómo el sistema de formas bokeh — la fotografía plazo para la forma y la calidad de la defocussed área en una foto. En una cámara tradicional con seis palas del diafragma, el bokeh sería hexagonal. El equipo eligió para implementar el ideal circular bokeh en su lugar.

El sistema en la práctica

El sistema puede hacer uso de cualquiera de estos sistemas, para un total de tres métodos de creación de un falso DOF efecto. El primero es una combinación de segmentación y el doble de píxeles. Modo de retrato en el Pixel 2 cámara trasera funciona de esta manera. La cámara trasera cuenta con un doble de píxeles para proporcionar la profundidad de la información precisa para el fondo desenfocado. La segmentación ayuda a recoger a la gente en la imagen para que no estén’t borrosa.

El segundo método utiliza la segmentación. Tomar una foto con el Pixel 2 selfie cámara utiliza este modo. La cámara no’t tiene split de píxeles, pero no’t realmente lo necesitan. En la mayoría de los selfie aplicaciones, de manera uniforme un fondo borroso isn’t notable.

por último, el tercer método utiliza sólo de doble profundidad de píxel de asignación. Esto entra en juego a la hora de tomar fotos usando el Pixel 2 cámara trasera sin el Modo de Retrato. El teléfono se aplica sutiles desenfoque de los objetos basados en la disparidad de la información.

sin Embargo, todo esto apenas roza la superficie de cómo la tecnología de funciones. Para un desglose completo, usted puede leer el documento de la investigación aquí.