Los investigadores de Apple han desarrollado un modelo de IA que mejora significativamente las fotografías extremadamente oscuras al integrar un modelo de imagen basado en difusión directamente en el proceso de procesamiento de imágenes de la cámara, lo que le permite recuperar detalles de los datos sin procesar del sensor que normalmente se perderían. Así es como lo hicieron.
El problema de las fotografías con poca luz extrema
Probablemente tomaste una foto en condiciones muy oscuras, lo que resultó en una imagen llena de ruido digital granulado.
Esto sucede cuando el sensor de imagen no capta suficiente luz.
Para intentar compensar esto, empresas como Apple han aplicado algoritmos de procesamiento de imágenes que han sido criticados por crear efectos demasiado fluidos, parecidos a los de una pintura al óleo, donde los detalles más finos desaparecen o se reconstruyen en algo apenas reconocible o legible.
Introduzca DarkDiff
Para solucionar este problema, investigadores de Apple y la Universidad Purdue desarrollaron un modelo llamado DarkDiff. Así lo presentan en un estudio titulado DarkDiff: Raw mejorado con poca luz al reutilizar modelos de transmisión para ISP de cámaras:
La fotografía de alta calidad en condiciones de luz extremadamente baja es un desafío pero de gran impacto para las cámaras digitales. Con hardware avanzado, los algoritmos tradicionales de procesador de señal de imagen (ISP) en las cámaras están siendo reemplazados gradualmente por redes profundas eficientes que mejoran de manera más inteligente las imágenes sin procesar ruidosas. Sin embargo, los modelos existentes basados en regresión a menudo minimizan los errores de píxeles y dan como resultado un suavizado excesivo de fotografías con poca luz o sombras profundas. Trabajos recientes han intentado abordar esta limitación entrenando un modelo de difusión desde cero, pero estos modelos aún tienen dificultades para recuperar detalles nítidos de la imagen y colores precisos. Introducimos un nuevo marco para mejorar imágenes sin procesar con poca luz mediante la reelaboración de modelos de difusión generativa previamente entrenados con la cámara ISP. Amplios experimentos demuestran que nuestro método supera lo último en calidad de percepción en tres puntos de referencia para evaluar imágenes sin procesar desafiantes con poca luz.
En otras palabras, en lugar de aplicar IA en la etapa de posprocesamiento, reutilizaron Stable Diffusion (un modelo de código abierto entrenado en millones de imágenes) para comprender qué detalles debería existe en áreas oscuras de las fotos dado su contexto general y lo integró en el proceso de procesamiento de señales de imágenes.
De hecho, su enfoque introduce un mecanismo que calcula la atención en áreas localizadas de la imagen, lo que ayuda a preservar las estructuras locales y alivia las alucinaciones, como en la imagen siguiente, donde la IA de reconstrucción cambia por completo el contenido de la imagen.
Con este enfoque, el ISP de la cámara aún maneja el procesamiento inicial necesario para dar sentido a los datos sin procesar del sensor, incluidos pasos como el balance de blancos y la demostración. DarkDiff luego opera en esta imagen RGB lineal, la elimina y produce directamente la imagen sRGB final.
DarkDiff también utiliza una técnica de transmisión estándar llamada guía sin clasificador, que esencialmente controla con qué fuerza el modelo debe seguir la imagen de entrada, en relación con sus antecedentes visuales aprendidos.
Con una guía menor, el modelo produce patrones más suaves, mientras que una guía mayor lo alienta a generar texturas más nítidas y detalles más finos (lo que a su vez también aumenta el riesgo de producir artefactos no deseados o contenido alucinatorio).
Para probar DarkDiff, los investigadores utilizaron fotografías reales tomadas en condiciones de luz extremadamente baja con cámaras como la Sony A7SII, comparando los resultados con otros modelos de mejora sin procesar y líneas de base basadas en difusión, incluida ExposureDiffusion.
Las imágenes de prueba se capturaron de noche con tiempos de exposición de tan solo 0,033 segundos, y las versiones mejoradas de DarkDiff se compararon con fotografías de referencia capturadas con una exposición 300 veces más larga en un trípode.
Estos son algunos de los resultados (que te animamos a ver) en plena calidad en el estudio original):
DarkDiff no está exento de problemas
Los investigadores señalan que su procesamiento basado en IA es significativamente más lento que los métodos tradicionales y probablemente requeriría procesamiento en la nube para compensar las altas demandas computacionales que agotarían rápidamente la batería si se ejecutara localmente en un teléfono. Además de esto, también notan las limitaciones para reconocer texto que no está en inglés en escenas con poca luz.
También es importante tener en cuenta que en ninguna parte del estudio se sugiere que DarkDiff llegue pronto a los iPhone. Aún así, el trabajo demuestra el enfoque continuo de Apple en los avances en la fotografía computacional.
En los últimos años, esto se ha convertido en un área de enfoque cada vez más importante en todo el mercado de teléfonos inteligentes a medida que los clientes exigen capacidades de cámara más allá de lo que las empresas pueden colocar físicamente en sus dispositivos.
Para leer el estudio completo y ver comparaciones adicionales entre DarkDiff y otros métodos de eliminación de ruido, sigue este enlace.
Ofertas de accesorios en Amazon
FTC: utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
