Renderizado (gráficos por computadora)

Una gran parte de la investigación en gráficos por computadora se ha centrado en producir imágenes que se asemejen a fotografías. Las técnicas fundamentales que lo hacen posible se inventaron en la década de 1980, pero a finales de la década, el fotorrealismo para escenas complejas todavía se consideraba un objetivo lejano. ^{[ 13 ] : x} Hoy en día, el fotorrealismo se logra de forma rutinaria para la renderización fuera de línea, pero sigue siendo difícil para la renderización en tiempo real . ^{[ 14 ] : 1–2}

Para producir imágenes realistas, el renderizado debe simular cómo la luz viaja desde las fuentes de luz, se refleja, refracta y dispersa (a menudo muchas veces) por los objetos de la escena, pasa a través de la lente de la cámara y finalmente llega a la película o al sensor de la cámara. La física utilizada en estas simulaciones es principalmente la óptica geométrica , en la que las partículas de luz siguen líneas (generalmente rectas) llamadas rayos , pero en algunas situaciones (como al renderizar películas delgadas , como la superficie de las burbujas de jabón ) debe tenerse en cuenta la naturaleza ondulatoria de la luz . ^{[ 15 ] [ 16 ]}

Entre los efectos que podrían necesitar ser simulados se incluyen:

• Sombras , incluyendo tanto sombras con bordes definidos como sombras suaves con umbra y penumbra.
• Reflejos en espejos y superficies lisas, así como en superficies reflectantes rugosas u onduladas.
• Refracción : la desviación de la luz al atravesar la frontera entre dos materiales transparentes, como el aire y el vidrio. La magnitud de esta desviación varía según la longitud de onda de la luz, lo que puede provocar la aparición de franjas de colores o "arcoíris". 
• Efectos volumétricos : absorción y dispersión cuando la luz viaja a través de sustancias parcialmente transparentes o translúcidas (llamadas medios participantes porque modifican la luz en lugar de simplemente permitir que los rayos la atraviesen) ^{[ 17 ] : 140 [ 15 ]} 
• Cáusticas : manchas brillantes, a veces con filamentos distintivos y una apariencia plegada o retorcida, que resultan cuando la luz se refleja o refracta antes de iluminar un objeto. ^{[ 17 ] : 109} 

En escenas realistas, los objetos se iluminan tanto por la luz que llega directamente de una fuente de luz (tras atravesar el aire prácticamente sin obstáculos) como por la luz que rebota en otros objetos de la escena. La simulación de esta iluminación compleja se denomina iluminación global . Antiguamente, la iluminación indirecta se simulaba a menudo (sobre todo al renderizar películas de animación ) colocando luces ocultas adicionales en la escena, pero hoy en día se utiliza el trazado de rayos para renderizarla con precisión. ^{[ 18 ] : 3 [ 17 ] : 108}

Para lograr un fotorrealismo auténtico, es necesario simular la cámara utilizada para tomar la fotografía. La aproximación de lente delgada permite combinar la proyección de perspectiva con la emulación de la profundidad de campo (y el bokeh ). Las simulaciones de lentes de cámara pueden hacerse más realistas modelando la forma en que la luz se refracta por los componentes de la lente. El desenfoque de movimiento se suele simular si se renderizan fotogramas de película o vídeo. ^{[ 15 ] [ 19 ]} A veces se añaden destellos y brillos simulados para que la imagen parezca subjetivamente más brillante (aunque el diseño de las cámaras reales intenta reducir estos efectos). ^{[ 8 ] : 12.4}

La representación realista utiliza descripciones matemáticas de cómo los diferentes materiales de superficie reflejan la luz, denominadas modelos de reflectancia o (cuando es físicamente plausible) funciones de distribución de reflectancia bidireccional (BRDF) . ^{[ 15 ]} La representación de materiales como el mármol , las hojas de las plantas y la piel humana requiere simular un efecto llamado dispersión subsuperficial , en el que una porción de la luz viaja hacia el material, se dispersa y luego regresa hacia afuera. ^{[ 17 ] : 143} La forma en que el color y propiedades como la rugosidad varían en una superficie se puede representar de manera eficiente mediante el mapeo de texturas . ^{[ 8 ] : 6.1}

Para algunas aplicaciones (incluidas las primeras etapas del modelado 3D ), pueden ser apropiados estilos de renderizado simplificados como el renderizado de estructura alámbrica , particularmente cuando no se han definido los detalles del material y la superficie y solo se conoce la forma de un objeto. ^{[ 20 ] : 5.3} Los juegos y otras aplicaciones en tiempo real pueden usar técnicas de renderizado más simples y menos realistas como una elección artística o de diseño, o para permitir velocidades de fotogramas más altas en hardware de gama baja.

Las proyecciones ortográficas e isométricas pueden utilizarse para lograr un efecto estilizado o para asegurar que las líneas paralelas se representen como paralelas en la representación CAD . ^{[ 8 ] : 4.7 [ 20 ] : 3.7}

La representación no fotorrealista (NPR) utiliza técnicas como la detección de bordes y la posterización para producir imágenes 3D que se asemejan a ilustraciones técnicas, dibujos animados u otros estilos de dibujo o pintura. ^{[ 8 ] : cap. 15}

En los gráficos por computadora 2D, las posiciones y tamaños de las formas se especifican mediante coordenadas 2D (x e y) en lugar de coordenadas 3D (x, y y z). Las API de renderizado 2D suelen usar un sistema de coordenadas independiente de la resolución , donde la ventana gráfica determina cómo convertir las coordenadas a índices de píxeles llamados coordenadas del dispositivo . ^{[ 21 ] : 46} Se pueden aplicar transformaciones como escalado , traslación y rotación antes de renderizar las formas. Estas transformaciones afines a menudo se representan mediante matrices de 3 × 3 , lo que facilita la composición de transformaciones. ^{[ 21 ] : 245–255}

Los motores de renderizado 2D de mayor calidad, como los renderizadores SVG, suelen implementar suavizado de bordes para reducir la apariencia dentada de las líneas rasterizadas y los bordes de las formas. ^{[ 22 ] : 2.5.6} Al renderizar formas superpuestas, los renderizadores suelen utilizar un " modelo de pintor " en el que las formas se dibujan en un orden determinado, o sus contribuciones a cada píxel se componen mediante operaciones de mezcla que pueden depender del orden de las entradas. ^{[ 22 ] : 3.3} Los renderizadores pueden permitir asignar a las formas un " índice z " o un "orden de apilamiento" para especificar el orden de renderizado o de mezcla (a diferencia de la coordenada z utilizada en el renderizado 3D, esta tercera coordenada solo indica un orden , no una distancia, y no se puede rotar de forma significativa junto con las coordenadas x e y). ^{[ 22 ] : 3.4}

La representación 2D normalmente no simula la propagación de la luz (lo que probablemente requeriría especificar posiciones 3D o grosor para las formas). Efectos como sombras paralelas y transparencia se definen mediante funciones matemáticas sin base física. ^{[ 23 ] : 9.12 [ 24 ] : 5}

La representación 2D para impresión puede requerir resoluciones muy altas, por ejemplo, 600 o 1200 ppp para una impresora láser típica , o 2400 ppp o superior para una fotocomponedora o grabadora de planchas . Las imágenes en escala de grises y en color requieren semitonos (o algún tipo de tramado o filtrado estocástico ) y separaciones de color . Un motor de renderizado llamado procesador de imágenes ráster (RIP) convierte los datos de entrada, como archivos PDF , en imágenes de mapa de bits de alta resolución utilizadas por la impresora. ^{[ 25 ] : Cap. 1-2}

La descripción de una imagen de gráficos vectoriales puede incluir: ^{[ 26 ] [ 27 ]}

• Información sobre coordenadas y curvatura de segmentos de línea , arcos y curvas de Bézier (que pueden utilizarse como límites de figuras rellenas).
• Coordenadas centrales, ancho y alto (o coordenadas del rectángulo delimitador ) de formas básicas como rectángulos , círculos y elipses.
• Color, ancho y patrón (como discontinuo o punteado) para la representación de líneas.
• Colores, patrones y degradados para rellenar formas
• Datos de imagen de mapa de bits (ya sea incrustados o en un archivo externo) junto con información de escala y posición.
• Texto que se mostrará (junto con su tamaño, posición, orientación, color y fuente).
• Información de recorte , si solo se debe renderizar una parte de una forma o imagen de mapa de bits.
• Información de transparencia y composición para la representación de formas superpuestas
• Información del espacio de color , que permite que la imagen se reproduzca de forma consistente en diferentes pantallas e impresoras.

Una descripción de escena geométrica puede incluir: ^{[ 6 ] : Cap. 4-7, 8.7 [ 29 ]}

• Tamaño, posición y orientación de primitivas geométricas como esferas y conos (que pueden combinarse de diversas maneras para crear objetos más complejos).
• Coordenadas de vértice y vectores normales de superficie para mallas de triángulos o polígonos (que a menudo se representan como superficies lisas mediante la subdivisión de la malla).
• Transformaciones para posicionar, rotar y escalar objetos dentro de una escena (lo que permite que partes de la escena utilicen diferentes sistemas de coordenadas locales).
• Información de la "cámara" que describe cómo se está viendo la escena (posición, dirección, distancia focal y campo de visión ).
• Información sobre la luz (ubicación, tipo, brillo y color)
• Propiedades ópticas de las superficies, como el albedo , la rugosidad y el índice de refracción ,
• Propiedades ópticas de los medios a través de los cuales pasa la luz (sólidos transparentes, líquidos, nubes, humo), por ejemplo, secciones transversales de absorción y dispersión.
• Datos de imagen de mapa de bits utilizados como mapas de textura para superficies
• Pequeños scripts o programas para generar formas o escenas 3D complejas de forma procedural.
• Descripción de cómo cambian con el tiempo las ubicaciones de los objetos y la cámara, así como otra información, para la renderización de una animación.

Existen muchos formatos de archivo para almacenar objetos 3D individuales o " modelos ". Estos pueden importarse a una escena más grande o cargarse bajo demanda mediante software de renderizado o juegos. Una escena realista puede requerir cientos de elementos como objetos domésticos, vehículos y árboles, y los artistas 3D suelen utilizar grandes bibliotecas de modelos. En la producción de videojuegos, estos modelos (junto con otros datos como texturas, archivos de audio y animaciones) se denominan " recursos ". ^{[ 28 ] [ 30 ] : Cap. 4}

La visualización científica y de ingeniería a menudo requiere la representación de datos volumétricos generados por escaneos o simulaciones 3D . Quizás la fuente más común de dichos datos sean las tomografías computarizadas (TC) y las resonancias magnéticas (RM) , que deben representarse para el diagnóstico. Los datos volumétricos pueden ser extremadamente grandes y requieren formatos de datos especializados para almacenarlos de manera eficiente, particularmente si el volumen es disperso (con regiones vacías que no contienen datos). ^{[ 8 ] : 14.3.1 [ 31 ] [ 32 ]}

Antes de la renderización, los conjuntos de niveles para datos volumétricos se pueden extraer y convertir en una malla de triángulos, por ejemplo, utilizando el algoritmo de cubos marchantes . También se han desarrollado algoritmos que trabajan directamente con datos volumétricos, por ejemplo, para renderizar representaciones realistas de cómo la luz se dispersa y absorbe por las nubes y el humo, y este tipo de renderización volumétrica se utiliza ampliamente en efectos visuales para películas. Al renderizar datos volumétricos de menor resolución sin interpolación, los cubos individuales o " vóxeles " pueden ser visibles, un efecto que a veces se utiliza deliberadamente para gráficos de juegos. ^{[ 33 ] : 4.6 [ 8 ] : 13.10, Cap. 14, 16.1}

Las fotografías de objetos del mundo real se pueden incorporar a una escena renderizada utilizándolas como texturas para objetos 3D. Las fotos de una escena también se pueden unir para crear imágenes panorámicas o mapas de entorno , lo que permite renderizar la escena de forma muy eficiente, pero solo desde un único punto de vista. El escaneo de objetos y escenas reales mediante luz estructurada o lidar produce nubes de puntos que consisten en las coordenadas de millones de puntos individuales en el espacio, a veces junto con información de color. Estas nubes de puntos se pueden renderizar directamente o convertir en mallas antes de la renderización. (Nota: "nube de puntos" a veces también se refiere a un estilo de renderización minimalista que se puede utilizar para cualquier geometría 3D, similar a la renderización de estructura alámbrica). ^{[ 8 ] : 13.3, 13.9 [ 6 ] : 1.3}

Un enfoque experimental más reciente consiste en la descripción de escenas mediante campos de radiancia que definen el color, la intensidad y la dirección de la luz incidente en cada punto del espacio. (Esto es conceptualmente similar, pero no idéntico, al campo de luz registrado por un holograma ). Para cualquier resolución útil, la cantidad de datos en un campo de radiancia es tan grande que resulta impracticable representarlo directamente como datos volumétricos, por lo que debe hallarse una función de aproximación . Normalmente se utilizan redes neuronales para generar y evaluar estas aproximaciones, a veces utilizando fotogramas de vídeo o una colección de fotografías de una escena tomadas desde diferentes ángulos como " datos de entrenamiento ". ^{[ 34 ] [ 35 ]}

Recientemente se han utilizado algoritmos relacionados con redes neuronales para encontrar aproximaciones de una escena como gaussianas 3D . La representación resultante es similar a una nube de puntos , excepto que utiliza manchas difusas y parcialmente transparentes de dimensiones y orientaciones variables en lugar de puntos. Al igual que con los campos de radiancia neuronal , estas aproximaciones a menudo se generan a partir de fotografías o fotogramas de vídeo. ^{[ 36 ]}

El término rasterización (en sentido amplio) abarca muchas técnicas utilizadas para la renderización 2D y la renderización 3D en tiempo real . Las películas de animación 3D se renderizaban mediante rasterización antes de que el trazado de rayos y el trazado de rutas se volvieran prácticos.

Un renderizador combina la rasterización con el procesamiento de geometría (que no es específico de la rasterización) y el procesamiento de píxeles que calcula los valores de color RGB que se colocarán en el framebuffer para su visualización. ^{[ 8 ] : 2.1 [ 41 ] : 9}

Las principales tareas de rasterización (incluido el procesamiento de píxeles) son: ^{[ 8 ] : 2, 3.8, 23.1.1}

• Determinar qué píxeles están cubiertos por cada forma geométrica en la escena 3D o la imagen 2D (este es el paso de rasterización propiamente dicho, en el sentido más estricto).
• Mezcla entre colores y profundidades definidas en los vértices de las formas, por ejemplo, utilizando coordenadas baricéntricas ( interpolación ).
• Determinar si partes de las formas están ocultas por otras formas, debido a la superposición de capas 2D o a la profundidad 3D ( eliminación de superficies ocultas ).
• Evaluar una función para cada píxel cubierto por una forma ( sombreado ).
• Suavizar los bordes de las formas para que los píxeles sean menos visibles ( anti-aliasing ).
• Combinación de formas transparentes superpuestas ( composición )

La rasterización 3D suele formar parte de una canalización gráfica en la que una aplicación proporciona listas de triángulos que se van a renderizar, y el sistema de renderizado transforma y proyecta sus coordenadas, determina qué triángulos son potencialmente visibles en la ventana gráfica y realiza las tareas de rasterización y procesamiento de píxeles mencionadas anteriormente antes de mostrar el resultado final en la pantalla. ^{[ 8 ] : 2.1 [ 41 ] : 9}

Históricamente, la rasterización 3D utilizaba algoritmos como el algoritmo de Warnock y la renderización por líneas de escaneo (también llamada "conversión de escaneo"), que pueden manejar polígonos arbitrarios y rasterizar múltiples formas simultáneamente. Si bien estos algoritmos siguen siendo importantes para la renderización 2D, actualmente la renderización 3D suele dividir las formas en triángulos y rasterizarlas individualmente mediante métodos más sencillos. ^{[ 50 ] [ 51 ] [ 21 ] : 456, 561–569}

Existen algoritmos de alto rendimiento para la rasterización de líneas 2D , incluidas líneas suavizadas , así como elipses y triángulos rellenos. Un caso especial importante de rasterización 2D es la representación de texto , que requiere un suavizado y redondeo cuidadosos de las coordenadas para evitar la distorsión de las formas de las letras y preservar el espaciado, la densidad y la nitidez. ^{[ 41 ] : 9.1.1 [ 52 ]}

Una vez proyectadas las coordenadas 3D sobre el plano de la imagen , la rasterización es principalmente un problema 2D, pero la tercera dimensión requiere la eliminación de superficies ocultas . Los primeros gráficos por computadora utilizaban algoritmos geométricos o trazado de rayos para eliminar las partes ocultas de las formas, o bien el algoritmo del pintor , que ordena las formas por profundidad (distancia a la cámara) y las renderiza de atrás hacia adelante. Posteriormente, se evitó la ordenación por profundidad incorporando la comparación de profundidad al algoritmo de renderizado de línea de exploración . El algoritmo del búfer Z realiza las comparaciones indirectamente al incluir un valor de profundidad o "z" en el búfer de fotogramas . Un píxel solo está cubierto por una forma si el valor z de esa forma es menor (lo que indica que está más cerca de la cámara) que el valor z que se encuentra actualmente en el búfer. El búfer Z requiere memoria adicional (un recurso costoso en el momento de su invención), pero simplifica el código de rasterización y permite múltiples pasadas. Actualmente, la memoria es más rápida y abundante, y el búfer Z se utiliza casi siempre para el renderizado en tiempo real. ^{[ 53 ] [ 54 ] [ 21 ] : 553–570 [ 8 ] : 2.5.2}

Una desventaja del algoritmo básico de búfer Z es que cada píxel termina completamente cubierto por un solo objeto o relleno con el color de fondo, lo que provoca bordes dentados en la imagen final. Los primeros enfoques de suavizado de bordes abordaron este problema detectando cuándo un píxel está parcialmente cubierto por una forma y calculando el área cubierta. El búfer A (y otras técnicas de supermuestreo y multimuestreo ) resuelven el problema con menor precisión, pero con mayor rendimiento. Para gráficos 3D en tiempo real, se ha vuelto común utilizar heurísticas complejas (e incluso redes neuronales ) para realizar el suavizado de bordes. ^{[ 54 ] [ 55 ] [ 41 ] : 9.3 [ 8 ] : 5.4.2}

En la rasterización 3D, el color generalmente se determina mediante un sombreador de píxeles o un sombreador de fragmentos , un pequeño programa que se ejecuta para cada píxel. El sombreador no accede (o no puede acceder) directamente a los datos 3D de toda la escena (esto sería muy lento y daría como resultado un algoritmo similar al trazado de rayos), y se han desarrollado diversas técnicas para renderizar efectos como sombras y reflejos utilizando únicamente mapeo de texturas y múltiples pasadas. ^{[ 41 ] : 17.8}

Las implementaciones de rasterización 3D más antiguas y básicas no admitían sombreadores y utilizaban técnicas de sombreado simples como el sombreado plano (la iluminación se calcula una vez para cada triángulo, que luego se renderiza completamente en un color), el sombreado Gouraud (la iluminación se calcula utilizando vectores normales definidos en los vértices y luego los colores se interpolan a través de cada triángulo) o el sombreado Phong (los vectores normales se interpolan a través de cada triángulo y la iluminación se calcula para cada píxel). ^{[ 41 ] : 9.2}

Hasta hace relativamente poco, Pixar utilizaba la rasterización para renderizar sus películas de animación . A diferencia de los renderizadores comúnmente utilizados para gráficos en tiempo real, el sistema de renderizado Reyes del software RenderMan de Pixar estaba optimizado para renderizar polígonos muy pequeños (del tamaño de un píxel) e incorporaba técnicas de muestreo estocástico más típicamente asociadas con el trazado de rayos . ^{[ 6 ] : 2, 6.3 [ 56 ]}

Una de las formas más sencillas de renderizar una escena 3D consiste en comprobar si un rayo que parte del punto de vista (el "ojo" o "cámara") interseca alguna de las formas geométricas de la escena, repitiendo esta prueba con una dirección de rayo diferente para cada píxel. Este método, denominado trazado de rayos , fue importante en los inicios de los gráficos por ordenador y constituye un componente fundamental para algoritmos más avanzados. El trazado de rayos se puede utilizar para renderizar formas definidas mediante operaciones de geometría sólida constructiva (CSG). ^{[ 42 ] : 8-9 [ 57 ] : 246–249}

Entre los primeros experimentos de trazado de rayos se encuentra el trabajo de Arthur Appel en la década de 1960. Appel representó sombras proyectando un rayo adicional desde cada punto visible de la superficie hacia una fuente de luz. También intentó representar la densidad de iluminación proyectando rayos aleatorios desde la fuente de luz hacia el objeto y trazando los puntos de intersección (similar a la técnica posterior denominada mapeo de fotones ). ^{[ 58 ]}

Al renderizar escenas con muchos objetos, probar la intersección de un rayo con cada objeto resulta muy costoso. Se utilizan estructuras de datos especiales para acelerar este proceso, permitiendo excluir rápidamente un gran número de objetos (como los que se encuentran detrás de la cámara). Estas estructuras son análogas a los índices de bases de datos para encontrar los objetos relevantes. Las más comunes son la jerarquía de volumen delimitador (BVH), que almacena una caja delimitadora o esfera precalculada para cada rama de un árbol de objetos, y el árbol kd , que divide recursivamente el espacio en dos partes. Las GPU recientes incluyen aceleración por hardware para las pruebas de intersección BVH. Los árboles kd son un caso especial de partición binaria del espacio , que se utilizaba con frecuencia en los primeros gráficos por computadora (también puede generar un orden de rasterización para el algoritmo del pintor ). Los octrees , otra técnica históricamente popular, todavía se utilizan a menudo para datos volumétricos. ^{[ 14 ] : 16–17 [ 59 ] [ 57 ] [ 7 ] : 36.2}

Las fórmulas geométricas son suficientes para encontrar la intersección de un rayo con formas como esferas , polígonos y poliedros , pero para la mayoría de las superficies curvas no existe una solución analítica , o la intersección es difícil de calcular con precisión utilizando números de coma flotante de precisión limitada . En ocasiones, se pueden utilizar algoritmos de búsqueda de raíces, como el método de Newton . Para evitar estas complicaciones, las superficies curvas a menudo se aproximan como mallas de triángulos . La renderización de volumen (por ejemplo, la renderización de nubes y humo) y algunas superficies, como los fractales , pueden requerir el trazado de rayos en lugar del trazado de rayos básico. ^{[ 60 ] [ 42 ] : 13 [ 8 ] : 14, 17.3}

El trazado de rayos se puede utilizar para renderizar una imagen trazando rayos de luz hacia atrás desde una cámara simulada. Después de encontrar un punto en una superficie donde se originó un rayo, se traza otro rayo hacia la fuente de luz para determinar si algo proyecta una sombra en ese punto. Si no es así, se utiliza un modelo de reflectancia (como la reflectancia lambertiana para superficies mates o el modelo de reflexión de Phong para superficies brillantes) para calcular la probabilidad de que un fotón proveniente de la luz se refleje hacia la cámara, y esto se multiplica por el brillo de la luz para determinar el brillo del píxel. Si hay varias fuentes de luz, se suman las contribuciones de brillo de las luces. Para imágenes en color, los cálculos se repiten para múltiples longitudes de onda de luz (por ejemplo, rojo, verde y azul). ^{[ 8 ] : 11.2.2 [ 42 ] : 8}

El trazado de rayos clásico (también llamado trazado de rayos estilo Whitted o recursivo ) extiende este método para poder renderizar espejos y objetos transparentes. Si un rayo trazado hacia atrás desde la cámara se origina en un punto de un espejo, se utiliza la fórmula de reflexión de la óptica geométrica para calcular la dirección de donde provino el rayo reflejado, y se proyecta otro rayo hacia atrás en esa dirección. Si un rayo se origina en una superficie transparente, se proyectan rayos hacia atrás tanto para los rayos reflejados como para los refractados (utilizando la ley de Snell para calcular la dirección de la refracción), por lo que el trazado de rayos necesita admitir un "árbol" ramificado de rayos. En implementaciones simples, se llama a una función recursiva para trazar cada rayo. ^{[ 8 ] : 11.2.2 [ 42 ] : 9}

El trazado de rayos generalmente realiza el suavizado de bordes tomando el promedio de múltiples muestras para cada píxel. También puede usar múltiples muestras para efectos como profundidad de campo y desenfoque de movimiento . Si se usan direcciones o tiempos de rayos uniformemente espaciados para cada una de estas características, se requieren muchos rayos y persistirá cierto aliasing. El trazado de rayos de estilo Cook , estocástico o Monte Carlo evita este problema al usar muestreo aleatorio en lugar de muestras uniformemente espaciadas. Este tipo de trazado de rayos se conoce comúnmente como trazado de rayos distribuido , o trazado de rayos de distribución, porque muestrea rayos a partir de distribuciones de probabilidad . El trazado de rayos de distribución también puede renderizar sombras "suaves" realistas de luces grandes usando una muestra aleatoria de puntos en la luz al probar el sombreado, y puede simular la aberración cromática muestreando múltiples longitudes de onda del espectro de luz . ^{[ 42 ] : 10 [ 45 ] : 25}

Los materiales de superficie reales reflejan pequeñas cantidades de luz en casi todas las direcciones debido a que tienen pequeñas protuberancias y surcos (o microscópicos). Un trazador de rayos de distribución puede simular esto muestreando las posibles direcciones de los rayos, lo que permite renderizar reflejos borrosos de superficies brillantes y metálicas. Sin embargo, si este procedimiento se repite recursivamente para simular una iluminación indirecta realista, y si se toma más de una muestra en cada punto de la superficie, el árbol de rayos se vuelve rápidamente enorme. Otro tipo de trazado de rayos, llamado trazado de trayectorias , maneja la luz indirecta de manera más eficiente, evitando ramificaciones, y asegura que la distribución de todas las trayectorias posibles desde una fuente de luz hasta la cámara se muestrea de manera imparcial . ^{[ 45 ] : 25–27 [ 44 ]}

El trazado de rayos se utilizaba con frecuencia para renderizar reflejos en películas de animación, hasta que el trazado de rutas se convirtió en el estándar para la renderización cinematográfica. Películas como Shrek 2 y Monsters University también utilizaron trazado de rayos distribuido o trazado de rutas para precalcular la iluminación indirecta de una escena o fotograma antes de renderizarlo mediante rasterización. ^{[ 17 ] : 118–121}

Los avances en la tecnología de GPU han hecho posible el trazado de rayos en tiempo real en los juegos, aunque actualmente casi siempre se usa en combinación con la rasterización. ^{[ 14 ] : 2} Esto permite efectos visuales que son difíciles con solo rasterización, incluyendo la reflexión de superficies curvas y objetos interreflectantes, ^{[ 61 ] : 305} y sombras que son precisas en un amplio rango de distancias y orientaciones de superficie. ^{[ 62 ] : 159-160} La compatibilidad con el trazado de rayos está incluida en versiones recientes de las API gráficas utilizadas por los juegos, como DirectX , Metal y Vulkan . ^{[ 63 ]}

El trazado de rayos se ha utilizado para renderizar agujeros negros simulados y la apariencia de objetos que se mueven a velocidades cercanas a la de la luz, teniendo en cuenta la curvatura del espacio-tiempo y los efectos relativistas durante la simulación de rayos de luz. ^{[ 64 ] [ 65 ]}

Radiosidad (llamada así por la magnitud radiométrica del mismo nombre ) es un método para renderizar objetos iluminados por la luz que rebota en superficies rugosas o mates . Este tipo de iluminación se denomina luz indirecta , iluminación ambiental , iluminación difusa o interreflexión difusa , y el problema de renderizarla de forma realista se denomina iluminación global . La rasterización y las formas básicas de trazado de rayos (excepto el trazado de rayos de distribución y el trazado de trayectorias) solo pueden aproximar la luz indirecta de forma aproximada, por ejemplo, añadiendo una cantidad uniforme de iluminación ambiental elegida por el artista. Las técnicas de radiosidad también son adecuadas para renderizar escenas con luces de área, como paneles de iluminación fluorescente rectangulares, que son difíciles de rasterizar y del trazado de rayos tradicional. La radiosidad se considera un método basado en la física , lo que significa que busca simular el flujo de luz en un entorno utilizando ecuaciones y datos experimentales de la física; sin embargo, a menudo asume que todas las superficies son opacas y perfectamente lambertianas , lo que reduce el realismo y limita su aplicabilidad. ^{[ 8 ] : 10, 11.2.1 [ 10 ] : 888, 893 [ 66 ] [ 67 ] : 6}

En el método de radiosidad original (propuesto por primera vez en 1984), ahora llamado radiosidad clásica , las superficies y las luces de la escena se dividen en piezas llamadas parches , un proceso denominado mallado (este paso lo convierte en un método de elementos finitos ). El código de renderizado debe determinar qué fracción de la luz emitida o reflejada difusamente (dispersada) por cada parche es recibida por cada parche restante. Estas fracciones se denominan factores de forma o factores de visión (utilizados inicialmente en ingeniería para modelar la transferencia de calor radiativa ). Los factores de forma se multiplican por el albedo de la superficie receptora y se almacenan en una matriz . La iluminación de la escena se puede expresar entonces como una ecuación matricial (o, equivalentemente, un sistema de ecuaciones lineales ) que se puede resolver mediante métodos de álgebra lineal . ^{[ 66 ] [ 68 ] : 46 [ 10 ] : 888, 896}

La resolución de la ecuación de radiosidad proporciona la cantidad total de luz emitida y reflejada por cada parche, que se divide por el área para obtener un valor llamado radiosidad , el cual se puede utilizar al rasterizar o trazar rayos para determinar el color de los píxeles correspondientes a las partes visibles del parche. Para la renderización en tiempo real, este valor (o, más comúnmente, la irradiancia , que no depende del albedo superficial local) se puede precalcular y almacenar en una textura (denominada mapa de irradiancia ) o como datos de vértice para modelos 3D. Esta función se utilizó en software de visualización arquitectónica para permitir recorridos virtuales en tiempo real del interior de un edificio después de calcular la iluminación. ^{[ 10 ] : 890 [ 8 ] : 11.5.1 [ 67 ] : 332}

El gran tamaño de las matrices utilizadas en la radiosidad clásica (el cuadrado del número de parches) causa problemas en escenas realistas. Las implementaciones prácticas pueden usar iteraciones de Jacobi o Gauss-Seidel , lo que equivale (al menos en el caso de Jacobi) a simular la propagación de la luz rebote a rebote hasta que la cantidad de luz restante (aún no absorbida por las superficies) sea insignificante. El número de iteraciones (rebotes) requerido depende de la escena, no del número de parches, por lo que el trabajo total es proporcional al cuadrado del número de parches (en contraste, resolver la ecuación matricial usando la eliminación gaussiana requiere un trabajo proporcional al cubo del número de parches). Los factores de forma pueden recalcularse cuando sean necesarios para evitar almacenar una matriz completa en la memoria. ^{[ 10 ] : 901, 907}

La calidad de la representación suele estar determinada por el tamaño de los parches; por ejemplo, se necesitan mallas muy finas para representar con precisión los bordes de las sombras. Una mejora importante es la radiosidad jerárquica , que utiliza una malla más gruesa (parches más grandes) para simular la transferencia de luz entre superficies distantes entre sí y subdivide los parches de forma adaptativa según sea necesario. Esto permite utilizar la radiosidad en escenas mucho más grandes y complejas. ^{[ 10 ] : 975, 939}

Las versiones alternativas y extendidas del método de radiosidad admiten superficies no lambertianas, como superficies brillantes y espejos, y a veces utilizan volúmenes o "grupos" de objetos, además de parches de superficie. La radiosidad estocástica o de Monte Carlo utiliza muestreo aleatorio de diversas maneras, por ejemplo, tomando muestras de luz incidente en lugar de integrar sobre todos los parches, lo que puede mejorar el rendimiento pero añade ruido (este ruido se puede reducir utilizando iteraciones deterministas como paso final, a diferencia del ruido del trazado de rayos). Las versiones simplificadas y parcialmente precalculadas de la radiosidad se utilizan ampliamente para la renderización en tiempo real, combinadas con técnicas como la radiosidad de octree que almacenan aproximaciones del campo de luz . ^{[ 10 ] : 979, 982 [ 68 ] : 49 [ 69 ] [ 8 ] : 11.5}

Como parte del enfoque conocido como renderizado basado en la física , el trazado de rayos se ha convertido en la técnica dominante para renderizar escenas realistas, incluidos los efectos para películas. ^{[ 70 ]} Por ejemplo, el popular software 3D de código abierto Blender utiliza el trazado de rayos en su motor de renderizado Cycles. ^{[ 71 ]} Las imágenes producidas mediante el trazado de rayos para la iluminación global suelen ser más ruidosas que cuando se utiliza la radiosidad (el principal algoritmo competidor para la iluminación realista), pero la radiosidad puede ser difícil de aplicar a escenas complejas y es propensa a artefactos que surgen del uso de una representación teselada de la irradiancia . ^{[ 70 ] [ 10 ] : 975-976, 1045}

Al igual que el trazado de rayos distribuido , el trazado de trayectorias es un tipo de trazado de rayos estocástico o aleatorio que utiliza la integración de Monte Carlo o cuasi-Monte Carlo . Fue propuesto y nombrado en 1986 por Jim Kajiya en el mismo artículo que la ecuación de renderizado . Kajiya observó que gran parte de la complejidad del trazado de rayos distribuido podía evitarse trazando solo una trayectoria desde la cámara a la vez (en la implementación de Kajiya, esta regla de "no ramificación" se rompía trazando rayos adicionales desde cada punto de intersección de la superficie a puntos elegidos aleatoriamente en cada fuente de luz). Kajiya sugirió reducir el ruido presente en las imágenes de salida utilizando muestreo estratificado y muestreo de importancia para tomar decisiones aleatorias, como elegir qué rayo seguir en cada paso de una trayectoria. Incluso con estas técnicas, el trazado de trayectorias no habría sido práctico para el renderizado de películas, utilizando las computadoras disponibles en ese momento, porque el costo computacional de generar suficientes muestras para reducir la varianza a un nivel aceptable era demasiado alto. Monster House , el primer largometraje renderizado completamente utilizando trazado de trayectorias, no se estrenó hasta 20 años después. ^{[ 44 ] [ 70 ] [ 72 ]}

En su forma básica, el trazado de rutas es ineficiente (requiere demasiadas muestras) para renderizar cáusticas y escenas donde la luz entra indirectamente a través de espacios estrechos. En la década de 1990 se intentó abordar estas debilidades. El trazado de rutas bidireccional tiene similitudes con el mapeo de fotones , trazando rayos desde la fuente de luz y la cámara por separado, y luego encontrando formas de conectar estas rutas (pero a diferencia del mapeo de fotones, generalmente muestrea nuevas rutas de luz para cada píxel en lugar de usar los mismos datos almacenados en caché para todos los píxeles). El transporte de luz de Metropolis muestrea rutas modificando las rutas que se trazaron previamente, dedicando más tiempo a explorar rutas que son similares a otras rutas "brillantes", lo que aumenta la probabilidad de descubrir rutas aún más brillantes. El muestreo de importancia múltiple proporciona una forma de reducir la varianza al combinar muestras de más de un método de muestreo, particularmente cuando algunas muestras son mucho más ruidosas que las otras. ^{[ 70 ] [ 18 ]}

Este trabajo posterior fue resumido y ampliado en la tesis doctoral de Eric Veach de 1997, lo que contribuyó a despertar el interés por el trazado de rayos en la comunidad de gráficos por computadora. El renderizador Arnold , lanzado por primera vez en 1998, demostró que el trazado de rayos era práctico para renderizar fotogramas de películas y que existía una demanda de renderizado imparcial y basado en la física en la industria cinematográfica; comenzaron a aparecer otros renderizadores de trazado de rayos comerciales y de código abierto. El costo computacional se abordó mediante rápidos avances en el rendimiento de las CPU y los clústeres . ^{[ 70 ]}

La relativa simplicidad del trazado de rayos y su naturaleza como método de Monte Carlo (muestreo de cientos o miles de trayectorias por píxel) lo han hecho atractivo para su implementación en una GPU , especialmente en GPU recientes que admiten tecnología de aceleración de trazado de rayos como RTX y OptiX de Nvidia . ^{[ 73 ]} Sin embargo, el trazado de rayos bidireccional y el transporte de luz de Metropolis son más difíciles de implementar de manera eficiente en una GPU. ^{[ 74 ] [ 75 ]}

Se han desarrollado técnicas para eliminar el ruido de la salida del trazado de rayos, reduciendo el número de trayectorias necesarias para lograr una calidad aceptable, a riesgo de perder algunos detalles o introducir artefactos a pequeña escala que son más objetables que el ruido. ^{[ 76 ] [ 77 ]} Actualmente, las redes neuronales se utilizan ampliamente para este propósito. ^{[ 78 ] [ 79 ] [ 80 ]}

La investigación para mejorar el trazado de trayectorias continúa. Se han explorado muchas variaciones del trazado de trayectorias bidireccional y del transporte de luz de Metropolis, así como formas de combinar el trazado de trayectorias con el mapeo de fotones. ^{[ 81 ] [ 82 ]} Los enfoques recientes de guiado de trayectorias construyen aproximaciones de la distribución de probabilidad del campo de luz en cada volumen del espacio, de modo que las trayectorias se pueden muestrear de forma más eficaz. ^{[ 82 ]}

Al combinar la reducción de ruido y la aceleración del trazado de rayos por hardware, ahora es práctico utilizar el trazado de rutas para la renderización en tiempo real . Debido a las limitaciones de rendimiento, se pueden incorporar técnicas sesgadas como una caché de radiancia. El remuestreo de reservorio espaciotemporal (ReSTIR) tiene como objetivo mejorar la calidad del trazado de rutas en tiempo real y permitir una iluminación más compleja mediante la reutilización de muestras (rutas) de fotogramas anteriores y píxeles adyacentes. ^{[ 83 ] : 16.2.4 [ 84 ]}

A partir de 2003, las técnicas de aprendizaje automático (ML) se estaban utilizando en otras áreas de los gráficos por computadora , como la síntesis de texturas , el ajuste de superficies a nubes de puntos y el ajuste de curvas a datos de captura de movimiento . ^{[ 85 ]} El uso de ML para renderizado se expandió con la disponibilidad de GPU que pueden evaluar redes neuronales (especialmente redes neuronales convolucionales ) rápidamente.

Las redes neuronales y los modelos de mezcla gaussiana se han utilizado junto con técnicas de renderizado como el trazado de rayos para codificar funciones de distribución de reflectancia bidireccional (BRDF), o para codificar la radiancia almacenada en caché en puntos del espacio (para la aceleración sesgada del renderizado o para la guía de trayectorias). Los campos de radiancia neuronal (NeRF) llevan este último enfoque al extremo, codificando la radiancia en todos los puntos de un volumen y utilizando la evaluación de esta aproximación como método de renderizado principal. ^{[ 86 ] : 16.3.2}

Una de las aplicaciones más utilizadas del aprendizaje automático en la renderización es la reducción de ruido en imágenes generadas mediante trazado de rayos (en la práctica, la mayoría de los procesos de trazado de rayos actuales probablemente utilizan un reductor de ruido). Las redes neuronales entrenadas con pares de imágenes con ruido y con poco ruido (o a veces pares de imágenes con ruido no correlacionado) pueden utilizar datos como la normal de la superficie y el albedo , además de la imagen renderizada, para reducir el desenfoque o los artefactos y preservar las texturas. Son eficaces para eliminar los píxeles brillantes dispersos, denominados "luciérnagas", que aparecen con frecuencia en el trazado de rayos. Los reductores de ruido especializados en la renderización en tiempo real pueden trabajar con un número muy bajo de muestras y mejorar la coherencia temporal para reducir el parpadeo. ^{[ 86 ] : 16.3.2 [ 14 ] : 26.5}

En la era de los monitores vectoriales (también llamados pantallas caligráficas ), una unidad de procesamiento de pantalla (DPU) era una CPU o coprocesador dedicado que mantenía una lista de elementos visuales y los redibujaba continuamente en la pantalla controlando un haz de electrones . Las DPU avanzadas como el Line Drawing System-1 de Evans & Sutherland (y modelos posteriores producidos hasta la década de 1980) incorporaban características de transformación de coordenadas 3D para acelerar la representación de imágenes de estructura alámbrica . ^{[ 21 ] : 93–94, 404–421 [ 87 ]} Evans & Sutherland también fabricó el sistema de proyección de planetario Digistar , que era una pantalla vectorial que podía representar tanto estrellas como gráficos de estructura alámbrica (el Digistar y el Digistar II basados ​​en vectores se utilizaron en muchos planetarios, y algunos pueden seguir en funcionamiento). ^{[ 88 ] [ 89 ] [ 90 ]} Se utilizó un prototipo de Digistar para renderizar campos estelares en 3D para la película Star Trek II: La ira de Khan , algunas de las primeras secuencias de gráficos por computadora en 3D jamás vistas en un largometraje. ^{[ 91 ]}

La renderización de gráficos 3D sombreados en las décadas de 1970 y principios de 1980 se implementaba generalmente en computadoras de propósito general, como la PDP-10 utilizada por investigadores de la Universidad de Utah ^{[ 92 ] [ 54 ]} . Era difícil acelerarla utilizando hardware especializado porque implica una secuencia de pasos complejos, que requiere capacidades de direccionamiento de datos, toma de decisiones y computación que normalmente solo proporcionan las CPU (aunque se propusieron circuitos dedicados para acelerar operaciones particulares ^{[ 92 ]} ). A veces se utilizaban supercomputadoras o computadoras o clústeres multi-CPU especialmente diseñados para el trazado de rayos. ^{[ 57 ]} En 1981, James H. Clark y Marc Hannah diseñaron el Geometry Engine, un chip VLSI para realizar algunos de los pasos de la secuencia de rasterización 3D, y fundaron la empresa Silicon Graphics (SGI) para comercializar esta tecnología. ^{[ 93 ] [ 94 ]}

En la década de 1980, las computadoras domésticas y las consolas de videojuegos incluían coprocesadores gráficos capaces de desplazar y rellenar áreas de la pantalla, así como de dibujar sprites y líneas, aunque no eran útiles para renderizar imágenes realistas. ^{[ 95 ] [ 96 ]} Hacia finales de la década de 1980, comenzaron a aparecer tarjetas gráficas para PC y juegos arcade con aceleración de renderizado 3D, y en la década de 1990 esta tecnología se generalizó. Hoy en día, incluso los procesadores móviles de bajo consumo suelen incorporar funciones de aceleración de gráficos 3D. ^{[ 93 ] [ 97 ]}

Los aceleradores de gráficos 3D de la década de 1990 evolucionaron hasta convertirse en las GPU modernas. Las GPU son procesadores de propósito general, como las CPU , pero están diseñadas para tareas que pueden dividirse en muchas subtareas pequeñas, similares y en su mayoría independientes (como la renderización de píxeles individuales) y ejecutarse en paralelo . Esto significa que una GPU puede acelerar cualquier algoritmo de renderización que pueda dividirse en subtareas de esta manera, a diferencia de los aceleradores 3D de la década de 1990, que solo estaban diseñados para acelerar algoritmos de rasterización específicos y efectos simples de sombreado e iluminación (aunque se podían usar trucos para realizar cálculos más generales). ^{[ 8 ] : cap. 3 [ 98 ]}

Debido a sus orígenes, las GPU suelen proporcionar aceleración de hardware especializada para algunos pasos de una canalización de rasterización 3D tradicional , incluyendo la eliminación de superficies ocultas mediante un búfer Z y el mapeo de texturas con mipmaps , pero estas características ya no se utilizan siempre. ^{[ 8 ] : cap. 3} Las GPU recientes tienen características para acelerar la búsqueda de intersecciones de rayos con una jerarquía de volumen delimitador , para ayudar a acelerar todas las variantes de trazado de rayos y trazado de rutas , ^{[ 59 ]} así como características de aceleración de redes neuronales que a veces son útiles para la renderización. ^{[ 99 ]}

Las GPU suelen estar integradas con sistemas de memoria de alto ancho de banda para soportar los requisitos de ancho de banda de lectura y escritura de la renderización en tiempo real de alta resolución, especialmente cuando se requieren múltiples pasadas para renderizar un fotograma. Sin embargo, la latencia de la memoria puede ser mayor que en una CPU, lo que puede ser un problema si la ruta crítica de un algoritmo implica muchos accesos a la memoria. El diseño de la GPU acepta la alta latencia como inevitable (en parte porque un gran número de hilos comparten el bus de memoria ) e intenta "ocultarla" cambiando eficientemente entre hilos, de modo que un hilo diferente pueda estar realizando cálculos mientras el primer hilo espera a que se complete una lectura o escritura. ^{[ 8 ] : ch3 [ 100 ] [ 101 ]}

Los algoritmos de renderizado se ejecutarán de manera eficiente en una GPU solo si se pueden implementar utilizando pequeños grupos de hilos que realicen principalmente las mismas operaciones. Como ejemplo de código que cumple este requisito: al renderizar un pequeño cuadrado de píxeles en una imagen simple de trazado de rayos , es probable que todos los hilos intersecten rayos con el mismo objeto y realicen los mismos cálculos de iluminación. Por razones de rendimiento y arquitectura, las GPU ejecutan grupos de entre 16 y 64 hilos llamados warps u wavefronts de forma sincronizada (todos los hilos del grupo ejecutan las mismas instrucciones al mismo tiempo). Si no todos los hilos del grupo necesitan ejecutar bloques de código específicos (debido a ciertas condiciones), algunos hilos estarán inactivos o los resultados de sus cálculos se descartarán, lo que provocará una degradación del rendimiento. ^{[ 8 ] : ch3 [ 101 ]}

Históricamente, el término renderizado por hardware (posiblemente una abreviatura de "renderizado acelerado por hardware" o "renderizado asistido por hardware") se usaba a veces para referirse al renderizado mediante una canalización de rasterización acelerada por hardware (típicamente para renderizado en tiempo real ). ^{[ 67 ] : 243, 249, 284, 324} En cambio, el renderizado por software se refería al renderizado fuera de línea mediante software que no estaba limitado por las capacidades del hardware gráfico y podía usar técnicas más realistas y de mayor calidad. ^{[ 6 ] : 1.5} Tanto el hardware como el software han evolucionado, y aunque estos términos todavía se usan, su significado ahora puede depender del contexto.

Cuando se introdujeron OpenGL y Direct3D en la década de 1990, surgió la necesidad de utilizar estas API en computadoras que no contaban con aceleración de hardware para gráficos 3D. Se proporcionaron implementaciones de renderizado de "alternativa" que no requerían hardware especial, y a veces se las denomina "renderizadores de software" (hoy en día la aceleración de hardware está casi siempre disponible, y estas implementaciones solo de CPU se utilizan principalmente para pruebas). ^{[ 102 ] : Ch2,13} Más recientemente, "renderizado de software" también puede referirse al renderizado que no utiliza API gráficas como OpenGL, Metal , Direct3D o Vulkan . ^{[ 103 ] : Intr.}

Los tipos de renderizadores que antes se denominaban "renderizadores de software" (por ejemplo, los renderizadores de trazado de rayos utilizados para la renderización offline de películas) ahora suelen utilizar la aceleración por GPU , a menudo mediante API como CUDA u OpenCL , que no son específicas de gráficos. Dado que estas últimas API permiten ejecutar código C++ en una GPU, ahora es posible ejecutar el mismo código de renderizado tanto en una CPU como en una GPU. ^{[ 73 ]}