Administrator
发布于 2026-09-01 / 36 阅读
0
0

DLSS 5 不会杀死渲染

DLSS 5 把神经网络推进到光照和材质层。真正被改写的,是"画面必须由 Renderer 算出来"这个前提。

2026 年,NVIDIA 公布 DLSS 5,把它从过去的超分辨率、帧生成进一步推进到实时神经渲染:模型开始直接参与最终画面的光照、材质与外观表现。NVIDIA 将其称为实时光线追踪以来最重大的图形技术变化之一。

顺着这个说法,很容易得出一个判断:既然 AI 已经开始"画画",传统 Renderer、Shader、美术资产乃至 Rendering Engineer 是不是都会逐渐失去意义?

我的判断相反。DLSS 5 动摇的不是渲染本身,而是过去二十多年实时图形学里一个几乎没人质疑的前提——最终画面中的视觉信息,必须主要由传统 Renderer 显式计算出来。Renderer 不会消失,它会换一份工作。


一、DLSS 5 对游戏美术开发的冲击

1.1 DLSS 从"修复画面"走到"参与画面"

理解 DLSS 5 的第一步,是别把它当成 DLSS 4 的画质升级版。

早期 DLSS 的位置很清楚:传统 Renderer 先渲染一张较低分辨率的画面,DLSS 再把它放大。Renderer 在那一阶段已经决定了:

  • 皮肤是什么质感
  • 金属怎么反光
  • 布料有没有丝绸感
  • 灯光怎么照射
  • 阴影在哪里
  • 环境是什么颜色

DLSS 更像挂在 Renderer 后面的高级重建器,回答的问题只有一个:已经渲出来的画面,怎样用更少的计算得到更高分辨率。

Frame Generation 往前走了一步。传统 Renderer 不再需要真正生产显示器上的每一帧——真实 Frame A 和真实 Frame B 之间,可以插一张由模型生成的帧。这打破了第一条老规矩:显示器看到的帧,不一定真的被游戏 Renderer 完整渲染过。Ray Reconstruction 接着说明,高质量光照结果也不要求 Renderer 直接算出一个足够干净的最终结果。

DLSS 5 站的位置更靠前。NVIDIA 对它的公开描述已经不再局限于 Upscaling:

  • 引入实时 Neural Rendering Model
  • 对游戏原本生成的像素进行分析
  • 增强人物皮肤、头发、布料以及环境中的 Lighting 与 Material Appearance
  • 给开发者保留强度、遮罩、调色等控制

这就越过了一条过去很清晰的边界:

阶段 管线
过去 Renderer → 决定 Appearance → DLSS → 重建 Appearance
现在 Renderer → 基础 Appearance + 结构信息 + 运动信息 → Neural Renderer → 参与决定最终 Appearance

DLSS 从重建工具到渲染组件

前者是 Reconstruction Tool,后者已经开始变成 Rendering Component。

1.2 美术资产从"最终答案"变成"输入条件"

过去几十年的游戏美术生产有一个明确目标:尽可能把最终视觉效果编码进资产。

以一个高质量角色皮肤为例,传统流程大致是:

美术制作

  • High Poly
  • Base Color
  • Normal Map
  • Micro Normal
  • Roughness
  • Specular
  • Subsurface Parameters
  • Detail Texture

Technical Artist / Rendering Engineer 编写 Skin Shader

  • Texture + 材质参数 + 光照 + BRDF + Subsurface Scattering → 最终皮肤

看起来不像皮肤,团队就继续改贴图、改 Shader、改灯、改材质、改几何。所以传统游戏资产实际上承担着一个很重的职责:储存最终视觉效果所需的大量显式信息。

Neural Rendering 会逐渐削弱这种关系。未来的资产可能更接近:

  • Geometry
  • Material Identity
  • 较少的 Material Parameters
  • Semantic Information
  • Art Direction

最终的高频视觉特征部分交给模型。资产的意义也就从"我已经把最终表面做出来了",转向"我向 Renderer 准确描述这是什么,以及它应该朝什么方向表现"。

1.3 纹理:高频细节最先受到冲击

纹理是 Neural Rendering 最容易见效的领域之一。

传统链路很直接:

  1. 纹理压缩
  2. 写入硬盘
  3. 加载进 VRAM
  4. Shader 采样

想提高质量,行业几十年的办法是:

  • 更高分辨率
  • 更多 Texture Channel
  • 更多 Layer

代价是安装包越来越大、补丁越来越大、显存压力越来越高。

Neural Texture Compression 改的是这个模式。NVIDIA 当前 RTX Neural Texture Compression 的思路,是将传统纹理转换为更加紧凑的 Neural Representation,在运行时通过神经网络恢复需要的纹理信息。NVIDIA 当前给出的 RTX Kit 指标,是在相似视觉质量下最高可达到约 8 倍的纹理内存效率提升。

对比来看:

传统 Neural Texture
大量显式 Texture Pixel Compact Representation + Model Weights
直接 Sample Neural Decode → Texture Information

本质是用计算换存储,而且它顺带说明了一件事:GPU 不再要求所有视觉信息事先以显式像素的形式存在。

未来最容易被压缩掉的美术劳动

  • 重复材质细节
  • 高频纹理变化
  • Micro Detail
  • Surface Noise
  • 大量相似的纹理变体

Texture Artist 仍然要守住的东西

  • 材质身份
  • 色彩体系
  • Surface Language
  • 风格化方向
  • 什么让这个材质一眼可辨

模型很擅长生产细节,但仍然需要人告诉它这些细节应该意味着什么。

1.4 Material 与 Shader 的变化

这一层的变化可能比纹理更重要。

现实世界的材料很复杂。丝绸、皮肤、陶瓷、汽车漆,不是一个 Roughness 参数能描述完的。高质量离线材质可能包含:

  • Base Layer
  • Coating
  • Microstructure
  • Anisotropy
  • Subsurface
  • Multiple Scattering
  • Fuzz

实时游戏通常必须简化这些计算,原因就一个字:贵。复杂的 Material Graph 最后会变成复杂 Shader,复杂 Shader 又意味着更高的实时开销。

Neural Material 给的是另一条路:不再手工把 Shader 优化得越来越复杂,而是让网络学习复杂材质的输入输出关系。

路径 流程
传统 Material Parameters → 大量人工 Shader Math → Appearance
神经 Material Information → Small Neural Network → 近似 Appearance

NVIDIA 的 Neural Shader SDK 已经提供了将神经网络直接用于 Shader 的基础设施,其示例甚至包含使用一个小型 MLP 学习 Disney BRDF 的过程。RTX Neural Materials 的目标则是利用 AI 压缩复杂多层 Material 的 Shader 计算。

这里值钱的不是某个性能数字,而是 Shader 的定义在变:过去 Shader 是程序员写出来的一个函数,未来是程序员定义一个问题,模型学走其中一部分。Material Artist 和 Rendering Engineer 的协作方式会跟着变。

1.5 Lighting Artist:逐灯调画面的价值下降,定义意图的价值上升

Lighting 是另一个容易被误判的领域。如果 Neural Rendering 能越来越准确地重建 GI、Reflection、Skin Lighting、Hair Lighting 和 Material Response,Lighting Artist 是不是就没用了?

并不是。Lighting Artist 实际上做两层工作:

计算层

  • 放多少灯
  • Shadow Resolution
  • Probe、Bounce、Fill Light
  • 各种 Technical Setup

艺术层

  • 玩家应该首先看到什么
  • 一个房间应该显得危险还是安全
  • 角色应该显得神圣还是恐怖
  • 哪些区域应该藏起来
  • 色彩怎么建立情绪
  • 光线怎么引导玩家动线

Neural Rendering 最容易替代的是第一层里大量重复的劳动,不容易替代第二层。所以 Lighting Artist 的工作会从"逐盏灯把最终 Pixel 调出来",往"定义 Lighting Intent"移动。

这和摄影行业很像。曝光、对焦、降噪不断自动化,并没有让摄影指导贬值;机器越擅长解决这些,人的价值越集中在为什么要这么拍。

1.6 角色与场景美术:细节的价值下降,设计的价值上升

Neural Rendering 可能带来一个长期趋势:高频信息的生产成本下降,大结构和视觉设计的重要性上升。

过去 AAA 游戏为了提高画面质量,必须大量增加:

  • Surface Detail
  • 小型装饰物
  • Unique Texture
  • Micro Geometry
  • Material Variation

这些大多属于高频视觉信息,恰好是 Neural System 最适合压缩、恢复和生成的东西。

模型不容易替代的是:

  • Silhouette
  • 比例
  • 建筑语言
  • 角色识别度
  • 构图
  • 形体层次
  • 视觉叙事

生产细节的价值可能下降,决定细节为什么存在的价值会上升。对好的 Character Artist 和 Environment Artist 来说,这未必是坏事——工作有机会从"生产大量资产细节",回到"设计这个世界到底应该长什么样"。

1.7 AI 不一定让 AAA 团队无限缩小

每次生产力工具出现,都会冒出同一个预测:过去需要 500 人完成的游戏,以后是不是 100 人就够了?

理论上当然可能。但游戏产业长期表现出的是另一种规律:

  1. 单位内容的生产成本下降
  2. 内容需求随之增加
  3. 游戏规模跟着扩大

工具一直在进步:手工像素 → 3ds Max / Maya → ZBrush → Substance → Unreal Engine。AAA 团队并没有从几百人缩到几十人;相反:

  • 世界越来越大
  • Asset Variety 越来越高
  • Cinematic 越来越复杂
  • 角色越来越多
  • 制作标准越来越高

Neural Rendering 更可能的结果是:同样 500 人,做出更大的世界、更多角色、更多环境变化和更高的视觉质量。其中岗位结构当然会改变,大量低层执行工作会减少。但"生产力提高等于团队按比例缩小",在游戏行业历史上并不是最常见的结果。


二、渲染 Neural 化的过去与未来

DLSS 5 值得讨论的地方不在它自己这一代,而在于它是一个足够明显的信号:整个 Rendering Pipeline 都在 Neural 化。要看懂这个变化,得先说清楚旧 Renderer 到底是什么。

2.1 第一代 Renderer:一个巨大的手写数学系统

经典 Rasterization Pipeline 高度简化后是一条链:

  1. Game World
  2. Geometry
  3. Vertex Shader
  4. Rasterizer
  5. Pixel Shader
  6. Lighting
  7. Post Processing
  8. Final Frame

要渲染一个金属表面,Renderer 读取:

  • Position、Normal、BaseColor、Roughness、Metallic
  • View Direction、Light Direction

然后执行程序员写好的数学函数:

  • BRDF
  • Shadow
  • Reflection
  • Indirect Light

最后得到 RGB。

可以把传统 Renderer 理解成一个巨大的函数:

\[Image=F(Scene,Camera,Light,Material)\]

关键在于,F 是人写出来的:

  • BRDF 是人定义的
  • Shadow Algorithm 是人定义的
  • Tone Mapping 是人定义的
  • Temporal Filter 是人定义的
  • Screen Space Reflection 是人定义的

实时图形学过去几十年的发展,就是人不断寻找更聪明的数学方法,让有限的 GPU 算力更接近真实世界。它是一个 Handcrafted Mathematical System。

2.2 Ray Tracing 换了算法,没换哲学

三种思路可以对照理解:

方法 思路
Rasterization 三角形投影到像素
Ray Tracing 从像素发出 Ray,去找场景里的三角形
Path Tracing 从相机出发的 Ray 在表面之间反复 Bounce,直到打到光源

这是一次很大的算法升级,Reflection、Shadow、GI 能用更统一的物理模型解决。但从哲学上看,它仍然是传统 Renderer:程序员定义数学规则,GPU 执行,得到 Pixel。Rasterization 是更聪明的近似,Path Tracing 是更接近物理过程的模拟,两者共享同一个基本思想——想让画面更准确,就计算更多。

于是整个行业追的一直是:

  • More Triangles
  • More Pixels
  • More Rays
  • More Samples
  • More Bounces

2.3 Neural Rendering 第一阶段:AI 站在 Renderer 后面

第一代大规模 Neural Graphics 并没有进 Renderer 内部,它处理的是 Renderer 完成之后的结果:传统 Renderer 输出一张不完整或低质量的帧,网络把它变成更好的帧。

Super Resolution 是最典型的例子。输出 4K 意味着 3840 × 2160,真算下来约 830 万 Pixel。AI Super Resolution 则是:

  1. 渲染一张较低分辨率的画面
  2. 配上 Motion、History 等辅助信息
  3. 重建出 4K 输出

这第一次系统性地打破了"一个 Pixel 必须真正被 Native Renderer 计算出来,才能出现在屏幕上"。Frame Generation 又打破了下一条:一整个 Frame 也不一定需要 Renderer 真正执行一次。

但在这个阶段,Renderer 自己没有根本改变,它更像 Traditional Rendering 加上 Neural Reconstruction。

2.4 第二阶段:AI 进入 Shader

这一步的变化在于,网络不再只是挂在 Renderer 最后面的独立系统,它进了 Shader 本身。

Microsoft 在 2025 年推出 Direct3D Cooperative Vector 时,给出的一个使用场景很直接:假设传统 Lighting Shader 有几千行代码,要遍历 Light、Evaluate Complex Material、执行大量数学计算,未来开发者可以直接在 Shader Thread 中调用一个神经网络来近似这些复杂函数,同时保留原有 Graphics Pipeline 的整体结构。

于是 Pixel Shader 里除了:

  • if、for
  • dot()、normalize()、sample()、BRDF()

旁边开始出现 Matrix × Vector、Activation 和小网络推理。而且不是"退出 Renderer 去调一个外部 AI 程序"——Neural Inference 直接成为 Shader 的一部分。

2.5 Cooperative Vector 为什么重要

传统 Shader 擅长的数学对象都很小:float、float2、float3、float4。图形学最经典的东西本来就是 XYZ、RGB、RGBA。神经网络不一样,它需要大量 Matrix / Vector 运算。

Microsoft 在 Shader Model 6.9 中把 HLSL Long Vector 的长度上限扩展到 1024,并引入 Cooperative Vector,让 Shader 可以更加直接地使用 GPU 中专门用于 Matrix Operation 的硬件。

路径 硬件
传统 Shader → ALU → Graphics Math
未来 Shader → Traditional ALU 与 Matrix / AI Hardware → Neural Model

AI 不再只是 GPU 旁边的另一种 Compute Workload,它进了 Graphics Programming Model 本身。

2.6 Neural Texture:第一批被 Neural 化的数据

纹理是最典型的例子。

传统 Neural Texture
Texture Pixel → 压缩 → VRAM → Texture Sample Texture → Neural Encoding → Compact Representation → Runtime Decode

这代表一种新的资源哲学。过去是 GPU 需要什么数据就储存什么数据,现在是只储存一个能恢复这些数据的紧凑表示:

\[Data \rightarrow Representation + Decoder\]

与传统压缩算法最大的区别,是 Decoder 本身可以是 Learned Function。NVIDIA 当前已经把 RTX Neural Texture Compression 作为 RTX Kit 中可使用的 Neural Rendering 技术提供。至少在纹理这一层,它已经进了实际开发工具链,不再只是论文里的未来概念。

2.7 Neural Material:Shader 从 Programming 走向 Training

Material 更能说明问题。

传统复杂材质 Neural Material
输入 → 几十/上百 Material Node → 大量 Shader Instruction → Appearance Ground Truth Material → Training → Small Neural Representation → Runtime Inference → 近似 Appearance

核心是把一个昂贵函数换成一个学出来的便宜函数。传统写法是

\[y=f(x)\]

其中 f 由程序员明确写出来;神经写法是

\[y=f_\theta(x)\]

其中参数 θ 通过 Training 学出来。

也就是说,未来一部分 Graphics Programming 会从:

  1. Write the Algorithm

变成:

  1. Define the Ground Truth
  2. Define the Architecture
  3. Define the Loss
  4. Train the Approximation

Neural Shading 对 Rendering Engineer 的影响,远不止"学一个 DLSS SDK"这么简单。

2.8 Neural Lighting:不必追踪所有可能的光

间接光理论上可以用 Path Tracing 解决:光打到墙上,弹到地板,再照到角色,最后进相机。问题是计算成本。一个 Pixel 可能需要多次 Bounce,每个 Pixel 又要大量 Samples,再乘以几百万 Pixel,计算量迅速爆炸。

Neural Radiance Cache 的思路是让 Renderer 只算一部分真实信息,比如真实 Ray 的前几个 Bounce,然后学习空间中的 Radiance Distribution:给定 Position、Direction 和 Surface Information,网络输出 Indirect Radiance。NVIDIA 对 NRC 的描述就是利用 AI 学习多次间接光,在最初一到两次 Path Traced Bounce 之后推断后续照明。

旧思路 新思路
More Bounce = Better GI Better Samples + Better Prediction = Better GI

2.9 从暴力计算转向稀疏采样加推断

把前面几项技术放在一起看,方向很一致。

传统图形学想提高质量,办法是:

  • 加 Texture Resolution
  • 加 Pixel、Triangle、Ray、Sample、Bounce

也就是

\[Quality \approx More\ Compute\]

Neural Rendering 的思路变成真正计算少量高价值信息,再利用:

  • 空间规律
  • 时间规律
  • Learned Prior

恢复完整结果:

\[Quality \approx Good\ Evidence + Good\ Model + Enough\ Compute\]

这可能是 Neural Rendering 最重要的一次思想变化。Renderer 不需要知道所有答案,它需要拿到足够可靠的证据。

2.10 Renderer 从"计算器"变成"测量器"

这是理解未来渲染架构最关键的一个视角。传统 Renderer 的目标是 Calculate the Final Image,未来 Renderer 的目标可能变成 Measure Enough About the Scene。

所谓测量,是真正去计算:

  • Geometry、Depth、Normal
  • Primary Visibility、Motion Vector
  • Material Identity
  • Direct Lighting Samples、Sparse Ray Samples
  • History

这些东西有一个共同点:高度可靠,而且受 3D 世界严格约束。然后把它们交给 Neural Renderer,由后者产出最终图像。

Renderer 的角色因此改变了:

过去 未来
World → Renderer → Image World → Ground Truth Renderer → Reliable Evidence → Neural Renderer → Image

一句话说,未来 Renderer 的核心任务可能从完整地计算现实,转向准确地测量现实。

Ground Truth 与 Neural Renderer 分工

2.11 为什么游戏不会简单变成"实时视频生成"

顺着上面的逻辑很容易继续推:既然 Neural Renderer 越来越强,为什么不干脆变成 Game State 输入一个 Large Video Model,直接输出 Image?

某些类型的游戏里可能会出现。但至少在可预见的未来,它很难完全取代传统 3D Renderer。游戏和视频的差别不只在实时,更在于游戏是一个可交互、确定性的系统。

游戏必须准确知道:

  • 敌人在什么位置
  • 枪口在哪里
  • 这一发子弹有没有命中
  • 墙是不是挡住了玩家
  • 门究竟打开了多少度
  • 角色脚有没有踩到地面
  • 这一帧物体移动了多少

这些不能靠"模型觉得大概应该这样"。游戏需要的是 Deterministic State,而 Generative Model 擅长的是 Probabilistic Appearance。

所以未来更合理的结构不是 Prompt 进 Video Model 出 Game,而是:

  1. Deterministic Simulation
  2. Deterministic Geometry
  3. Deterministic Visibility
  4. Neural Appearance

这可能会成为未来游戏图形系统最重要的分层:世界是确定性的,Appearance 可以是概率性的。

2.12 DirectX 的变化说明这不是 NVIDIA 一家的路线

如果 Neural Rendering 只是 DLSS 的一个 Feature,它未必意味着整个图形行业发生结构变化。DirectX 那边的动作更能说明问题。

Microsoft 的时间线大致是:

  1. 2025 年:把 Cooperative Vector 加入 Direct3D,使神经网络可以直接运行在 Graphics Shader 中
  2. 2026 年:公开表示 Machine Learning 正在从 Postprocess Trick 转变成 Real-Time Graphics 的基础组成部分
  3. 2026 年:推出 DirectX Linear Algebra,为 Shader-Level ML 增加 Matrix-Matrix 等能力
  4. 2026 年 4 月:D3D12 Linear Algebra 进入 Preview,统一 Neural Rendering、ML 和 Image Processing 的 Matrix Operation

这件事比一个 SDK 重要得多,因为 API 决定的是整个行业以后怎样写 Renderer。当 HLSL 原生支持 Traditional Graphics Math 加 Neural Math,Neural Graphics 就从 NVIDIA Proprietary Feature 进入 General Graphics Programming Model。Microsoft 还明确表示,这一方向是与 AMD、Intel、NVIDIA、Qualcomm 共同推进的。所以即使未来 DLSS 这个品牌发生变化,Neural Rendering 本身大概率还在。

2.13 未来 GPU:Graphics Core 与 AI Core 越来越难分开

传统 GPU 可以粗略理解成几块:

  • Geometry、Rasterizer、Shader Core、Texture Unit、Frame Buffer

RTX 时代又加了 RT Core,负责 BVH Traversal 和 Ray / Triangle Intersection。Tensor Core 最初更像 GPU 里一个专门用于 AI 的独立加速器。

Neural Shader 出现以后,Tensor Core 开始直接服务于 Renderer。未来的结构更可能是 Geometry、Raster、RT 之后,Traditional ALU 和 Matrix Core 并列,共同支撑一个同时包含 Classical 和 Neural 计算的 Shader Program,最后输出 Frame。

GPU 从 Graphics + AI 到 Neural Graphics Processor

于是 GPU 的 Graphics Performance 不能只看 TFLOPS,还要同时看:

  • Raster、Ray Traversal
  • Matrix Compute、Memory Bandwidth
  • Neural Inference
  • 不同硬件之间的调度效率

从架构角度看,GPU 正在从"Graphics Processor + AI Accelerator"变成一个统一的 Neural Graphics Processor。

2.14 未来五到十年,Renderer 可能怎么走

下面是推演,不是厂商已经确认的路线图,依据是目前的 Neural Texture、Neural Shader、NRC、DLSS 与 DirectX ML Infrastructure。

Renderer 管线演进推演

今天较先进的游戏 Renderer

  1. Geometry / Nanite
  2. Rasterization → GBuffer
  3. Lighting → Lumen / Ray Tracing
  4. Post Processing → TSR / DLSS
  5. Final Frame

下一阶段可能变成

  1. Geometry → Visibility → Sparse Ray Tracing
  2. Neural Texture → Neural Material
  3. Neural Radiance Cache → Neural Reconstruction
  4. Super Resolution → Frame Generation

再往后

  1. Game World → Geometry / Primary Visibility / Sparse Physical Samples
  2. Material 与 Semantic Information / Motion 与 History
  3. Large Neural Renderer → Final Frame

传统 Renderer 在这里没有消失,只是任务越来越集中在提供 Ground Truth。

2.15 Rasterization 和 Ray Tracing 最终可能成为 Ground Truth Engine

未来 Rasterization 可能不再主要负责"把完整画面画出来",而是负责准确告诉 Neural Renderer 哪个物体在哪里。Ray Tracing 也可能不需要暴力计算所有 Lighting,而是给 Neural Renderer 一些物理上可靠的 Light Samples。

分工大致会是:

模块 职责
Rasterization Visibility Ground Truth
Ray Tracing Lighting Ground Truth
Physics World Ground Truth
Animation Motion Ground Truth
Neural Renderer Appearance Reconstruction

Renderer 的长期演进可以写成几步。过去:

\[Final\ Image = Geometry + Texture + Shader + Lighting\]

今天:

\[Final\ Image = Traditional\ Rendering + Neural\ Reconstruction\]

下一阶段:

\[Final\ Image = Sparse\ Physical\ Rendering + Neural\ Texture + Neural\ Material + Neural\ Lighting + Neural\ Reconstruction\]

更远:

\[\boxed{Final\ Image = 3D\ Ground\ Truth + Neural\ Renderer}\]

传统 Renderer 没有死亡,它从 Picture Generator 变成了 Ground Truth Generator。


三、什么样的技术人才会在渲染 Neural 化中受益

Neural Rendering 对人才最大的影响,同样不是某个岗位突然消失,而是什么样的知识组合最值钱变了。

3.1 最危险的是"只能理解一层"的人

传统大型游戏公司分工很细:

  • 一个人负责 Material
  • 另一个负责 Lighting
  • 另一个负责 Renderer
  • 还有人负责 GPU Optimization

在一个高度确定性的 Renderer 里,这种分工很有效。

Neural Rendering 会带来大量跨层问题。比如角色皮肤出了问题,原因可能不在 Skin Texture,而在:

  1. Motion Vector 影响了 Temporal Reconstruction
  2. 进而影响 Neural Appearance

也可能是:

  1. Material Representation 进 Neural Material 之后 Lighting Input 不对

还可能是:

  1. Ray Sampling 影响了 Radiance Cache
  2. 再影响 Reconstruction

定位一个 Visual Artifact,越来越需要同时理解整条链:

  • Asset → Material → Shader → Renderer → GPU → Neural Model

所以未来风险最大的未必按"程序员"和"美术"划分,更可能落在只能理解 Stack 中某个狭窄区域的人身上。

3.2 Rendering Engineer 的技能树会扩大

传统核心知识(一个都不会突然失效)

  • C++、HLSL、线性代数
  • PBR、BRDF、Rasterization、Ray Tracing
  • GPU Architecture、Memory、Frame Graph
  • Profiling、Optimization

Neural Renderer 仍然跑在 GPU 上,仍然需要处理:

  • Memory Management、Scheduling、Synchronization
  • Data Layout、Cache、Bandwidth、Frame Budget

需要额外增加的能力

  • ML Fundamentals、Matrix Compute、Inference
  • Quantization、Neural Architecture
  • Training、Distillation、Neural Reconstruction

能力树会从 Graphics Programmer 往 Graphics + ML Systems Engineer 移动。

高价值的人不一定要成为训练 LLM 的 AI Researcher。更实际的能力是懂足够多的 ML,知道怎样把一个 Learned Function 安全、稳定、高效地塞进 16ms 的 Rendering Pipeline。这和纯 AI Engineer 是两种工作。

3.3 Technical Artist 可能是最大的交叉受益者之一

TA 这个岗位本来就是为了填补 Art 和 Technology 之间的空隙。Epic 对 TA 的经典定义,就是连接 Code 与 Art,负责 Performance、Workflow、一致性,并常见地覆盖 Shading、Lighting、Procedural Creation、Pipeline 与 Optimization。

Neural Rendering 会把这个空隙撑大。

以前 未来
Artist → Material → Shader → Renderer Artist → Material Representation → Neural / Traditional Shader → Renderer → Neural Reconstruction → Final Image

于是一堆新问题冒出来:

  • 为什么这个 Satin Material 经过 Neural Material 后变成了塑料?
  • 为什么角色静止的时候正常,运动以后脸部质感就变?
  • 为什么 Hair 在 Native Rendering 下正常,经过 Temporal Neural Reconstruction 以后产生拖影?
  • 为什么一个很 Stylized 的角色会被模型不断往 Photorealistic Appearance 上拉?

这些既不是纯 Art Problem,也不是纯 Engine Problem,落在 Art、Material、Renderer 和 Neural System 的交叉区。Rendering TA、Pipeline TA、Optimization TA 最容易在这里产生价值。

3.4 TA 不需要变成 AI Scientist

这里要澄清一个容易产生的误解。未来 TA 的竞争力不在会不会训练一个 Stable Diffusion,也不在能不能从零设计 Transformer。

需要的是理解:

  • 模型的输入是什么、输出是什么
  • 什么情况下模型会失败
  • Temporal Artifact 怎么出现
  • 哪些 Material 不适合 Neural Approximation
  • 什么数据必须保留
  • 哪里值得花 Tensor Compute
  • 哪里应该继续用 Traditional Shader

也就是说,ML Literacy 比 ML Research 重要得多。就像今天优秀的 TA 不一定会从零设计 GPU,但他知道什么操作贵、什么操作便宜、哪里会爆显存、Shader 为什么慢。Neural System 会变成同一类基础知识。

3.5 Shader 与 Material 人才会进入更高的抽象层

传统 Shader Artist 熟悉的是 Material Graph、Texture、Normal、Noise、Mask、Blend、Procedural Pattern。这些技能未来仍然重要。

但更高价值的能力会变成判断:什么视觉规律应该由传统 Shader 描述,什么视觉规律应该交给 Neural Model 学习。

更适合 Traditional 更适合 Neural
明确与游戏规则相关的数据 Material Microstructure
Primary Visibility Texture Detail
与碰撞相关的几何 复杂间接光
昂贵的 Appearance Approximation

这实际上是一种新的系统设计能力:划分 Deterministic Computing 与 Learned Computing 的边界。能做这个判断的人,就不只是 Shader Artist,而开始变成 Neural Graphics Architect。

3.6 Optimization Engineer 会越来越重要

乍看 AI 好像意味着不用优化了,实际正相反。一帧的预算不会因为 Neural Rendering 出现而变大:

  • 60 FPS 依然只有 16.67ms
  • 120 FPS 大约 8.33ms

过去优化是在分

  • Geometry、Texture、Shadow、Lighting、Post Process 的预算

未来还要加上

  • Inference Budget、Tensor Budget、Model Memory
  • Neural Cache、Reconstruction Cost

GPU 内部还有竞争:Graphics Work、Ray Tracing、Matrix Compute 究竟怎样重叠,什么时候运行,什么时候发生 Stall,VRAM 应该给 Texture、Geometry、History Buffer 还是 Neural Weight。

这些问题不会因为 AI 自动解决,反而会更复杂。同时理解 GPU Architecture、Frame Profiling、Graphics 和 ML Inference 的人会很稀缺。

3.7 最有价值的能力组合

如果今天重新搭一棵面向未来 Neural Graphics 的技能树,我认为很强的一个组合是:

  • Unreal Engine、C++、HLSL / Slang
  • PBR、Rasterization、Ray Tracing
  • GPU Architecture、GPU Profiling
  • Python、ML Fundamentals、Inference、Neural Rendering

注意这里不是 Unreal 加 Prompt Engineering。高壁垒的东西依然是 Graphics Fundamentals。

原因很简单:不了解传统 Renderer,就无法判断 Neural Renderer 到底替代了什么;不了解 GBuffer、Motion Vector、BRDF、BVH、Temporal History、GI 和 GPU Memory,模型出问题时你甚至不知道该去哪里找。Neural Graphics 时代一个反直觉的结果可能是,传统 Graphics Knowledge 不会贬值,反而成了理解 Neural Graphics 的基础门槛。

3.8 稀缺的是能从最终 Pixel 一路追到底层的人

假设未来某个游戏出现一个问题:角色快速转身的时候,皮肤突然产生奇怪的塑料感。

普通美术看到的是"皮肤看着不对"。跨层的人会一路往下查:

  1. Final Pixel
  2. DLSS / Neural Appearance
  3. Temporal History
  4. Motion Vector
  5. Skin Material
  6. GBuffer
  7. Animation 与 Geometry

最后发现问题不在 AI 模型,而是某个变形 Mesh 输出了不正确的 Motion Vector。

这类问题会越来越多。所以最值钱的技术人才,是既能判断最终画面为什么不对,又能一直向下追踪到 GPU 和 Data Pipeline 的人。这类人今天可能叫 Rendering Engineer、Rendering TA、Graphics Engineer 或 Technical Art Director,未来职位叫什么不重要,重要的是这种 Cross-Layer Thinking。

3.9 值钱的不是"会用 AI"

Neural Rendering 普及以后,"会打开 DLSS"几乎没有壁垒,"会使用 Neural Material"也会逐渐工具化。

有壁垒的是这些判断:

  • 为什么这里应该 Neural,为什么那里不应该
  • 哪些信息可以预测,哪些绝对不能预测
  • 哪些东西必须是 Ground Truth
  • 出现错误以后从哪里修
信息类型 处理方式
Player Collision、Weapon Position 必须 Deterministic
Primary Visibility 高度 Deterministic
Micro Surface Detail 可以 Neural
Indirect Lighting 非常适合 Neural Approximation
Texture 高频信息 非常适合 Neural Compression
Final Appearance Enhancement 可以 Neural,但需要 Art Constraint

最终决定游戏 Renderer 架构的人,要回答的问题会从"哪一个 Shader 用什么公式",变成"整个系统中哪些信息应该计算、哪些应该采样、哪些应该学习"。这可能会成为下一代 Rendering Engineer 最核心的设计问题。


四、DLSS 5 真正杀死的是什么

回到标题。DLSS 5 开始杀死的不是 Rendering、Rasterization、Ray Tracing、Shader,也不是 Technical Artist 和 Rendering Engineer,而是传统实时图形学里的几条默认假设。

  1. 一个 Pixel 必须真正 Render 以后才能显示。 Super Resolution 已经证明不需要。
  2. 一个 Frame 必须由 Renderer 真正生成。 Frame Generation 已经证明也不需要。
  3. Material 必须完整执行复杂 Shader 才能得到 Appearance。 Neural Materials 正在挑战这一条。
  4. Texture 必须存储足够多的显式 Pixel。 Neural Texture Compression 正在挑战这一条。
  5. 高质量 GI 必须增加大量 Ray 和 Bounce。 Neural Radiance Cache 与 Neural Reconstruction 给出的答案是,你可能只需要足够好的 Samples。
  6. Renderer 必须负责决定最终 Appearance。 DLSS 5 的做法是 Renderer 提供 Ground Truth,让 Neural Model 完成一部分 Appearance。

被终结的其实是 Brute-Force Rendering Paradigm:想获得两倍视觉质量,就必须不断增加 Triangle、Pixel、Ray、Sample 和 Shader Complexity。新的 Paradigm 更接近计算少量可靠事实,然后利用 Learned Prior 恢复完整视觉结果。


结语:渲染没有死亡,它升高了一个抽象层级

过去的 Rendering Engineer 主要解决"怎样更高效地计算一个 Pixel"。未来的问题会变成:

  • 哪些 Pixel 真的需要计算?
  • 哪些信息只需要采样?
  • 哪些复杂函数值得让模型学习?
  • 哪些信息必须永远保持 Deterministic?

所以未来更可能的结构是,传统 Renderer 变成 Ground Truth System,和 Neural Renderer 一起产出 Final Image。

DLSS 5 不会杀死渲染。它只是意味着,渲染正在从"计算所有像素",走向"定义哪些现实必须计算,哪些现实可以学习"。


评论