跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

FFmpeg 9.1 支持 DirectML 零拷贝推理,视频帧可留在显存中

在支持 Direct3D 12 和 DirectML 的 Windows 构建中,解码后的 NV12 视频帧可以直接送入 ONNX 模型,省去往返系统内存的拷贝。

返回资讯视频FFmpeg作者 · GETAI.APP查看原文

FFmpeg 于 11 月 20 日发布 9.1 稳定版,代号 Gauss。对用神经网络处理视频的开发者,这个版本有一项具体变化:在符合条件的 Windows 视频管线里,解码后的帧可以留在显存中,直接交给 ONNX Runtime 执行推理。

视频帧在显存中流转的原创主题插画

过去,推理模型即使运行在 GPU 上,视频滤镜也可能先把解码结果复制到系统内存,再传回显卡。9.1 为 Direct3D 12 增加了与 DirectML 对接的零拷贝路径。这里省掉的是一次主机内存往返;模型本身的计算量并未改变。

使用这条路径需要 FFmpeg 构建支持 Direct3D 12,ONNX Runtime 配有可用的 DirectML 执行提供程序,输入还要是 NV12 格式的 D3D12 硬件帧。部署者应逐项检查这些条件。发布说明没有给出通用的帧率提升幅度。

官方发布日期 · 9.1 变更记录 · 该版本的滤镜文档

配图为 GETAI 原创主题插画。