2024年4月25日 — NVIDIA近日举行RTX AI 媒体品鉴会,宣布大量AI相关内容更新,包括:NVIDIA与火星时代教育联合发布《NVIDIA TensorRT Stable Diffusion创作加速指南》和使用案例;NVIDIA与吐司/Tensor.Art联合发布《个人用户玩转Stable Diffusion 的GPU配置推荐》,聚焦SD 1.5 和SDXL 1.0,全面测试RTX 40系显卡和笔记本电脑GPU在Stable Diffusion推理和LoRA模型训练的表现,全面评估RTX 40系显卡的Stable Diffusion性能;在智谱AI端云一体大模型解决方案中,NVIDIA TensorRT-LLM 助力智谱AI ChatGLM 模型推理加速。此外,现场还有大量展示Demo:NVIDIA ACE、ChatRTX、Stable Diffusion、DLSS 3.5、NVIDIA app以及来自土豆人tudou_man、Simon阿文、海辛、言萧等AI艺术家基于RTX 40系列AI PC创作的AIGC作品。
NVIDIA 加速了向 AI 计算的转变,于2018年推出 RTX 技术和首款专为 AI 打造的消费级 GPU (GeForce RTX) 。AI PC 是搭载专用AI加速硬件的计算机,在 RTX GPU 上,这些专用的 AI 加速器被称为 Tensor Core。运行要求极为严苛的工作和娱乐应用时,Tensor Core 能够显著加速 AI 性能,并为 PC 用户引入了以前在云端才能运行的新功能。
衡量 AI 性能的一种方法是以 teraops 为单位。teraops 即“万亿次运算/秒”(TOPS),TOPS 可作为单一指标让用户了解 PC 的 AI 性能,GeForce RTX 40系列GPU可提供的算力,涵盖从200 AI TOPS到1300 AI TOPS,包括笔记本电脑和台式电脑的多样选择。与之相比,目前没有独立 GPU 的轻量级 AI PC 的算力仅为 10 至 45 TOPS。
NVIDIA TensorRT软件开发者套件可加速深度学习推理性能。TensorRT 能加速非常热门的生成式 AI 模型,如 Stable Diffusion 1.5和 SDXL等。全新的 UL Procyon AI 图像生成基准测试现已支持 TensorRT 加速,内部测试表明该基准测试可以比较准确地反映目前的实际性能表现。将 Tensor Core 与 TensorRT 结合后,本地RTX AI PC 可获得卓越的生成式 AI 性能。
RTX AI PC目前已成为拥有超过 1 亿用户和 500 款 AI 应用的生态。
火星时代教育发布《NVIDIA TensorRT Stable Diffusion创作加速指南》
《NVIDIA TensorRT Stable Diffusion创作加速指南》是火星时代教育为AI设计爱好者和创作者基于RTX 40 系GPU提升Stable Diffusion创作效率的实操性教程。指南包括:安装与设置,加速引擎构建,加速效果对比以及NVIDIA TensorRT在实际商业创作场景的应用(海报设计、电商设计、室内效果图设计、插画设计),帮助使用者在创作过程中借助详细教程和加速工具实现商业创意落地,提升创作效率。指南由火星时代教育AI设计教研团队主要研发,NVIDIA 技术团队提供技术支持,未来将根据应用软件版本优化并迭代升级。
火星时代教育创始人王琦表示:“火星时代是 NVIDIA Studio 中国区生态合作伙伴,双方共同探索AI软件在设计流程中的辅助作用,并在火星影视学院部分专业引入NVIDIA Studio AI应用做教学试点,在2023年共同开发AI设计方向创作加速的公开课,此次联合发布《NVIDIA TensorRT加速Stable Diffusion创作加速指南》是火星时代和NVIDIA聚焦‘科技+教育’在设计领域的积极实践,充分激发学习者对于科技发展的关注,拥抱AI前沿技术,为个人效率加速,为商业创作赋能。”
吐司/Tensor.Art发布《个人用户玩转Stable Diffusion 的GPU配置推荐》
吐司/Tensor.Art是行业*家实现在线生图的AI模型社区(Tensor.Art是吐司的国际版)。致力于紧跟*前沿的AI技术和国际视角帮助AI创作者降低创作门槛。在《个人用户玩转Stable Diffusion 的GPU配置推荐》中,吐司/Tensor.Art聚焦SD 1.5 和SDXL 1.0,使用第三方测试软件UL Procyon AI基准测试完整测试RTX 40 系列多款型号的显卡、笔记本电脑GPU在Stable Diffusion的推理性能表现,其中在UL Benchmark SD1.5 TRT vs. OpenVINO的对比测试中RTX 4090笔记本电脑GPU相对于iGPU(Arc Graphics)有超过27倍的性能提升。
使用吐司基准测试完整LoRA模型在Stable Diffusion的训练性能,还对不同型号RTX 40系显卡和笔记本电脑GPU在Stable Diffusion任务中的性能进行全面评估,旨在为AIGC爱好者在后期LoRA模型训练和设备选择时给予参考。
AI模型平台吐司/Tensor.Art 创始人沈振宇表示:“目前吐司和Tensor.Art上已经有超过16w+的模型数量。此次与英伟达联合发布《个人用户玩转Stable Diffusion 的GPU配置推荐》旨在让关注AIGC领域的入门用户以及不同垂类场景的用户在选择RTX AI PC设备进行模型训练和应用时提供客观、公正的配置参考,提升用户使用AIGC的生产效率。”
游戏中的 AI
ACE 是众多 NVIDIA AI 技术之一,可将游戏提升到新的水平。
● NVIDIA DLSS 是一项突破性图形技术,可在 GeForce RTX GPU 上利用 AI 提高帧率并改善图像质量。 DLSS 3.5 树立全新游戏标准,通过AI增强光线追踪表现,备受期待的《黑神话:悟空》(Black Myth: Wukong)和《永劫无间》(NARAKA: BLADEPOINT)即将支持DLSS 3.5光线重建(Ray Reconstruction)和全景光线追踪技术,实现画质和性能的大幅提升,为 GeForce 玩家带来极致体验。
● NVIDIA RTX Remix 可让 Modder 轻松截取游戏素材,使用生成式 AI 工具自动增强材质,以及借助全景光线追踪和 DLSS 快速创建令人惊艳的 RTX 重制版游戏。
● NVIDIA Freestyle 将通过全新的 NVIDIA app Beta版提供,可让用户通过实时后处理滤镜个性化定制超过 1200 款游戏的视觉美学效果,并具有 RTX HDR、RTX Dynamic Vibrance(RTX 数字自然饱和度)等功能。
● NVIDIA Broadcast 应用可将任何房间变成家庭工作室,为直播提供 AI 增强型语音和视频工具,包括噪音和回音消除、虚拟背景和 AI 绿幕、面部追踪、视频降噪和目光接触
NVIDIA ACE为游戏带来栩栩如生的NPC
● Covert Protocol 是Inworld AI公司与NVIDIA合作开发的一项全新技术Demo,它突破了游戏中角色互动的界限。Inworld AI 引擎集成NVIDIA Riva 和NVIDIA Audio2Face,前者可实现精确的语音转换文字,后者可提供逼真的面部表情。
● Inworld AI引擎采用多模态方法来展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。
Chat with RTX,听得更多,看得更多,聊得更多
● Chat with RTX (或简称ChatRTX) 使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速,将本地生成式AI功能引入到支持 RTX 的 Windows系统中。用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型(如:来自智谱AI的ChatGLM3),快速查询与上下文相关的答案。
● ChatGLM是基于GLM预训练框架的双语对话模型,采用了独创的多阶段增强预训练方法,包括6B、12B、32B、66B等多种尺寸。同时ChatGLM3 支持多样的加速工具,包括NVIDIA TRT-LLM框架,使模型性能在合理的精度损失下实现推理加速提升。
● 智谱AI副总裁吴玮杰表示:“大模型加持的AI PC将带来生产力范式革命,让AI生产力普惠每个人。随着端侧算力和大模型能力的演进,支撑AI PC的大模型解决方案应该是端云一体的混合AI。端侧和云侧大模型无缝协同,共同为用户提供“智力”强大、随时在线、极速响应、安全可信、个性化的AI PC应用。我们的大语言模型 ChatGLM3-6B 支持 NVIDIA TensorRT-LLM 等加速框架,使模型推理性能实现加速提升,让用户在AI PC上可以获得更加流畅的体验。”
● 此外,ChatRTX 还将很快增加对语音、图像和新模型的支持。
创作中的AI应用
● SD专业工作流:RTX 4090 D GPU在复杂的控制工作流和出图质量中表现出真正的生产力,通过人像生成控制模型InstantID,让用户足不出户就能快速通过搭载RTX 4090 D的RTX AI PC上由普通摄像头的自拍照生成高质量影棚级别的肖像照。而目前,RTX GPU能为Stable Diffusion用户带来生产力级别的体验。
● SD一秒生成8张图:作为市面上*快的Stable Diffusion 计算出图方案,用户开箱即用就能在RTX 4090 D GPU享受到高达每秒8张图的生成速度。使用当前*快的Stable Diffusion 加速方法TensorRT,再配合开发者进一步的性能优化,目前RTX 4090 D GPU*高能实现每秒超过100张图的生成速度,因此Stable Diffusion用户也能像游戏玩家一样通过高帧率享受丝滑的创作体验。
● 声音克隆:基于 RTX GPU 加速的声音克隆可仅用5秒录音来克隆声音,实现无需训练的个性化声音生成。基于开源的GPT-SoVITS项目,声音克隆快速使用5秒声音样本,根据其发音特征由文本生成个性化语音片段,实现高质量的声音克隆;在RTX AI的加速下,仅仅五分钟就能完成;而基于更多样本(1分钟)的微调训练实现更高质量接近1:1复刻的声音克隆。
● 实时建筑渲染:在建筑设计领域,即致AI基于扩散模型和蒸馏技术,通过RTX GPU的加速,实现了秒级的AI实时绘画。结合即致AI自研的全网下载量超50W国内建筑行业大模型,帮助建筑设计师享受AI实时渲染划时代的快捷、便利的同时,依然可以保证极高的出图效果。
● 剪映编辑器AI方向产品负责人伍凡表示:“对于创意应用来说,我们非常关注AI能力如何和用户实际的工作流相结合。剪映陆续上线了一系列生成式AI能力,例如音色克隆、视频翻译、数字人和AI生成文字模板/贴纸,其中AI生成文字模板和贴纸功能在 NVIDIA TensorRT 的加速下可以实现更高的性能提升。长期以来剪映和NVIDIA一直都是非常紧密的合作伙伴,我们期待RTX AI PC强大的AI性能表现以及TensorRT加速优化对AI模型的处理能力能帮助剪映的用户更高效、智能地进行创作。”
● 数字艺术家 & 策展人土豆人Tudou_Man 表示:“每天有大量AIGC内容涌现,宛如微小的青苔连续改写当下。不久,我们的文明也将被数字所覆盖。通过RTX 40系列AI PC平台的运算加持,震惊之余,我使用RTX 40系列 RTX AI PC创作了《复写苔原》系列作品,RTX 平台为像我这样的数字艺术家提供高效的AI算力加速。我将AIGC作品注入人的思考与灵魂,在不可逆的数据洪流中保持本真。”
● Blender 艺术家、AI创作者Simon阿文表示:“‘AI 如何塑造我们的工作与生活’ 这个在过去听起来是少数大公司才有资格讨论的问题,但在如今这个问题的答案由AI社区和创作者塑造。包括央视春晚AI动画等作品在内,从文字、图像到影像,我的许多探索是基于本地 RTX 4090 完成的。AIGC的可能性是一片蓝海,AI PC是我的帆船。”
● AIGC行业资深顾问、艾哎集瑟科技联合创始人言萧表示:“作为一名经常使用AI工具的建筑师,我对RTX平台的加速优势深有体会。它极大提高了AI图形生成软件的性能,特别是如Stable Diffusion等工具,在建筑设计的方案概念阶段尤为重要。通过RTX平台,我们能够快速获得高质量的渲染图像,有效加速设计过程,增强视觉表现力,极大促进了创意的快速迭代和方案的优化。这种技术进步不仅提升了设计效率,也为建筑师提供更广阔的创作空间。”
● Morph Studio 产品经理、上海国际电影节创投评委海辛表示:“我*开始进入到这个行业,就是从有一块自己的RTX显卡开始的。RTX 40 系显卡给了我探索 AI 在文字、图像、影像可能性的机会。”
###
关于NVIDIA
自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,正在推动跨市场的工业数字化。NVIDIA现在是一家全栈计算公司,其数据中心规模的解决方案正在重塑整个行业。更多信息,请访问https://nvidianews.nvidia.com/ 。
关于火星时代教育
火星时代教育,创始人王琦在1994年出版中文CG教材——《三维动画速成》,成为初代从业者的启蒙图书。三十年致力于推动中国数字创意产业发展,为影视,游戏,室内设计,互动媒体等热门数字领域,培养数十万计CG人才。2023年初火星时代课程全面融合AI,将持续聚焦AI及元宇宙双域,把前沿领域技术融入课程,为求学者把脉就业风向,培养数字时代全能型CG人才。
关于吐司/Tensor.Art
吐司/Tensor.Art创立于2023年,由上海必有回响智能可以有限公司投资创立,团队成员由国内AI前沿技术开发者和致力于兴趣社群运营的小伙伴们组成。作为行业里*家实现在线生图的AI模型平台及兴趣社区(Tensor.Art是吐司的国际版)目前我们拥有超过16w+的模型数量,海量可选的模型不仅能下载还能支持在线运行,生成的图片作品可以一键分享到社区。我们相信模型是未来AI时代信息交流的媒介,且一直致力于紧跟*前沿的AI技术和国际视角,来帮助AI创作者降低创作门槛,让更多的小白用户以及不同垂类场景的用户使用AIGC提高生产效率。
关于智谱AI
智谱AI致力于打造新一代认知智能大模型,专注于做大模型的中国创新。公司于2020年底研发GLM预训练架构,2021年训练完成百亿参数模型GLM-10B,同年利用MoE架构成功训练出收敛的万亿稀疏模型,2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B并开源。2023 年,智谱 AI 推出千亿基座对话模型ChatGLM并两次升级,开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能,在开源社区受到广泛欢迎。基于全自研基座大模型的强大能力,智谱 AI 面向AI PC构建了端云一体的大模型解决方案。【天极网IT新闻频道】
###
媒体咨询:
Jade Li
NVIDIA GeForce, Studio PR
邮箱:jadli@nvidia.com
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。
