NVIDIA支持，Musemage软件媒体讲解会

Musemage媒体讲解会

NVIDIA^®（英伟达™）北京会议室 2010年8月18日

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

非常感谢大家光临。今天主要给大家介绍一下GPU计算这方面的一些新的进展。很多人都知道NVIDIA^®（英伟达™）现在在推GPU，把它应用在除了游戏、除了图形以外的其他领域里面。原来我们已经发布了很多这样的产品，比如像视频的编码解码，或者视频的后处理这方面的应用。现在我们也有一些新的应用在不断的推出来，包括像诸如人脸识别之类的应用。在另一方面，我们也在推动GPU，把它应用在更多的领域里面，包括应用在图像处理。

        平行视野（Paraken）是一家国内的公司，也有一些人在国外，或者在境外，在香港、美国都有他们的人。他们是由对图像和GPU都非常了解的人组成的。现在他们最新的软件叫Musemage，这是一个图像处理软件，我相信也是世界上第一个基本上基于GPU图像处理的软件。这跟过去是不一样的，过去可以看到的Photoshop或者其他的软件都是基于CPU的，但是基于GPU会带来一些新的变化，在速度，特别是在交互性这方面，和过去都有很大的区别。所以今天请大家过来，就给大家介绍一下Musemage这款新的软件。

    今天请到的是平行视野公司的张乐，同时他也是这个软件的主要程序开发者之一，张乐在OpenGL或者在图像处理方面有非常深厚的功底。

    我就少说一点，我们请张乐给大家做这个软件的介绍。

平行视野产品经理张乐：

大家好！我是平行视野的张乐。这次我给大家主要介绍一下我们最新研发的产品—Musemage。这次主题是Musemage——Revolution of Image processing（图像处理的革命软件），就是我们希望通过GPU的运算来加速图像的处理，希望能引领一次图像处理软件的革命。

    Musemage可以大言不惭的说一下，算是世界上第一个完全基于GPU的图像处理软件。由于它是基于GPU的图像处理软件，GPU所有的优势体现在极速的图像处理体验，丰富易用的功能。我们虽然是一个新的软件，而且基于GPU，但是功能的丰富性并不是那么少。而且我们拥有一个非常友善的用户界面。

    基于GPU的图像软件并不是说抛弃了CPU，在做用户交互的时候，仍然需要CPU参与用户逻辑的控制。但是可以看到，CPU只有4 cores，而GPU有512 cores，这种量级的差异也可以猜测到图像处理软件的处理速度。

    我们使用GPU的原因，从这里可以看到GPU的处理速度，从2006年有一个飞跃。基于GPU的强大处理，我们可以看到新的NVIDIA的Fermi架构的GPU单精度计算能力已经达到1t的能力，而且有极大的存储带宽。GPU本身就是专门为图像处理而设计的，所以说我们在用正确的处理器做正确的事情，所以我们能够有一个质上的飞跃。近几年GPU确实有很大的发展，我们也是考虑这种GPU的平台来进行运算。

    主要介绍一下我们在研发中的解决复杂难题，因为我们并不是传统意义上的CPU软件，由于使用了GPU，所以要同时操作GPU内存，也就是显存，主存以及磁盘缓冲区，我们要在这三者进行数据的切换，这中间有一定的传输延时，但是我们通过良好的用户界面来解决了这些东西。

    Undo/redo也就是我们常用的撤销功能，这个在平时的CPU软件上都会有这个功能，Ctrl Z和Ctrl Y，但是由于我们使用新的架构，这个问题也是现在用一些比较好的办法来解决。

    另外一个就是我们的特点，之前所用的类似于CPU的图像处理软件，它都是顺序的方式进行图像的算法，而我们基本上使用的GPU，将目前大部分的算法都用GPU的并行方式进行重写，所以任何一个处理都是完全针对GPU进行的优化。

    还有一个问题，GPU虽然现在已经很高级了，但是存储的空间仍然有限，所以还针对GPU和CPU之间数据的接换对它进行了一定的规划，用有限的GPU内存来处理更大的图像。

    所有的工具和滤镜都运用在GPU上，带来的好处就是，一张20兆图像，就相当于现在大家使用的单反相机的图像任何一个效果的处理不会超过1秒，基本达到实时的速度。这个相比一些传统的图像处理软件有一个质的飞跃，速度在100-1000倍左右，能达到实时的反馈和无损的缩放以及平移图像。

    Radial Blur是我们经常要用到的，就是叫镜像模糊的功能。这是我们Musemage镜像模糊的速度，大概是1.5秒，传统的处理软件大概要33秒，33秒听起来不太长，但是处理一个模糊要半分钟的时间还是比较难以忍受的。

    Surface Blur，也就是平时所用的表面模糊，表面模糊用在人像的美白处理，和去痘、去斑。做一次Surface Blur的速度大概在0.75秒，不到1秒钟，另一个软件需要25秒左右。这是一个有质的飞跃。这个测试都是4K×4K的图，相当于单反相机的标准图。在i7的CPU以及GTX 480的显卡上进行测试的。

    现在给大家演示一下我们的demo：这张图片可以看到，通过照片的信息，图片宽度是5000×3000的大图，并不是一个很小的图，可以看到有一个很好的用户拖放、缩放。

    展示一下模糊功能，这里是镜像模糊，就是刚才说的Radial Blur。很神奇，用到‘最佳’这个功能，基本上是进行实时的5k×5k速度的模糊处理。中心其可以进行调整。我们可以说是实时了，任何一个图都是很快的。

    再看一下刚才说的表面模糊，在做调整的时候要看图片的细节。可以把它调整到我们需要看到的位置，进行一些细节调整。在任何一个调整的同时，可以操作图片，这个交互性能应该说是目前没有一个图片软件能够达到这样的交互。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

刚才演示所用的是我的笔记本电脑，这个小笔记本电脑只有1.3公斤重，是一个主流的GPU。如果台式机的话，我在家里面用GTX480试过，基本完全可以实时。比如移动，你的Radial Blur，把半径放到最大，移动中心的时候，看见可以像动画一样。要Photoshop的话，给你这么大一个窗口作为预览，如果用Radial Blur的话，你是没有任何预览的，只能够把中心随便托一下，也不知道拖到哪儿了，但这个可以很正确的定位它的中心，可以实时反馈出来。比如把中心放到人眼里面，都是很容易的。   

平行视野产品经理张乐：

刚才看到，我们做模糊效果针对其他的软件有一个质的飞跃。

    同时又有丰富的功能，具有画笔功能，可以在图片上进行写字、画画。还有完备的颜色调节功能，也就是常说的颜色色彩平衡、饱和度。滤镜，模糊也算是经的部分。还有美容效果。镜头校正的效果，我们的软件基本实现了大部分畸变的镜头，像鱼眼，畸变的效果都可以做出来。

    看一看现在所丰富的功能，有移动画笔、擦除工具、滚动工具。包括丰富的颜色调整，像单色、亮色调整、对比度这些功能，常用的颜色功能完全具备，并不是说比其他软件功能要少，我们甚至比他们的功能要更多。

    可以看一下我们具有一个强大的美容工具，（PPT）这是一张照片，左边是通过我们的软件做好的美白磨皮的效果，另一边是还没有做美白磨皮的效果，对比还是非常有震撼力的。

    以很快的速度给大家展示一下这是怎么做到的。这个女孩的脸上斑、痘痘还是挺多的。这里是美白工具，先用选区选住一半，这样看起来更有对比感。可以看到这个女孩的脸上，在选住的部分算是有非常粉嫩的皮肤，而对比另外一部分，还是非常粗糙的皮肤。但是调整的代价是非常低的，很快进行鼠标辊轴的拖动，就可以对人脸进行简单的磨皮的效果。

    我们以最后的速度对照片进行美化，可以非常简单通过调整鼠标，把皮肤做好。同时再通过颜色，做一次白平衡调整。现在通过内置的一些效果，比如做一次影楼效果，基本上算是一张完整的人像的调整。比较喜欢类似于海报色，可以用数字滤镜，做一个非常简单的单色的海报。软件大部分的滤镜功能以及调整一张人像的特效处理是非常轻松的，不用花一分钟的时间就可以做一张图片的特效处理。

    还拥有强大的镜头校正和镜头效果。可以对比一下，这是我们照的风景，用广角镜头可以看到，每个柱子都已经倾斜了。通过镜头校正工具，可以把这张照片完全不失真实度，把所有的处理都调整正。通过简单的调整功能，把镜头所变化的畸变已经调整到很好的效果。

    看到照片的旋转、缩放都是实时的，摄影师可以不用再买移轴镜了，我们已经做了移轴镜的功能。这边的背景都是虚化的，可以选择移轴镜的位置，宽度以及移轴镜的角度，可以做出很多特殊的镜头效果，同时都是可以非常方便进行操作的。

    软件未来的发展，对于像PS这样的软件，选区、涂层、通道、蒙板这方面是有的，但是并不够强大。所以之后会做更完整的选区、图像、通道这些功能。同时还有一些同事专门来研究更加智能的算法，比如我们可以做实时的自动抠像，图像拼接，以及3D图像合成软件；还可能做多图的处理，多图像拼接。可以看到刚才所有的操作都是基于底下的图片墙，我们在处理这张图片的同时，会打开这个图片夹所在的所有图片，今后会添加一些对图片进行添加、删除的管理，或者当多图进行合并的时候，直接会在图片墙里进行多图的选择，然后进行一些特效。图片墙目前主要还是作为当前文件夹下，图片浏览和方便编辑选择的工具来说。可以非常简单，不像其他软件，还要退到文件夹下才可以这样的操作。

    另一方面，由于我们使用GPU，GPU对一张最大图片的支持还是有限的，我们要通过其他技术突破对于GPU对单张图片最大的处理尺寸，这是我们另外一方面要做的技术突破。我们现在都知道一张图片大概是一个颜色的位是8位，通过一些高精度算法，换成16位颜色进行计算，照片计算后，更加真实，效果更加好。

    基本上我把这个软件的大部分功能给大家演示了，大家有什么问题可以想我提问，或者向开勇。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

这个软件在很大程度上，从技术上来说，还是很新颖的，现在还没有同类的软件。虽然现在比如像Photoshop一类的，也使用到部分GPU，但Photoshop的GPU仅仅用来做显示的加速，它的处理所有的功能全部都是基于CPU的。所以说Photoshop的平向调节速度都比较慢。但是Musemage是整个核心所有全部都是在GPU上来做，所以说它可以做得非常快。

    另外一个方面，我个人感觉，Musemage对使用者来说，最大的一个变化就是它的交互变化。有些快几十倍，这个确实是，但是更多的变化是说，你以后一边交互，一边调节，你还可以随时的改变它，你可以把图片放大缩小，你可以看看细节是什么样的，或者看看整体是什么样的，一边调节，一边放大缩小，一边拖动画布，这样的话，可以把整体和细节真正的结合在一起。这个是最大的变化，而且任何时候都可以用滚轴进行缩放，用鼠标来拖动，这一点给图像处理的人带来很大的便利。

    Musemage我个人感觉还是挺有前途的，当时他们在开发的时候，应该是在（阿儿法）的时候就在用他们的软件，我也用了很长的时间，你用了以后就会养成一种习惯，用Photoshop的时候，要用鼠标去滚轴，缩放，挺不方便的。用惯了Musemage这样的软件，有可能用别的软件感觉不太习惯。这就是一个挺大的差别。

    另外一点，我们当然也是希望出现更多基于GPU的图像处理工具。我相信这可能是第一个，以后可能也会有更多，到时候如果有更多的话，再请他们来给大家做一些介绍。

    如果大家有什么问题，特别是关于技术的，软件的，或者他们本身的，都可以提问，他们有几位在线上，张乐也在这儿，可以给大家做一些回答。

记者：

演示一下有没有画笔、笔刷之类的。

平行视野产品经理张乐：

画笔功能，没问题。画笔也是基于GPU，实时的绘制。各种笔刷的样式，透明度的调节，颜色，以及同样提供字体工具。这些常用的功能是完全都具备的。同时有修复画笔，也就是克隆图章，我不是一个专业的美工，但是可以看到克隆图章的效果。透明度的调节。其他的一些基础工具，像颜料桶也有提供，还有裁剪工具、加深工具、减淡工具。可以说，大部分的图象处理里头有一些小的工具都有。

    还有一个功能忘的说了，也是我们一个很强大的功能，我们拥有一个叫做批量处理的功能。四张图选好了，四张图选好了以后，会有一张样板图，选择调节的功能，调节各种各样的图像，比如让它还要旋转一下。刚才我们已经选了四张图，同时让它输出一张JPG图，这四张图用了旋转和颜色效果，这四张图同时应用，我们可以快速的把这四张图处理好。处理大图和小图的能力是一样的，刚才已经看到了演示的效果，都是1秒以内，可以瞬间处理几十张图，应用同样的效果。批数的功能可能很多人都会用到，在照一组照片的时候，用相机的参数要稍微进行调整一下，或者调整一下角度，同时用几十张图，这个功能会比较好。

记者：

光磨皮了，痘没下去。用哪个去？

平行视野产品经理张乐：

用其他软件也不仅仅是把皮磨掉了痘就去了，还是要用修复画笔，用旁边的皮肤来补偿一下。顺序个人的喜好。

记者：

能调直方图吗？

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

可以的，针对祛痘可以用克隆图章或者修复工具都是很容易的。

平行视野技术人员：

有一个流程的，比如用印章把痘细一下，然后再磨皮，这可以的。

平行视野产品经理张乐：

不磨皮的话，做其他很多的效果是挺可怕的，好像给人感觉满脸都是大麻子，因为给它凸显了，磨完以后再做就比较好，脸上就非常光滑了。

       记者：

直方图有吗？

平行视野产品经理张乐：

有的，你是想调颜色色阶？色阶也有。

记者：

风景的那个，背景不是蓝的嘛，我想让它再加蓝，怎么弄？

平行视野产品经理张乐：

调饱和度。

记者：

这个可以处理RAW吗？

平行视野产品经理张乐：

RAW格式是没问题。支持佳能都没问题。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

好像有RAW格式。这个是佳能的，因为我试过，这里面全都支持，佳能的，莱卡的，奥雷巴斯的，尼康的，还有松下、三星等。

平行视野产品经理张乐：

SIGMA大部分RAW的软件也都不支持，佳能肯定是首先考虑的。

记者：

降糙效果怎么样？

平行视野产品经理张乐：

我们有专门的降糙工具，但是得您辅助您自己来调整一糙点，因为糙点不是非常统一的按照什么分布来。

    这是RAW格式大部分相机都会测试到的图，类似羽毛剪出来的效果还是很好的。基本上，国内常用的数码相机，RAW格式读起来都没什么问题。

   记者：

我刚才看到你每一次修改完一张图以后，打开另一张图的话，前一张图都要取消掉，能不能同时？

平行视野产品经理张乐：

目前我们还是一个单文档处理的程序，因为主要针对的是照片编辑，所以要打开另一张的话，先保存了那个就可以了。

记者：

处理的时候，使用的是通常用的内存条还是显卡显存？

平行视野产品经理张乐：

有一个附加价值，你至少得有一个独立的显卡，就是常用的NVIDIA显卡都可以。

记者：

对显存有什么要求吗？

平行视野产品经理张乐：

我们推荐您最好能够有一个512兆以上的显存，当然512兆显存同样可以用。

记者：

内存有要求吗？

平行视野产品经理张乐：

现在的笔记本好歹也是2G内存，2G内存我们的软件跑起来肯定是没问题的。如果要想处理得更快的话，就用更好的GPU，更好的显卡。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

你要买台式机显卡的话，市场上200多块不到300块钱就可以和我的笔记本电脑相同性能甚至比它性能更好的显卡。因为笔记本电脑为了发热很低，为了还轻，所以GPU的性能都做的怎么低就怎么样来。但基本上来说，台式机的GPU跑这个软件比较快。

记者：

只支持NVIDIA，不支持ATI？

平行视野产品经理张乐：

这个软件不完全应用CUDA，还多很是用渲染器来做的，类似于3D，所以A卡和N卡都支持，但是N卡这方面标准支持得更好。

记者：

这个软件是基于CUDA开发的还是基于OpenCL开发的？

平行视野产品经理张乐：

目前使用的是OpenGL，现在还没有做更加智能的像图像匹配和多图融合，所以目前是A卡、N卡都可以用。

记者：

我的电脑是A卡或者N卡都支持？

平行视野产品经理张乐：

对，目前都可以用。

记者：

N卡加速比更高一些？

平行视野产品经理张乐：

对，N卡的效果更好一点，因为它的编译器的效率更高一些。

记者：

挑显卡吗？

平行视野产品经理张乐：

我们是不挑显卡，但是N卡处理效果更好一些，因为对OpenGL支持。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

Intel好像用不了是吧？

平行视野产品经理张乐：

Intel支持的OpenGL标准比较软一点，不过一般Intel的卡也都是集成显卡嘛，所以用独立显卡多好。

       记者：

基于底层的用OpenGL？

平行视野产品经理张乐：

图像处理算法。

记者：

为什么不用CUDA C？

平行视野产品经理张乐：

这是我们第一阶段，要实现大部分的图像处理功能，还有一些比如说智能抠图，这些更大的基于宏块的处理，将来会使用CUDA，现在这些功能用CUDA相当于杀机用宰牛刀。

       记者：

演示的所有操作都是用GPU完成的？

平行视野产品经理张乐：

对，你看到所有的操作都是用GPU完成的。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

这个显卡如果用GPU Z的占用率是测不出来的，只要使用和CUDA相关，通用计算相关的，用GPU Z测出来的，都很不准确，你可以试一试。

平行视野技术人员：

OpenCL的应用还不是特别成熟，以后可以加入。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

为什么不用CUDA C呢？

平行视野技术人员：

因为OpenGL已经比较久了。CUDA C的话也会考虑。我们没有说不用这两个开发，在将来的程序里面，会加入这些特性的。主要在也一代产品里面，先把能用的，以最快捷的方式弄出来，比如将来有大型的抠图一类的，我们会采用CUDA C。像OpenCL的版本稳定以后，我们也会考虑用OpenCL。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

NVIDIA我们相对来说还是比较开放的，只要你使用GPU做开发，我们都会提供支持。本来还是想请几个深圳办公室的同事来参加，他们今天下午刚好有另外的会来不了。在开发过程中，深圳办公室有几位同事给他们提供了很多的支持，特别是在NVIDIA和驱动相关的情况下，解决了很多的问题。因为这是第一次用这种方式来做图像处理，可能会碰上一些问题，但是我们的工程师都帮他们做了很多工作，把这些问题全部都解决了。也不仅仅是解决了我们的问题，可能也顺便把AMD方面的问题都解决了。NVIDIA在这些方面确实挺进开放的。

    记者：

我用GTX 400这一代的显卡，最新Fermi架构够的显卡，能明显感觉到比GTX 200有提升吗？非常复杂效果的时候。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

刚才一位媒体问了一个问题，基于Fermi的GPU和上一代的GPU GTX 200，在性能上会不会有很大的区别？

平行视野技术人员：

这肯定是会有的。我这边暂时还没有一个详细的测试数据，我就是在Fermi上跑的，我的卡就是在Fermi GTX 480的卡，我这边看到完成的效果是很不错的。

平行视野产品经理张乐：

刚才用邓老师的笔记本你看到，可能效果达不到像动画似的那么快，你要用GTX 480，基本感觉到做任何一个处理就像看动画片一样。

记者：

GTX 460挺合适的。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

如果从性价比来说，GTX 460是最合适的。Fermi有一个最大的好处，能支持GTX 200的图更大。

平行视野产品经理张乐：

今后会基于新的Fermi，它支持的标准更高，我们会增加一些效果。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

现在可以支持OpenGL4.1。

平行视野产品经理张乐：

在新的GPU架构上会添加一些更好的功能。

记者：

你刚才说，就只能处理一个图片？

平行视野产品经理张乐：

相当于一个单文档，非类似Photoshop类的图片都是一次处理一张图。目前还是不能做多单图片同时做效果融合，但是有一定层的功能，所以可以将另一张图片作为一层打开，可以做两个层的特效。

    你是想说，两张图，另一张图抠出来一个人转到另一张图？

记者：

差不多。

平行视野产品经理张乐：

这个在下一版多文档的时候来制作，单文档就算是有两个层，操作起来也会费点事。

平行视野技术人员：

现在也是可以多文档编辑，但是方式可能不太一样，因为这个版本可以用导入图层的方式，把多种图片导入不同的图层里面去。

平行视野产品经理张乐：

可以用导入新层，两张图做一些效果。

    记者：

一般软件对于第一次使用的消费者来说名字都比较吸引们，像Photoshop一样的。请问一下贵公司取Musemage有什么具体的含义？

平行视野产品经理张乐：

这名字还真是我当时考虑的时候取的，Musemage是Muse和Emage两个词拼起来的，Muse是希腊神话里面的女神，Mage是为了和前面的词拼在一起，我们希望是图片处理界的女神。

NVIDIA^®（英伟达™）中国区技术市场经理邓培智：

可能这个名字更适合于西方人。

记者：

还没有中文名？

平行视野产品经理张乐：

中文名目前还没有更合适的翻译。因为缩写就MM也很好记。

记者：

这个软件是中国开发的？

平行视野产品经理张乐：

所有开发人员都是中国人，但有一部分在北京，有一部分在深圳，还有一些研究算法的同事他们在美国，但是都是国内研发的。