神经风格转换Neural Style Transfer a review - 朱群喜_QQ囍

admin 2018-02-13 19:40 来源: 网络整理打印

原文:

作者:Yongcheng 荆 等

的汇编机的鼓励

风格转换是乍的头等议论热点在人工场的我,机具的鼓励也报道了很多互插的议论。近几天,是人浙江中学和亚利桑那州国家的中学的一点点议论 arXiv 发布的新闻了头等鼓起勇气风格转换(鼓起勇气 Style 转变)的论文略述,对普遍地鼓起勇气体系方式使转移技术议论、的敷用及在的成绩停止了片面的总结。在PA切开情节汇编为机具的鼓励,请会谈原始公文:。况且,为了便于宣读的进一步地放大,机具的鼓励还总结了风格距离的互插文字。

摘要

Gatys 以及剩余部分人。乍的议论弄清,包起鼓起勇气体系(美国有线电视新闻网)的犯人:经过对图像情节和风格重行结成的舍弃,CNN 你可以造成艺术文字的魅力。运用 CNN 将一张图片的词义学情节与差额风格混合起来的奔流崇高的鼓起勇气风格距离(Neural Style 转变)。从此,在学术议论和勤劳敷用,鼓起勇气典型距离先前变得头等特殊的叫座的谈资,它不仅是计算者视觉议论者越来越关怀,议论人员还建议了几种方式来上涨或放大 Gatys et al. 建议的鼓起勇气算法。不外,这柱槽筋的头等片面的复查、缺勤确实的文件也要。本文综述了鼓起勇气体系议论的票价乍的距离,差额的敷用,该技术必要处置的成绩也,这亦将来的议论公开。

图 1:运用了 Gatys 的风格转换算法等的容器。,中国1971的拉风格(B)转变到万里长城的一张相片(一)。想要的黄巩望风格的文字是图。

1 小引

在本文的剩余部分切开的逻辑和解。。第 2 该切开对持续存在的鼓起勇气风格距离方式,对这些方式的不隐瞒的解说。第 3、4 本条绍介了这些方式的一点点改良和开发。。文字第 5 在切分出口印象的评价方式。第 6 这些鼓起勇气风格距离方式的事业敷用是掷铁饼。上个,第 7 总结了普遍地对付的应战和可以的处置方案。第 8 总结了全文,计算一点点指望的议论公开。

文字中关涉的文字和确切的的密码、请去前种植模仿:https://github.com/ ycjing/Neural-Style-Transfer-Papers

2 对鼓起勇气风格距离方式的分半方法

在这一切开,我们的建议了一种花色品种方式。眼前的头等鼓起勇气线风格转换方式:鉴于迭代的鼓起勇气图像的特性描述方式(特性描述 Neural Methods Based On Image 迭代)鉴于迭代法使成为的鼓起勇气体系起形成作用的人(Generative Neural Methods Based On Model 迭代)。导演迭代修复图像像素使掉转船头IMA头等法,次货种方式头等次迭代使最优化使成为起形成作用的人,那时的经过头等正迅速的传打字图像。

鉴于迭代思索的图像特性描述方式(特性描述 Neural Methods Based On Image 迭代)

头等种转变图像风格鼓起勇气的方式是特性描述性鼓起勇气。。该方式将随机噪声的开端,反向物算法经过迭代修复(未知)风格的图像。图像迭代的急切的是最大限地增加丢失,这种风格的图像,也可以对图像和教学情节的一切开。

其说话中肯装有蝶铰是鼓起勇气风格转换风格表征(代表 of 风格),头等目录义打字丢失应变量。丢失应变量的风格相婚配的使最优化图像的合适的的风格。地面丢失应变量的差额风格,我们的可以进一步地将这一方式分为鉴于最大平均率值差(MMD)的方式鉴于无后效过程的随机场(MRF)的方式。手巧的起见,我们的称之为鉴于 MMD 鉴于 MRF 的方式。

.1 鉴于 MMD 特性描述的鼓起勇气体系方式

MMD 是头等特殊的深受欢迎的两个评价基准的散布辨别,希耳伯特阻止得分的固有值的根底[ 20 ]。乍,Li 布满的议论弄清风格距离可以被数数头等从情节图像到风格图像的散布结盟奔流 [30]。到这程度,MMD 可以用来批评差额的风格。鉴于 MMD 特性描述的鼓起勇气体系方式是指运用带有差额核应变量的 MMD 作为风格丢失的鼓起勇气使最优化方式。

.2 鉴于 MRF 特性描述的鼓起勇气体系方式

MRF 是一种古典文学的的帧图像分解。倘若本地的图像块包罗最互插的总数图像。特性描述法以次货鼓起勇气为根底。 MRF 为根底的,同时鉴于鼓起勇气前进的得第二名风格,风格的本地的图像块婚配。

鉴于迭代法使成为的鼓起勇气体系起形成作用的人

不管特性描述性鼓起勇气方式可以使成为出色的风格化图像,但仍有边界。穿着头等是功效成绩。次货类,亦即鉴于迭代法使成为的鼓起勇气体系起形成作用的人(在大约论贴壁纸,也崇高的短时期做成的的鼓起勇气典型使转移吼叫和计算本钱),但在该起形成作用的人的柔度为使付出努力。装有蝶铰思惟执意在每个反向移动思索到风格图像的详细地图像从科学试验中汲取的价值集上提早锻炼头等前馈体系。梯度降下法的运用,经过迭代修复起形成作用的人使最优化体系起形成作用的人。

3 普遍得第二名式的巨大杂耍。

一点点议论先前建议了鼓起勇气体系算法的IM风格转换。改良后的版本保存持续存在的算法和解和奔流,尽管头等小小的杂耍,在丢失应变量来增加更妥的功能。

图 2:鼓起勇气把持风格的笔刷一定大批的的距离可以发生差额的风格。梵高的风格 Starry Night》

特性描述鼓起勇气方式的衍生物

使成为的鼓起勇气根源的方式

4 图像说话中肯思索到典型的开发

鼓起勇气风格转换方式对恒稳态图像的处置。他们可以不快用于剩余部分典型的图像(如涂鸦、图片和录像磁带)。眼前已有很多议论正断定将最上进的鼓起勇气风格距离算法敷用到这些特殊典型的图像,或让委派的目的在图像风格。

在涂鸦风格前进的鼓起勇气。Champandard 一点点风趣的议论完全的 [ 7 ](如 .2 在左右节期)。此外引入词义学晒到鼓起勇气风格距离,普通平民的也可以经过这种方式在图像中输出较年长者正文来把复杂的草图转换为仔细的的人构成的人构成的画面或场景或场景。

鼓起勇气的风格转换头。不管 Gatys 该算法可以等普通的图像风格,但它否认快合头风格转换。鉴于阻止得分的限度局限不强,导演敷用 Gatys 这种方式可以使头部形态损伤。。这种典型的风格转换是不成接球的。Selim 以及剩余部分人 [41] 在议论处置左右成绩,他们放大 Gatys 该算法等。。他们用增益(增益图 图)约束阻止得分的模糊向某人点头或摇头示意,到这程度,扮演角色脸部轮廓可以保存而风格距离。。

委派瞄准的鼓起勇气典型转换。Castillo 以及剩余部分人 [5] 委派的目的风格转换算法。该算法是在头等单一的瞄准详细抽象的工艺品风格。我们的的向某人点头或摇头示意是运用最上进的词义学分段算法分,那时的汲取瞄准的风格和非兼并方式距离后的语境。

录像磁带鼓起勇气风格距离。Ruder 以及剩余部分人 [40] 拓展了 Gatys 布满的议论,对录像磁带图像序列处置算法前运用鼓起勇气风格,本文是在录像磁带中提到的鼓起勇气典型转换。目的图片风格,Ruder 该算法等。引入时期丢失应变量来让总计的录像磁带都可以开始风格距离。在左右算法的要点思惟是时期约束,偏要运用,在惩办的轨迹的偏移。Ruder 该算法等。已被作证可以可以在大多数情况下拿下人工特征,录像磁带的风格和发生平滑的的。另头等议论的公开 Anderson 以及剩余部分人 [3] 建议,它可以运用光流设定初值打字距离。,使细分影片的影片。

5 评价方式

鼓起勇气典型转换,不在的东西 ground truth。鼓起勇气前进是一种具有艺术性的风格。差额的人会有差额甚至截然相反的风景。到这程度,对鼓起勇气风格距离算法所开始的视觉奏效的评价依然否则头等悬而未决的要紧成绩。

从我们的的鉴定看法,在鼓起勇气经得起移植担任守队队员中采取两种典型的评价方式CA,即:定质的评价(定质的) 评价(定量)和定量评价 评价)。定质的评价要价党派评价差额的奏效,这依赖于党派的注视(崇高的「风格觉察议论(Stylization Perceptual Studies)」)。评价奏效可以是由党派属性(如AG)导致的。、差额的事业)。在定质的评价但是有一定程度的不确定质的的M,但这种方式可以想要无论多少一点点鼓起勇气的艺术风格。定量评价的重读取决于算法的严守标准的评价。

在鼓起勇气风格转换电流场,使成为的鼓起勇气体系方式先前变得头等叫座谈资,穿着吼叫是勤劳敷用所思索的次要成绩经过。但到眼前为止我们的所赚得的,先前的议论先前运转的自己的事物使成为的最好的鼓起勇气体系方式,在定质的和定量的使协调剖析。到这程度,在这一章中,我们的的目的是构成 5 眼前最好的使成为的鼓起勇气体系方式,并运用它 Gatys et al. 特性描述鼓起勇气的方式作为指的是。

试验设置。普通,本试验敷用 10 张式抽象 20 张的抽象。自己的事物风格转换奏效都是运用作者想要的密码 [43, 23, 27, 19, 8] 开始的,但 [14] 是个非正则。说起 [14],我们的稍加修正(见文字)。 3 章)盛行的开放源密码 [22]。自己的事物的限制因素编码,在我们的的试验中运用的是默许的限制因素,但 [12, 9] 是个非正则。我们的为 [12,9] 应用锻炼前由作者想要的起形成作用的人。自己的事物使成为的鼓起勇气体系方式在我们的的试验中,自己的事物受测验情节图像在锻炼奔流金中都缺勤被注视过。

定质的评价

图 3:战利品的定质的评价的一点点奏效

表 1:供图 3 图像上的行列的六算法的平均率方式(E [1, 6])

定量评价

表 2:在 256×256、512×512、1024×1024 三种像素大批对鼓起勇气风格转换算法的构成:NVIDIA Quadro M6000)

6 敷用

鉴于鼓起勇气风格距离的奏效是危言耸听的的,到这程度也实现了很多成的信念敷用,也求。同时,一点点敷用的论文也被用于议论说话中肯敷用 [4,25]。这些敷用程序是本条总结,并建议了一点点潜在的目的。

交际

器来帮忙用户使成为

文娱生产量器的敷用

7 成绩及可以的处置收入

鼓起勇气型外姓担任守队队员的票价使成为一体怪讶。,它也被敷用于勤劳。但是算法取等等危言耸听的的奏效,在这一担任守队队员仍在一点点应战和未处置的成绩。在此章节中,我们的将在总结鼓起勇气风格转换担任守队队员的成绩,并议论了确切的的处置方案。

难解的问题

  • 限制因素修长的的成绩

  • 笔画公开把持

  • 鼓起勇气乐趣说话中肯快和快成绩

图 4:带有画笔一定大批的把持特性描述的鼓起勇气体系方式的高清晰度奏效,而缺勤使成为鼓起勇气刷大批把持的高R。

可以的处置方案

解的限制因素修长的成绩。在自动行为修长的限制因素的议论在即将到来的,我们的议论的处置方案特性描述鼓起勇气的方式和使成为方式。特性描述的鼓起勇气体系方式,头等可以的处置方案是依照 Risser 方式等。,进一步地结婚一点点非梯度物,拿 ... 来说,丢失和丢失总数的广大地域。另头等公开是从自动行为使最优化激发谋略的运用,Domhan 布满的议论 [11],Luo 的议论 [32])。

在使成为的鼓起勇气体系方式,头等向某人点头或摇头示意是思索而不必要一种差额风格的新方式。 [9]),同时,也要保证人高弥撒曲的奏效。(也执意,间断吼叫、柔度和弥撒曲经过的用天平称)。那时的,工艺品限制因素不特殊从容进行,和限制因素的修长的是可以接球的用户。况且,眼前自动行为限制因素使最优化谋略说话中肯一点点方式在使成为的鼓起勇气体系方式说话中肯自动行为限制因素修长的也会有帮忙。

对笔画公开把持的可以处置方案。鼓起勇气风格转换算法眼前不思索T的把持。相反,非真实感绘制技术(NPR):Non-photorealistic 传奇色彩)域,笔画公开的把持开始了终止的议论 [39]。我们的信任 NPR 在现场的一点点向某人点头或摇头示意可以用来处置鼓起勇气麦粒肿的成绩。拿 ... 来说,Zhang 在哪里和多少用户直言的笔画公开的要价 [49],由于差额的用户有差额的爱好。对鼓起勇气风格转换算法异体同形的指的是,要价用户提早选择大局里程公开。。况且,鼓起勇气距离算法和风格的结婚 NPR 导游中风场的公开谋略(拿 ... 来说,[50] 航向场方式)是另头等潜在的处置成绩的收入。

处置快与快的成绩在鼓起勇气风格距离。议论的次要成绩是间断吼叫、柔度、弥撒曲三者的用天平称。头等可以的处置方案是依照 Chen 和 Schmidt 的议论 [9]。他们的算法是眼前最无效的算法,但人构成的画面或场景弥撒曲不高。。图像弥撒曲上涨距离发生的风格是BRE、柔度、三的体重的潜在公开。。有一点点互插的任务,譬如 [51]。

掠过的大批的鼓起勇气式前进算法短时期做成的和把持,在前面提到的里程把持公开相似的的向某人点头或摇头示意。在 NPR 担任守队队员,有大批的里程一定大批的把持的议论。倘若你想复查,我们的保举 [39] 头等章 1。

8 断定和即将到来的任务

在过来的三年,鼓起勇气典型距离到长期性增长的议论有力的开展的担任守队队员。越来越多的竞选运动担任守队队员的议论是由SC驱动器的。。但在鼓起勇气典型转变担任守队队员,议论人员还议论了相当数的。表中该担任守队队员的装有蝶铰议论票价 3。总体关于,这篇概述想要了对鼓起勇气风格距离持续存在议论的在海外调查所,单调的生活普遍得第二名式的花色品种、他们的改良和开发、评价方式及在的应战和确切的的可以。况且,我们的也勾画出鼓起勇气风格距离三敷用担任守队队员,包罗社会、器来帮忙用户使成为和用于文娱敷用的合意的人器。

表 3:在鼓起勇气距离方式总结议论票价

鼓起勇气前进即将到来的风格,头等指望的公开次要集合在两个柱槽筋。一是处置在脸上提到普遍地算法的成绩,限制因素整定成绩、笔画公开把持和鼓起勇气乐趣说话中肯快和快成绩。反向移动这些成绩,本贴壁纸所特性描述的处置方案可以 7 节。次货公开是头等新的扩张方式(如距离o,性情风格和特性风格)的距离和距离,在左右公开上先前取等等一点点初步的议论奏效,拿 ... 来说,乍 Yang et al. [47] 外姓对倒转术(倒转术印象 Effects 转变)的议论。这些风趣的开发可以变得即将到来的议论性情的基本图案,那时的可以使成为新的互插担任守队队员。

致谢和指的是文件(略)

的风格转换机的鼓励:

扫一扫在手机打开当前页
责任编辑:admin
推荐内容

热词
回到 顶部