神经风格转换Neural Style Transfer a review - 朱群喜_QQ囍

admin 2018-02-13 19:40 来源: 网络整理打印

原文:

作者:Yongcheng 荆 等

编辑机的小片

风格转换是近亲的一点钟得出所预测的最后热点在人工场的我,机具的心脏病患者也报道了很多相互关系的得出所预测的最后。近来,A few studies from the Zhejiang University and the Arizona State University arXiv neurostyle转会(中枢)发行。 Style 转变论文外形,对普遍地中枢到国外分布方式转移技术得出所预测的最后、的运用权及在的成绩举行了片面的总结。在PA有些情节编辑为机具的心脏病患者,请面试原始绍介申请。:。另外,为了便于读的更多的拉长说,心脏病患者的机具仍在本文的至死总结了我国电动车辆。

摘要

Gatys 以及宁静人。近亲的得出所预测的最后弄清,包起中枢到国外分布(美国有线电视新闻网)的俘虏:经过辞别和重组的情节和菜单风格,CNN 你可以制造硬币艺术作为的魅力。运用 CNN 将一张图片的语义学情节与转换多的风格调停起来的工序崇高的中枢风格转会(Neural Style 转变)。从此,在学术得出所预测的最后和工业股票运用权,中枢式的转会先前变为一种盛行的促使,它不仅是计算器视觉得出所预测的最后者越来越关怀,得出所预测的最后人员还绍介了几种方式来借款或拉长说 Gatys et al. 中枢到国外分布算法。不外,在这尊敬,概括正文、缺乏确实的文件也要。本文综述了中枢到国外分布得出所预测的最后的进食近亲的转会,转换多的的运用权,该技术必要处置的成绩也,这亦走近的得出所预测的最后趋势。

图 1:运用了 Gatys 的风格转换算法等的围住。,将国画风格(B)到长城站相片(一)。装修的黄巩望风格的作为是图。

1 小引

在本文的等等的人或物有些的逻辑组织。。第 2 在眼前的的中枢风格的转会有些分类学方式,对这些方式的片刻解说。第 3、4 这一节绍介了必然的改善的方式和展开。文字第 5 在切分出口引起的评价方式。第 6 节议论了这些中枢风格转会方式的有条理的运用权。至死,第 7 总结了普遍地脸的应战和可能性的处置方案。第 8 总结了全文,排出必然的有希望的得出所预测的最后趋势。

文字中触及的文字和实质性的的信号、请去前耕作典型:https://github.com/ ycjing/Neural-Style-Transfer-Papers

2 中枢典型转会法的分半方法

在这一有些,we的每个人格形式绍介了一种分类学方式。眼前盛行的中枢方式转会方式经过是:鉴于迭代的中枢图像的叙述方式(叙述 Neural Methods Based On Image 迭代)鉴于迭代法的战利品中枢到国外分布线圈架(Generative Neural Methods Based On Model 迭代)。第一种方式经过修正图片像素实现预期的最后图像风格转会,次货种方式率先战利品迭代使最优化线圈架,继经过一点钟单一的直传时代风格抽象。

鉴于迭代学会的图像叙述方式(叙述 Neural Methods Based On Image 迭代)

将相片风格中枢的方式一是叙述中枢。该方式将随机噪声的开端,反向传达算法经过迭代修正(未知)风格的图像。图像的迭代的目的是最低的总错过,这种风格的图像,也可以对图像和教学情节的一有些。

其正中鹄的秘诀是中枢风格转换风格表征(代表 of 风格),这是一点钟选定的义的风格错过重大聚会。错过重大聚会的风格相婚配的使最优化图像的功绩的风格。依据错过重大聚会的转换多的风格,we的每个人格形式可以更多的将这一方式分为鉴于最大平常的值差(MMD)的方式鉴于马尔可夫随机场(MRF)的方式。手巧的起见,we的每个人格形式呼吁 MMD 鉴于 MRF 的方式。

.1 鉴于 MMD 叙述的中枢到国外分布方式

MMD 是一点钟绝深受欢迎的两个评价基准的散布差别,希耳伯特圈占地的本征值的根底[ 20 ]。近亲,Li 以及宁静人的得出所预测的最后弄清风格转会能被要紧一点钟从情节图像到风格图像的散布表达工序 [30]。因而,MMD 可以用来平衡转换多的的风格。鉴于 MMD 叙述的中枢到国外分布方式是指运用带有转换多的核重大聚会的 MMD 中枢到国外分布方式作为一种使最优化的方式错过。

.2 鉴于 MRF 叙述的中枢到国外分布方式

MRF 是一种古典文学的的帧图像分解。条件当地人的图像块收录最相互关系的总计图像。叙述的方式是鉴于二中枢 MRF 为根底的,同时反之中枢传输的分开风格,拿 ... 来说,当地人图像块婚配战利品。

鉴于迭代法的战利品中枢到国外分布线圈架

怨恨叙述性中枢方式能战利品出色的风格化图像,但仍有极限。。在那里面一点钟是机能成绩。次货类,亦即鉴于迭代法的战利品中枢到国外分布线圈架(在少数论文中,也崇高的急速的的中枢典型转移生涯和计算本钱),但在该线圈架的柔韧性为诉讼费。秘诀思惟执意在每个计数器特定的风格图像的到国外的图像通知集上提早锻炼一点钟前馈到国外分布。梯度减少法的运用权,经过迭代修正的线圈架使最优化到国外分布线圈架。

3 普遍分开式的巨大转换。

必然的得出所预测的最后先前绍介了一种改善的冠电流中枢版。改善后的版本保存眼前的的算法组织和工序,但略微转变了错过重大聚会来获得物胜过的机能。

图 2:中枢把持风格的笔刷大块的转会可以发生转换多的的风格。从梵高的风格 Starry Night》

衍生中枢的叙述方式

战利品的中枢获得的方式

4 图像正中鹄的特定的典型的展开

中枢风格转换方式对定态图像的处置。它们可能性不快用于宁静典型的图像(如涂鸦、图片和电视频率)。眼前已有很多得出所预测的最后正思索将最上进的中枢风格转会算法运用权到这些特殊典型的图像,或让选定的的目的在图像风格。

在涂鸦风格传输的中枢。Champandard 必然的风趣的得出所预测的最后执行 [ 7 ](如 .2 在因此参加宴会)。不计语义学熭到中枢风格转换算法,人文学科也可以经过这种方式在图像中输出初级正文来把简略的草图转换为过度重视细节的的描述。

中枢型转换头。怨恨 Gatys 该算法可以等普通的图像风格,但它不快合头式转换。。鉴于圈占地的限度局限不强,连续的运用权 Gatys 这种方式可使头部使变形。这种典型的风格转换是不成承担的。Selim 以及宁静人 [41] 在得出所预测的最后处置因此成绩,他们展开 Gatys 该算法等。。他们用一点钟增益(增益图 图)约束圈占地的手势,同时,在转会的方式可以拘押面部的代。

选定的目标的中枢典型转换。Castillo 以及宁静人 [5] 选定的的目的风格转换算法。该算法是在一点钟单一的目标详细抽象的工艺学风格。因此打手势请求允许是运用最上进的ST语义学粉碎算法,继滴下风格转会后的目标与非风格化交流声合。

电视频率中枢风格转换。Ruder 以及宁静人 [40] 拓展了 Gatys 以及宁静人的得出所预测的最后,对电视频率图像序列处置算法前运用中枢风格,本文是在电视频率中枢典型转换中提到的。。目的图片风格,Ruder 该算法等。引入工夫错过重大聚会来让一并电视频率都可以收到风格转会。在因此算法的小片思惟是工夫约束,偏要运用,那执意,惩办沿朋友轨迹的起程。Ruder 该算法等。已被使发誓可以能在大多数情况下移居人工特征,并发生一点钟润滑的风格上的效仿的电视频率。另一点钟得出所预测的最后的趋势 Anderson 以及宁静人 [3] 绍介,它可以用来设定初值转会流战利品。,一点钟电视频率虚构。

5 评价方式

对中枢风格转会成绩,是什么不在的 ground truth。中枢传输是一种艺术品的风格。转换多的的人会有转换多的的最后的评价,甚至是相反的。因而,对中枢风格转会算法所收到的视觉最后的评价依然剧照一点钟悬而未决的要紧成绩。

从we的每个人格形式的角度风景,有两种典型的评价方式,可用于N场,即:性质上的评价(性质上的 评价(定量)与定量评价 评价)。性质上的评价请求允许参与国评价转换多的的最后,这一测量部兴奋参与国(崇高的风格的认知得出所预测的最后 Perceptual Studies)」)。评价的最后可能性是鉴于参与国的属性(如银、转换多的的,转换多的的事业。憎恨有一定程度的性质上的评价的不确性质上的,但这种方式可以装修反正必然的中枢的艺术风格。定量评价的眼是正确评价索引T。

在中枢风格转换电流场,战利品式的中枢方式先前变为了一点钟热的的促使,在那里面生涯是工业股票运用权所思索的次要成绩经过。但到眼前为止we的每个人格形式所认识的,缺乏得出所预测的最后先前运转每个人最好的代总做过,在性质上的和定量的比喻辨析。因而,在这一章中,we的每个人格形式的目的是区别 5 眼前最好的战利品的中枢到国外分布方式,并运用它 Gatys et al. 叙述中枢的方式作为适用于。

试验设置。普通,本试验运用权 10 张的风格和抽象 20 张情节图像。每个人风格转换最后都是运用作者装修的信号 [43, 23, 27, 19, 8] 收到的,但 [14] 脚底的非正式脚底的非正式是非正式。为了 [14],we的每个人格形式稍加修正(见文字)。 3 第三章盛行的开源信号 [22]。All the parameters of the code used in our experiment are the default parame,但 [12, 9] 脚底的非正式脚底的非正式是非正式。we的每个人格形式为 [12,9] 预锻炼的线圈架由作者装修的运用。每个人战利品的中枢到国外分布方式在we的每个人格形式的试验中,每个人受测验情节图像在锻炼工序金中都缺乏被测量部过。

性质上的评价

图 3:对战利品举行性质上的评价的必然的最后

表 1:供图 3 图像上的头等的的六点算法的平常的方式(E [1, 6])

定量评价

表 2:在 256×256、512×512、1024×1024 三像素大块的中枢风格转会算法生涯的区别(硬:NVIDIA Quadro M6000)

6 运用权

因中枢风格转换的最后非现实性,因而也导致了很多成的业界运用权而且也开端实现预期的最后了行业报复。同时,也有必然的运用权本文得出所预测的最后的运用权 [4,25]。本条正中鹄的运用权举行了总结,并绍介了必然的潜在的适用。

社会性

附带用户使被安排好器

的生产器,文娱业正中鹄的运用权

7 在成绩及处置方式

在外姓王国的提高非现实性的中枢典型,在工业股票中也已有所运用权。怨恨眼前算法非现实性的最后,在这一王国仍在必然的应战和未处置的成绩。在此章节中,we的每个人格形式将在总结中枢风格转换王国的成绩,并议论了实质性的的处置方案。

棘手的事

  • 限制因素清算的成绩

  • 中风的趋势把持

  • 的成绩,快和快的风格的朋友中枢

图 4:带有画笔大块把持叙述的中枢到国外分布方式的高分辨度最后,缺乏对高R中枢画笔大块把持的战利品方式。

可能性的处置方案

解的限制因素清算成绩。在志愿地清算限制因素的得出所预测的最后在走近,we的每个人格形式议论的处置方案叙述中枢的方式和战利品方式。叙述的中枢到国外分布方式,一点钟可能性的处置方案是遵照 Risser 方式等。,更多的合并必然的非梯度书信,拿 ... 来说,错过和错过总计的扣押。另一点钟趋势是从志愿地使最优化激动战略的运用,Domhan 以及宁静人的得出所预测的最后 [11],Luo 的得出所预测的最后 [32])。

在战利品的中枢到国外分布方式,一种思绪是得出所预测的最后不必要为转换多的风格锻炼独自线圈架的新方式(就像 [9]),同时,也要抵押品高优质的的最后。(也执意,破晓生涯、柔韧性和优质的私下的平衡)。继,工艺学限制因素不特殊从容进行,和限制因素的清算是可以承担的用户。另外,眼前志愿地限制因素使最优化战略正中鹄的必然的方式在战利品的中枢到国外分布方式正中鹄的志愿地限制因素清算也会有帮忙。

对中风的趋势把持的可能性处置方案。中枢风格转换算法眼前不思索T的把持。相反,非真实感绘制技术(NPR):Non-photorealistic 虚构)域,笔画趋势的把持收到了大好的得出所预测的最后 [39]。we的每个人格形式信任 NPR 在该王国的必然的思绪可供适用于的处置地成绩。拿 ... 来说,Zhang 请求允许用户详述的打击的趋势状态和方式 [49],因转换多的的用户有转换多的的奇特的。对中枢风格转换算法同样的人的适用于,请求允许用户选择提早招全球趋势。另外,合并中枢型转会算法 NPR 正好中风场的趋势战略(拿 ... 来说,[50] 正中鹄的航向场方式)是该成绩的另一点钟潜在的处置方案。

中枢式的快和转会更快的处置成绩的方式。得出所预测的最后的次要成绩是破晓生涯、柔韧性、优质的的三个办法。一点钟可能性的处置方案是遵照 Chen 和 Schmidt 的得出所预测的最后 [9]。他们的算法是眼前最无效的算法,但菜单优质的不高。。图像优质的借款转会发生的风格是BRE、柔韧性、这三倍优质的的潜在趋势。有必然的相互关系的任务,譬如 [51]。

对中枢风格转会算法「快」与「更快」的画法大块把持向,在前面提到的里程把持趋势照片的打手势请求允许。在 NPR 王国,有落落大方的里程大块把持的得出所预测的最后。条件你想倒转,we的每个人格形式指定 [39] 第一章 1。

8 尾声和走近任务

在过来的三年,中枢典型转会到长期性增长的得出所预测的最后茂盛地开展的王国。在这一王国,越来越多的运用受到学科应战的鞭策。。在外姓王国中枢风格,得出所预测的最后人员还得出所预测的最后了相当发展成为的。在这一王国的次要进食列举如下表所示 3。总体向,本文装修了到国外的得出所预测的最后,眼前的的得出所预测的最后概述,普遍地分类学封面的方式、他们的改善和展开、评价方式及在的应战和实质性的的可能性。另外,we的每个人格形式还概述了中枢风格转会的三个运用权王国,包罗社会、附带用户使被安排好器和用于文娱运用权的制作器。

表 3:在中枢转会方式总结得出所预测的最后进食

中枢传输走近风格,一点钟有希望的趋势次要集合在两个尊敬。一点钟是处置眼前在人脸算法中提到的成绩。,限制因素整定成绩、中风的趋势把持和的成绩,快和快的风格的朋友中枢。The description of these problems and their corresponding possible solutions 7 节。次货趋势是一点钟新的扩张方式(如转会o,一时的怪念头风格和特性风格转会转会,在因此趋势上做了必然的初步的得出所预测的最后成果。,拿 ... 来说,近亲 Yang et al. [47] 转会对课文的使发生(课文) Effects 转变)的得出所预测的最后。这些风趣的展开可能性会秋天走近的得出所预测的最后促使,继可以使被安排好新的相互关系王国。

致谢和适用于文件(略)

向心脏病患者朋友方式的文字:

扫一扫在手机打开当前页
责任编辑:admin
推荐内容

热词
回到 顶部