神经风格转换Neural Style Transfer a review - 朱群喜_QQ囍

admin 2018-02-13 19:40 来源: 网络整理打印

原文:

作者:Yongcheng 荆 等

的编制机的心脏的

风格偏移是在仿智范畴的东西辣的题目,近,机具的心脏的也报道了很多相干的研讨。不久以前,源自浙江综合的性大学和亚利桑那州状况综合的性大学的稍许的研讨 arXiv 释放了东西鼓起勇气风格转换(鼓起勇气 Style 让概述。,对涌流鼓起勇气网方式转会技术研讨、的申请及在的成绩举行了片面的总结。在PA零件实质编制为机具的心脏的,请面试原始贴纸。:。以及,为进一步地给予景象量,机具的心脏的还总结了风格蒙混的相干文字。

摘要

Gatys 以及其余的人。新近的研讨标示,可折叠的鼓起勇气网(美国有线电视新闻网)的犯人:经过对图像实质和风格重行结成的交托,CNN 你可以制造艺术运转的魅力。运用 CNN 将一张图片的词义学实质与差别风格引信起来的追逐高位鼓起勇气风格蒙混(Neural Style 转变)。此后,在学术研讨和产业申请,鼓起勇气典型蒙混先前适宜东西十足的辣的的主旋律,它不仅是计算者视觉研讨者越来越关怀,研讨人员还计划了几种方式来举起或给予 Gatys et al. 计划的鼓起勇气算法。不外,在这接,综合的解说词、缺少确实的检定也要。本文综述了晚近鼓起勇气网研讨的使前进。,并议论了该技术的申请及在成绩有待处置,这同一未来的的研讨方位。

图 1:运用了 Gatys 的风格转换算法等的诉讼手续。,中国1971的着色风格(B)转变到中国长城计算机集团公司的一张相片(一)。触球的黄巩望风格的运转是图。

1 小引

依照本文剩下的零件的逻辑排列。。第 2 在持续存在的鼓起勇气风格的蒙混零件搭配方式,对这些方式的清楚的解说。第 3、4 这一节引见了稍许的改善的方式和给予。文字第 5 在使成粉末输出胜利的评价方式。第 6 节议论了这些鼓起勇气风格蒙混方式的有生产力的申请。决赛,第 7 总结了涌流脸的应战和能的处置方案。第 8 该零件总结全文,掷骰稍许的有希望的研讨二。

本文所关涉和响应的密码、请去前交朋友模仿:https://github.com/ ycjing/Neural-Style-Transfer-Papers

2 对鼓起勇气风格蒙混方式的二分

在这一零件,我们家计划了一种搭配方式。眼前的东西鼓起勇气线风格转换方式:鉴于迭代的鼓起勇气图像的形容方式(形容 Neural Methods Based On Image 迭代)鉴于迭代法开端的鼓起勇气网制作模型(Generative Neural Methods Based On Model 迭代)。领导迭代替换图像像素意识到IMA最前面的法,另外的方式率先将开端的迭代最优化制作模型,而且到达东西风格上的效仿的抽象,经过东西单一的促进走过。

鉴于迭代鼓起勇气图像的形容方式(形容性) Neural Methods Based On Image 迭代)

将相片风格鼓起勇气的方式一是形容鼓起勇气。该方式将从随机噪声开端。,经过反向展开迭代替换(还没有知晓的)风格化图像。The image iteration aims to minimize total losses,这种风格的图像,也可以对图像和教学实质的一零件。

对鼓起勇气的风格去世的玉蜀黍发育不良的穗经过是风格重现 of 风格),东西保护区义模仿消融行使职责。消融行使职责的风格相婚配的最优化图像的漂亮的的风格。次要成分消融行使职责的差别风格,我们家可以进一步地将这一方式分为鉴于最大平均分配数差(MMD)的方式鉴于无后效过程的随机场(MRF)的方式。附近的起见,我们家呼吁 MMD 鉴于 MRF 的方式。

.1 鉴于 MMD 形容的鼓起勇气网方式

MMD 是东西十足的深受欢迎的两个评价基准的散布辨别,鉴于希耳伯特空的空间或地点特点的意义,[ 20 ]。新近,Li 以及其余的人的研讨标示风格蒙混能被认为东西从实质图像到风格图像的散布校直追逐 [30]。如此,MMD 可以用来使负担或压迫差别的风格。鉴于 MMD 形容的鼓起勇气网方式是指运用带有差别核行使职责的 MMD 作为风格消融的鼓起勇气最优化方式。

.2 鉴于 MRF 形容的鼓起勇气网方式

MRF 是一种第一流的的帧图像分解。即使局部的图像块克制最相干的总数图像。形容的方式是鉴于二鼓起勇气 MRF 为根底的,同时开场白鼓起勇气去世的分离风格,譬如,局部的图像块婚配的风格。

鉴于迭代法开端的鼓起勇气网制作模型

侮辱形容的鼓起勇气网方式可以发生极佳的风格上的效仿的图像,但仍有起限度局限作用的规则。流传的东西是生产力成绩。另外的类,亦即鉴于迭代法开端的鼓起勇气网制作模型(在相当论用纸覆盖,也称为快型鼓起勇气去世击毁和计算本钱。,但在该制作模型的机动性为花费的钱。玉蜀黍发育不良的穗思惟执意在每个计数器倘若风格图像的玩个痛快图像材料集上提早锻炼东西前馈网。运用梯度瀑布,经过迭代替换制作模型最优化网制作模型。

3 涌流方式的巨大交换。

稍许的研讨先前计划了鼓起勇气网算法的IM风格转换。改善后的版本保存持续存在的算法排列和追逐,但稍许的时装领域了消融行使职责来实现预期的末后却更的功能。

图 2:把持鼓起勇气风格蒙混说话中肯画笔上涂料可以开端差别风格的末后。梵高的风格 Starry Night》

衍生鼓起勇气的形容方式

开端的鼓起勇气引起的方式

4 图像说话中肯倘若典型的给予

在定态图像上处置鼓起勇气典型转换方式。。他们能不快用于其余的典型的图像(如涂鸦、图片和视频的)。眼前已有很多研讨正触球将最上进的鼓起勇气风格蒙混算法申请到这些特殊典型的图像,或让布置的目的在图像风格。

在涂鸦风格去世的鼓起勇气。Champandard 稍许的风趣的研讨结束 [ 7 ](如 .2 零件)。除非词义学映照到鼓起勇气风格转换算法,民间音乐也可以经过这种方式在图像中输出毕业班学生正文来把简略的草图转换为健康的的影片。

鼓起勇气的风格转换头。尽管不愿意 Gatys 该算法可以等普通的图像风格,但它不快合头风格转换。鉴于空的空间或地点的限度局限不强,领导申请 Gatys 这种方式可以使头部使变质。。这种典型的风格转换是不行接收的。Selim 以及其余的人 [41] 在研讨处置即将到来的成绩,他们给予 Gatys 该算法等。。他们用增益(增益图 图)约束空的空间或地点的动机,如此,计算在内脸部轮廓可以保存而风格蒙混。。

布置情郎鼓起勇气典型转换。Castillo 以及其余的人 [5] 布置的目的风格转换算法。该算法是在东西单一的情郎详细抽象的工艺品风格。即将到来的想是运用最上进的ST词义学使成粉末算法,而且蒸馏风格蒙混后的情郎与非风格化上下文兼并。

视频的鼓起勇气风格蒙混。Ruder 以及其余的人 [40] 拓展了 Gatys 以及其余的人的研讨,对视频的图像序列处置算法前运用鼓起勇气风格,在这篇文字中,有东西翻阅鼓起勇气视频的风格蒙混。预先布置的目的风格的图片,Ruder 该算法等。引入工夫消融行使职责来让绝对的视频的都可以记录风格蒙混。在即将到来的算法的玉蜀黍发育不良的穗思惟是工夫约束,偏要运用,在惩办的轨迹的东西距离。Ruder 该算法等。已被检定可以能在大多数情况下移居人工记分,视频的的风格和发生平静的。另东西研讨的方位 Anderson 以及其余的人 [3] 计划,它可以用来设定初值蒙混流模仿。,东西视频的夸大。

5 评价方式

鼓起勇气风格转换,不在的东西 ground truth。鼓起勇气式的蒙混是一种文艺。差别的人会有差别甚至截然相反的判定。如此,对鼓起勇气风格蒙混算法所记录的视觉末后的评价依然平静东西悬而未决的要紧成绩。

从我们家的角度自己去看,在两种评价方式鼓起勇气蒙混风格范畴的CA,即:定质的评价(定质的 评价(定量)和定量评价 评价)。定质的评价命令参加的评价差别的末后,这一说休息参加的(高位风格的认知研讨 Perceptual Studies)」)。这一评价末后能是鉴于参加的的属性、差别的事业)。在定质的评价侮辱有必然程度的不确定质的的M,但这种方式可以触球至多稍许的鼓起勇气的艺术风格。而定量评价则侧重于在算法上的清晰的评价瞄准(譬如工夫复杂的事物)。

在鼓起勇气风格转换电流场,开端的鼓起勇气网方式先前适宜东西辣的题目,流传的击毁是产业申请所思索的次要成绩经过。但到眼前为止我们家所晓得的,在前方还缺少研讨在同一的试验设置下运转过尽量的涌流最佳效果的开端式鼓起勇气方式,在定质的和定量的求出比值剖析。如此,在这一章中,我们家的目的是匹敌 5 眼前最好的开端鼓起勇气网方式,并运用它 Gatys et al. 东西形容性的鼓起勇气的方式作为翻阅。

试验设置。总体而来,本试验申请 10 张的风格和抽象 20 张的抽象。尽量的风格转换末后都是运用作者触球的密码 [43, 23, 27, 19, 8] 记录的,但 [14] 是个无规律。因 [14],我们家运用东西稍微修正(见第 3 章)流传的开放源密码 [22]。我们家试验中运用的尽量的限制因素都是默许的限制因素。,但 [12, 9] 是个无规律。我们家为 [12,9] 预锻炼的制作模型由作者触球的运用。尽量的开端的鼓起勇气网方式在我们家的试验中,尽量的受试验实质图像在锻炼追逐金中都缺少被说过。

定质的评价

图 3:对战利品举行定质的评价的稍许的末后

表 1:对东西图 3 图像上的高级的的六点算法的平均分配方式(E [1, 6])

定量评价

表 2:在 256×256、512×512、1024×1024 三种像素广大对鼓起勇气风格转换算法的匹敌:NVIDIA Quadro M6000)

6 申请

因鼓起勇气风格转换的末后无稽,如此也制造了很多成的勤劳申请,也求。同时,也有稍许的申请本文研讨的申请 [4,25]。本条说话中肯申请举行了总结,并计划了稍许的潜在的使用权。

交际

附带用户到达器

一种文娱申请,生产器

7 在成绩及处置方式

在外姓范畴的先进无稽的鼓起勇气典型,它已被申请于产业。侮辱算法取等等无稽的末后,在这一范畴仍在稍许的应战和未处置的成绩。在此章节中,总结鼓起勇气系统移民范畴在的成绩。,并议论了响应的处置方案。

难以说服或影响的人

  • 限制因素调解的成绩

  • 笔画方位把持

  • 在迅速的鼓起勇气风格转换和快的成绩

图 4:带有画笔上涂料把持形容的鼓起勇气网方式的高分辨度末后,和高分辨度的末后开端的鼓起勇气网方式缺少。

能的处置方案

解的限制因素调解成绩。在不自觉动作调解限制因素的研讨在未来的,我们家议论的处置方案形容鼓起勇气的方式和开端方式。形容的鼓起勇气网方式,东西能的处置方案是依照 Risser 方式等。,进一步地结合的稍许的非梯度人,譬如,消融和消融总数的排序。另东西方位是从不自觉动作最优化激发战略的运用,Domhan 以及其余的人的研讨 [11],Luo 的研讨 [32])。

在开端的鼓起勇气网方式,东西想是研讨新的方式,用不着独立锻炼模仿 [9]),同时,对末后的高才能应记录抵押权。。(也执意,间断击毁、机动性和才能经过的均衡)。而且,工艺品限制因素不特殊从容进行,用户也可以接收限制因素调解。。以及,眼前不自觉动作限制因素最优化战略说话中肯稍许的方式在开端的鼓起勇气网方式说话中肯不自觉动作限制因素调解也会有帮忙。

对笔画方位把持的能处置方案。鼓起勇气风格转换算法眼前不思索T的把持。相反,非真实感绘制技术(NPR):Non-photorealistic 夸大范畴),笔画方位的把持记录了晴天的研讨 [39]。我们家信任 NPR 在现场的稍许的想可以用来处置鼓起勇气麦粒肿的成绩。譬如,Zhang 在哪里和方式用户直言的笔画方位的命令 [49],因差别的用户有差别的像。对鼓起勇气风格转换算法比得上的翻阅,命令用户选择提早招全球方位。以及,鼓起勇气蒙混算法与风格的结合的 NPR 领导中风场的方位战略(譬如,[50] 矢量场方式)是另东西潜在的处置成绩的方式。

鼓起勇气式的快和蒙混更快的处置成绩的方式。研讨的次要成绩是间断击毁、机动性、才能的三个办法。东西能的处置方案是依照 Chen 和 Schmidt 的研讨 [9]。他们的算法是眼前最无效的算法,但活人画才能不高。。图像才能举起蒙混发生的风格是BRE、机动性、这有三部分的才能的潜在方位。有稍许的相干的任务。,譬如 [51]。

鼓起勇气风格转换算法的快和画笔上涂料FA把持,在前面提到的里程把持方位接近的想。在 NPR 范畴,有宽宏大量的的里程上涂料把持的研讨。即使你想评论,我们家引荐 [39] 最前面的章 1。

8 定论和未来的任务

在过来的三年,鼓起勇气典型蒙混到可持续增长的研讨花样开展的范畴。在这一范畴越来越多的使忧虑是由学科的应战。在鼓起勇气典型蒙混接,研讨人员还研讨了相当数目的。表格说话中肯这一范畴的次要研讨使前进 3。总体就,本文触球了普遍的研讨,持续存在的研讨概述,营养体生长涌流方式的搭配、他们的改善和给予、评价方式及在的应战和响应的能。以及,我们家也勾画出鼓起勇气风格蒙混三申请范畴,包含社会、附带用户到达器和用于文娱申请的创作器。

表 3:在鼓起勇气蒙混方式总结研讨使前进

鼓起勇气去世未来的风格,东西有希望的方位次要集合在两个接。一是处置涌流脸的成绩提到必然的算法,限制因素整定成绩、笔画方位把持和在迅速的鼓起勇气风格转换和快的成绩。计数器这些成绩,本用纸覆盖所形容的处置方案能 7 节。另外的方位是东西新的扩张方式(如蒙混o,流行的风格和特性风格)的蒙混和蒙混,在即将到来的方位上先前取等等稍许的初步的研讨末后,譬如,新近 Yang et al. [47] 外姓对发短信(发短信胜利 Effects 转变)的研讨。这些风趣的给予能适宜未来的研讨倾向的动机的。,而且可以到达新的相干范畴。

致谢和翻阅检定(略)

的风格转换机的心脏的:

扫一扫在手机打开当前页
责任编辑:admin
推荐内容

热词
回到 顶部