神经风格转换Neural Style Transfer a review - 朱群喜_QQ囍

admin 2018-02-13 19:40 来源: 网络整理打印

原文:

作者:Yongcheng 荆 等

编制机的要点

风格转换是近亲的独身看重热点在人工场的我,机具的强心剂也报道了很多中间定位的看重。不日,源自浙江综合性大学和亚利桑那州部落综合性大学的少量地看重 arXiv 上发行了一篇「促进风格距离(Neural Style 转变)的论文画轮廓,对出席的促进异国分布方式转学技术看重、的敷用及在的成绩停止了片面的总结。在PA钟爱的满足编制为机具的强心剂,请会谈原始贴纸:。更,为此外扩充读编号,机具的强心剂还总结了风格距离的中间定位文字。

摘要

Gatys 以及以此类推人。近亲的看重象征,对折交叠促进异国分布(美国有线电视新闻网)的俘虏:经过断裂和重组的满足和表达风格,CNN 你可以发明艺术文章的魅力。。运用 CNN 将一张图片的义素满足与不相同风格汞齐化起来的追逐高地促进风格距离(Neural Style 转变)。从那时起,在学术看重和产业敷用,促进典型距离曾经适合独身罕其中的一部分辣的的作文,不只招引了越来越多的关怀到计算者视觉的看重,看重人员还提名了几种方式来放针或扩充 Gatys et al. 提名的促进算法。不外,这支持的独身片面的复查、缺乏确实的文档也要。本文综述了最近几年中看重进展促进异国分布式的外姓,并议论了该技术的敷用及在成绩有待处置,这也未视域重的举止。。

图 1:运用了 Gatys 的风格转换算法等的样本。,中国1971的图样风格(B)转变到万里长城的一张相片(一)。粮食的黄巩望风格的文章是图。

1 小引

本文等等的人或物钟爱的的逻辑安排列举如下。第 2 在现存的的促进风格的距离钟爱的类别方式,这些方式停止了片刻阐明。。第 3、4 这一节引见了少量地改善的方式和涂。文字第 5 在结束输出发生的评价方式。第 6 节议论了这些促进风格距离方式的商品化敷用。最终的,第 7 总结了出席的刊登于头版的应战和能的处置方案。第 8 总结了全文,敲击少量地许诺的看重举止。

本文所关涉和有重大意义的的信号、请去前耕作模仿:https://github.com/ ycjing/Neural-Style-Transfer-Papers

2 对促进风格距离方式的一分成二

在这一钟爱的,家属提名了一种类别方式。眼前的独身促进线风格转换方式:本迭代促进图像的描述方法方式(描述方法性) Neural Methods Based On Image 迭代)本迭代法制作的促进异国分布铸模(Generative Neural Methods Based On Model 迭代)。直线迭代代替图像像素实现预期的终结IMA高音部法,以第二位方式率先将制作的迭代使最优化铸模,过后经过独身单一的直传时代风格抽象。

一种本图像迭代描述方法促进异国分布方式(描述方法 Neural Methods Based On Image 迭代)

用于转学相片风格高音部促进的方式是描述方法性的NE。这种方式从随机噪声,反向繁衍算法经过迭代代替(未知)风格的图像。图像的迭代的目的是最低的总耽搁,这种风格的图像婚配满足的图像满足。

其打中线索是促进风格转换风格表征(代表 of 风格),这是独身命名义的风俗耽搁作用。。耽搁作用的风格相婚配的使最优化图像的技术的风格。着陆耽搁作用的不相同风格,家属可以此外将这一方式分为本最大典型的值差(MMD)的方式本马可夫随机场(MRF)的方式。简便的起见,家属呼吁 MMD 本 MRF 的方式。

.1 本 MMD 描述方法的促进异国分布方式

MMD 是独身罕其中的一部分深受欢迎的两个评价基准的散布不符合,希耳伯特房间的特征数的根底[ 20 ]。近亲,Li 以及以此类推人的看重象征风格距离能被乐趣独身从满足图像到风格图像的散布流露追逐 [30]。乃,MMD 可以用来攀登不相同的风格。本 MMD 描述方法的促进异国分布方式是指运用带有不相同核作用的 MMD 作为风格耽搁的促进使最优化方式。

.2 本 MRF 描述方法的促进异国分布方式

MRF 是一种圣典的帧图像分解。假定褊狭的图像块表现了一张图像打中最中间定位人口财产调查依存性。描述方法的方式是本二促进 MRF 为根底的,同时也要鉴于褊狭的促进程度的转变。,风格的褊狭的图像块婚配。

本迭代法制作的促进异国分布铸模

憎恨描述方法性促进方式能制作出色的风格化图像,但仍有限制。在内侧地独身是分娩力成绩。以第二位类,亦即本迭代法制作的促进异国分布铸模(在非常论包装,也高地快速地的促进典型转学超速和计算本钱),但在该铸模的柔韧性为赏金。线索思惟执意在每个瞄准倘若风格图像的大规模的图像履历集上提早锻炼独身前馈异国分布。梯度垂下法的运用,经过迭代代替铸模使最优化异国分布铸模。

3 出席的方式的巨大多种经营。

少量地看重曾经提名了促进异国分布算法的IM风格转换。改善后的版本保存现存的的算法安排和追逐,可是独身小小的多种经营,在耽搁作用来吸引却更的机能。

图 2:促进把持风格的笔刷规模的距离可以发生不相同的风格。梵高的风格 Starry Night》

衍生促进的描述方法方式

制作的促进方式的起源

4 倘若图像典型的涂

促进风格转换方式对动态图像的处置。他们能不快用于以此类推典型的图像(如涂鸦、图片和影像的)。眼前已有很多看重正触球将最上进的促进风格距离算法敷用到这些特殊典型的图像,或让命名的目的在图像风格。

涂鸦风格转换打中促进。Champandard 少量地风趣的看重应验 [ 7 ](如 .2 钟爱的)。要不是义素映照到促进风格转换算法,家属也可以经过这种方式在图像中输出地位较高的正文来把简略的草图转换为晴朗的的图样。

促进的风格转换头。憎恨 Gatys 该算法可以等普通的图像风格,但它不快用于头部的风格。。鉴于房间约束不强,直线敷用 Gatys 这种方式可使头部词的变形。这种典型的风格转换是不成接到的。Selim 以及以此类推人 [41] 在看重处置这人成绩,他们曾经扩充了 Gatys 该算法等。。他们用独身增益(增益图 身负重担的人的观点)来约束房间,乃,认为脸部轮廓可以保存而风格距离。。

命名情人的促进典型转换。Castillo 以及以此类推人 [5] 命名的目的风格转换算法。该算法是在独身单一的情人详细抽象的工艺学风格。家属的胚胎是运用最上进的义素结束算法分,过后汁风格距离后的情人与非风格化底色兼并。

影像的促进风格距离。Ruder 以及以此类推人 [40] 拓展了 Gatys 以及以此类推人的看重,对影像的图像序列处置算法前运用促进风格,本文是在影像的中提到的促进典型转换。目的图片风格,Ruder 该算法等。引入工夫耽搁作用来让囫囵影像的都可以通用风格距离。在这人算法的要点思惟是工夫约束,保留时间运用,在惩办的轨迹的离去。Ruder 该算法等。已被使发誓可以能在大多数情况下驱逐人工标准,风格的影像的和分娩统称某人拥有赛马。另独身看重的举止 Anderson 以及以此类推人 [3] 提名,它可以用来设定初值距离里程方式,独身影像的浪漫史。

5 评价方式

促进风格转换,不在的东西 ground truth。促进传输是一种产业风格。不相同的人会有不相同甚至截然相反的姿势。乃,对促进风格距离算法所通用的视觉终结的评价依然静止摄影独身悬而未决的要紧成绩。

从家属的角度视域,在两种评价方式促进距离风格军事]野战的的CA,即:块的评价(块的 评价(定量)和定量评价 评价)。块的评价必要条件党评价不相同的终结,这一概观安心党(高地风格的认知看重 Perceptual Studies)」)。这一评价终结能是鉴于党的属性、不相同的事业)。但有一定程度的块的评价的不确块的,但这种方式可以粮食反正少量地促进的艺术风格。定量评价侧重于t。

在促进风格转换电流场,制作的促进异国分布方式曾经适合独身辣的作文,在内侧地超速是产业敷用所思索的次要成绩经过。但到眼前为止家属所觉悟的,先前的看重曾经运转的买到制作的最好的促进异国分布方式,他们的块的和定量的相比。。乃,在这一章中,家属的目的是相比 5 眼前最好的制作促进异国分布方式,和运用的 Gatys et al. 描述方法促进的方式作为适用于。

试验设置。普通,本试验敷用 10 风格与抽象 20 张图像。买到风格转换终结都是运用作者粮食的信号 [43, 23, 27, 19, 8] 通用的,但 [14] 是个非正式。朝一个方向的 [14],家属运用独身稍微修正(见第 3 章)流传的开放源信号 [22]。买到的限制因素编码,在家属的试验中运用的是默许的限制因素,但 [12, 9] 是个非正式。家属为 [12,9] 预锻炼的铸模由作者粮食的运用。买到制作的促进异国分布方式在家属的试验中,买到化验满足图像在锻炼追逐金中都缺乏被概观过。

块的评价

图 3:战利品的块的评价的少量地终结

表 1:供图 3 图像上的头等的的六岁算法的典型的方式(E [1, 6])

定量评价

表 2:在 256×256、512×512、1024×1024 三种像素标出尺寸对促进风格转换算法的相比:NVIDIA Quadro M6000)

6 敷用

由于促进风格转换的终结危言耸听的,它也引来了浓厚的产业的成敷用也开端。同时,也有少量地敷用本文看重的敷用 [4,25]。本条打中敷用停止了总结,并提名了少量地潜在的敷用。。

交际

附带用户到达器

的分娩器,文娱业打中敷用

7 成绩及能的处置措施

在外姓军事]野战的的先进危言耸听的的促进典型,它也被敷用于产业。但算法取慢着危言耸听的的终结,在这一军事]野战的仍在少量地应战和未处置的成绩。在此章节中,家属将在总结促进风格转换军事]野战的的成绩,并议论了有重大意义的的处置方案。

难以说服或影响的人

  • 限制因素核算的成绩

  • Control of stroke direction

  • 在快速地促进风格转换和快的成绩

图 4:带有画笔规模把持描述方法的促进异国分布方式的高分辨能力终结,缺乏对高R促进画笔规模把持的制作方式。

能的处置方案

限制因素核算成绩的一种处置方式。在不假思索的核算限制因素的看重在达到,家属议论的处置方案描述方法促进的方式和制作方式。描述方法的促进异国分布方式,独身能的处置方案是依照 Risser 方式等。,此外用联合收割机收割少量地非梯度数据,譬如,耽搁和耽搁人口财产调查数字在。另独身举止是从不假思索的使最优化促进战略的运用,Domhan 以及以此类推人的看重 [11],Luo 的看重 [32])。

在制作的促进异国分布方式,独身胚胎是看重不喜欢一种新的方式,不相同的风格啊 [9]),同时,也要担保高块的终结。(也执意,溃超速、柔韧性和块暗中的尺寸)。过后,工艺学限制因素不特殊从容进行,和限制因素的核算是可以接到的用户。更,眼前不假思索的限制因素使最优化战略打中少量地方式在制作的促进异国分布方式打中不假思索的限制因素核算也会有帮忙。

对Control of stroke direction的能处置方案。眼前促进风格距离算法缺乏思索把持。相反,非真实感绘制技术(NPR):Non-photorealistic 浪漫史)域,对中风的举止把持良好的看重 [39]。家属置信 NPR 在该军事]野战的的少量地思绪可供适用于的处置地成绩。譬如,Zhang 在哪里和若何用户详述的笔画举止的必要条件 [49],由于不相同的用户有不相同的想像。促进典型转换算法的适用于,必要条件用户选择提早招全球举止。更,促进距离算法与风格的用联合收割机收割 NPR 训练中风场的举止战略(譬如,[50] 带菌者场方式)是另独身潜在的处置成绩的措施。

Nerve style "fast" and "migration" faster solution to the problem。看重的线索成绩是扣球超速。、柔韧性、三块暗中的尺寸。独身能的处置方案是依照 Chen 和 Schmidt 的看重 [9]。他们的算法是眼前最无效的算法,但表达块不高。。图像块放针距离发生的风格是BRE、柔韧性、这三重的块的潜在举止。有少量地中间定位的任务,譬如 [51]。

促进风格转换算法的快和画笔规模FA把持,在前面提到的里程把持举止酷似的胚胎。在 NPR 军事]野战的,有浓厚的的里程规模把持的看重。假使你想复查,家属推荐信 [39] 高音部章 1。

8 裁定和达到任务

在过来的三年,促进典型距离到可持续增长的看重茂盛的开展的军事]野战的。越来越多的看重参战军事]野战的是由SC。但在促进典型转变军事]野战的,看重人员还看重了相当编号的。表格打中这一军事]野战的的次要看重进展 3。总体就,本文粮食了异国的看重,现存的的看重概述,出席的类别重叠的方式、他们的改善和涂、评价方式及在的应战和有重大意义的的能。更,家属还概述了促进典型距离的三个敷用军事]野战的。,包罗社会、附带用户到达器和用于文娱敷用的销售器。

表 3:总结促进风格距离的看重进展

促进典型转换的达到,独身许诺的举止次要集合在两个支持。一是处置在脸上提到出席的算法的成绩,限制因素整定成绩、Control of stroke direction和在快速地促进风格转换和快的成绩。瞄准这些成绩,本包装所描述方法的处置方案能 7 节。以第二位举止是独身新的扩张方式(如距离o,趋向风格和禀性风格)的距离和距离,在这人举止上曾经取慢着少量地初步的看重终结,譬如,近亲 Yang et al. [47] 外姓对原文(原文发生 Effects 转变)的看重。这些风趣的涂能适合未视域重倾向的科目,过后它会到达新的中间定位军事]野战的。

致谢和适用于文档(略)

在机具的强心剂意向的文字风格:

扫一扫在手机打开当前页
责任编辑:admin
推荐内容

热词
回到 顶部