近年来，越来越多的研究人员尝试开发机器学习技术（例如CNN）来分析艺术品。到目前为止，这些工具主要用于识别创作特定艺术品的艺术家或确定绘画是真实的还是伪造的。
荷兰TU Delft的研究人员最近开发了一种基于卷积神经网络（CNN）的模型，用于重建随着时间而恶化的图纸。在发表于Springer的《机器视觉与应用》中的研究中，他们专门使用该模型重建了Vincent Van Gogh的一些绘图，这些绘图由于墨水褪色和变色而多年来被破坏。
进行这项研究的研究者之一扬·范德·卢贝（Jan van der Lubbe）告诉作者：“荷兰在艺术方面享有国际声誉，其中包括伦勃朗，蒙德里安和梵高等著名艺术家。” “因此，艺术史研究和如何保护文化遗产的研究在荷兰起着重要作用。”
图片提供：Zeng，van der Lubbe和Loog
与先前的研究形成对比，范德鲁贝（Van der Lubbe）和他的同事着手研究如何使用机器学习技术对劣化的绘画进行像素化重构。在艺术保存方面，绘画和素描的恶化是一个关键挑战，因此可以自动重建残缺或残缺艺术品的工具将大大简化艺术史学家的工作。
代尔夫特理工大学的研究人员团队对后印象派画家梵高（Van Gogh）的作品进行了基于CNN的模型的退化画质复制品培训。实际上，在过去的一个世纪中，梵高的一些水墨画已经大大恶化，艺术史学家经常尝试复制它们。
这些图形目前无法显示，并且在几十年后它们可能会完全退化。考虑到这一点，范德鲁贝（Van der Lubbe）和他的同事们希望开发一种模型，该模型可以自动重建这些珍贵的艺术品，以保护它们并使公众可以使用。
图片提供：Zeng，van der Lubbe和Loog。
“我们研究的主要目标之一是通过机器学习方法来预测艺术品在纸上的原始，过去和将来的外观，这些方法结合了对所用颜色及其随时间变色的深入研究结果，范德鲁贝说。“这可能有助于设想例如梵高的一幅画在创作时的样子。”
van der Lubbe和他的同事设计的方法将多分辨率图像分析技术和深层CNN结合在一起，以像素为单位预测图形的过去外观。CNN是受生物神经网络（例如人脑中的神经网络）启发的算法，可以通过分析大量数据来训练它们完成特定任务。
van der Lubbe说：“据我们所知，关于使用机器学习方法进行艺术品的数字重建的研究很少或很少。” “这是推动我们的研究和使用机器学习来重建艺术品的关键思想。从早期的研究中，我们考虑了不同的机器学习算法，卷积神经网络（CNN）方法似乎最有前途。”
在他们的研究中，研究人员专门培训了CNN，以数字方式重建纸上褪色的梵高图纸。该算法在一个数据集上进行了训练，该数据集包含上个世纪在不同时间制作的质量不同的原始图纸的复制品。
范德鲁贝说：“我们在研究中使用的例子是凡高作品的复制品，其内容和颜色的褪色程度不那么严重，因此它们更接近凡高制作的原始作品。” “我们从梵高博物馆收藏中获得了原始图纸和复制品。”
范德·卢贝（van der Lubbe）和他的同事们提出的方法除了揭示过去的绘画外观之外，还可以帮助艺术史学家确定适当的艺术品保存和修复策略，以及艺术品保存和展示的有效做法。
图片提供：Zeng，van der Lubbe和Loog
研究人员通过一系列实验评估了他们的模型，发现该模型取得了显著成果。他们的发现强调了使用机器学习对退化的图像，文档和艺术品进行预测性重建的可行性。尽管研究人员专门使用他们的模型来重建梵高的绘画，但也可以将其应用于其他恶化的纸上艺术品或19世纪手稿。
van der Lubbe说：“与迄今为止使用其他方法所获得的结果相比，对梵高工程图进行数字重建所获得的结果更好。” “当然，梵高只是一个试验或一个例子。我们的技术也可以从梵高的图纸扩展到其他艺术家，绘画和旧文件的图纸。”
将来，范德·卢贝（van der Lubbe）和他的同事开发的工具可以帮助艺术史学家对艺术品进行逼真的重建，否则这些艺术品可能会完全退化。在他们最近的研究中，研究人员一次只专注于一幅画，在有限数量的复制品上训练了他们的CNN。但是，该模型还可以用于基于大量复制品来预测原始图纸的外观。
另外，该技术当前通过分析视觉信息而起作用。在他们的下一个研究中，研究人员希望调查分析视觉和化学相关信息（例如，墨水的成分及其降解率）是否可以增强模型的性能。
van der Lubbe说：“在目前的研究中，我们绘制的今日图纸质量有所下降。” “我们认为重建原始图形也将是一个巨大的挑战，特别是在原始图形不可用或已消失的情况下，因此我们只能复制过去的图形。”
