Что умеет компьютерное искусствоведение
1. Как устроено культурное и гендерное зрение?
Проект профессора Венского университета Рафаэля Розенберга занимается решением одной из центральных проблем классического искусствоведения — проблемы зрения и восприятия изображения — с использованием машинных возможностей. Специальный аппарат, поставленный между зрителем и художественным объектом, помогает проследить и зарегистрировать траекторию взгляда воспринимающего субъекта. Какие детали визуального нарратива интересуют зрителя в первую очередь? Что пытается отыскать взгляд случайного зрителя на картине? Каковы гендерные и культурные различия траектории взгляда? Все это машина регистрирует, и вот он, объективный след восприятия: если австрийца на полотне сотворения мира больше всего интересуют тела Адама и Евы, то японца — в первую очередь животные и птицы и потом уже венец творения. Или женщины с большим вниманием рассматривают половые признаки Евы, в то время как мужской взгляд блуждает, как будто эксплицируя фрейдистский страх женского тела.
Слабые стороны метода едва ли не перекрывают его, казалось бы, объективные и уникальные результаты. Траектории взгляда нескольких японцев и нескольких австрийцев едва ли статистически репрезентативны для создания адекватной картины различия западной и восточной рецепции. То же касается гендерных различий. И главный вопрос: так уж ли необходима машина, чтобы доказать, что зритель на переполненной персонажами картине не сразу находит упавшего в божественном экстазе Савла? Ведь именно для затруднения зрения Брейгель всю толпу и изобразил.
2. Проблема влияний
Исследователь Бабак Салей и его команда (Ратгерский университет, США) попытались компьютерными методами решить задачу установления меры влияния одного художественного текста на другой. 1710 картин 66 художников, начиная с эпохи Ренессанса, были классифицированы с помощью выделения семантических кластеров (частей изображения, имеющих семантическую нагрузку, — классем, включающих разной степени сложности объекты, от песка и воды до описания сложных состояний и движений) и их распределения по поверхности изображения. С помощью стандартных алгоритмов машинного обучения ученые проанализировали статистические распределения влияний, которым подвергся каждый художник из списка: на Микеланджело больше всего повлияли Рафаэль, Дюрер, Тициан, Мантенья и Леонардо, тогда как на Мунка — Сезанн, Пикассо, Дюрер, Брак и Мантенья.
Увы, это типичный случай нерелевантной для классического искусствоведения постановки проблемы. Вопрос «влияний» давно потерял актуальность для искусствоведческих исследований. В частности, его развенчал Майкл Баксандалл в своей книге «Узоры интенции»: ученый показал, что невозможно доказать, в какую сторону работает «влияние», кто тут активный субъект, а кто пассивный. Кроме того, полученные информатиками результаты с точки зрения истории искусства выглядят банальными общими местами — о взаимоотношениях Микеланджело, Рафаэля и Дюрера дисциплине давно известно, и математический расчет «меры» влияния спроецировать на гуманитарное исследование вряд ли удастся.
3. Мазок Ван Гога
Напротив, удачное — техническое, не решающее ложных гуманитарных задач — исследование представила рабочая группа ученых из разных университетов в мае 2007 года в музее Ван Гога. Исследователи обработали 101 электронную копию картин Ван Гога в высоком разрешении с целью сегментации мазка кисти художника и описания его особенностей. Мазки Ван Гога хорошо видны и невооруженным взглядом, что заранее гарантировало исследованию некоторый успех.
23 картины из общего числа, неоспоримо атрибутированные художнику, были использованы как тренировочная база для аналитического алгоритма. Исследователи выделили текстурные и геометрические особенности мазков на отдельных участках картин, которые были потом сопоставлены с оставшимися 78 изображениями. Результаты оказались довольно скромными: удалось установить, что 4 картины из корпуса — подделки, при этом 2 другие известные фальшивки из того же корпуса правильно идентифицировать не удалось. Тем не менее компьютерный анализ мазка представляется довольно перспективным направлением — он решает техническую задачу атрибуции на неподвластном глазу уровне, а не пытается заменить гуманитария в тех вопросах, где искусствоведческие методы и так успешно справляются.
4. Цифровая реставрация и реконструкция оригинала
Еще одно удачное применение технических возможностей информатики во благо искусствоведения — цифровая реставрация старых поврежденных полотен и реконструкция испорченных или измененных оригиналов. Цифровая реставрация позволяет создать копию без кракелюра, царапин и утраченных кусков пигмента, вернуть полотну его изначальные цвета, восстановить контуры изображения на утерянных в войну фресках (метод был применен ко фрескам Мантеньи в церкви Эремитани, Падуя). Тот же метод позволяет зрительно «удалить» позднейшие дорисовки на картине, часто изменяющие ее до неузнаваемости и полностью искажающие ее изначальный сюжет, как, например, на картине Тициана «Наказание Марсия», которую позднейшие реставраторы дополнили дубликатом бога Аполлона, не распознав его в полуобнаженной фигуре, сдирающей кожу с подвешенного Марсия.
Методы реставрации и реконструкции обладают уникальной ценностью для искусствоведов, которым предоставляется возможность изучения изображения в его оригинальном виде. Классическая реставрация не всегда может удалить позднейшие дорисовки, это часто грозит разрушением цветового слоя на полотне и в любом случае не позволяет восстановить оригинал.
5. Обработка дигитальных архивов
Наконец, последняя в нашем списке компьютерная разработка — last but not least — позволяет ощутимо улучшать качество электронных архивов изображений. Электронные архивы незаменимы в работе искусствоведа: объехать все музеи мира не всегда возможно, да и при интерпретации и демонстрации приходится в любом случае пользоваться копиями.
Исследователь Джон Резиг применил алгоритм автоматического распознавания сходных изображений, разработанный компанией TinEye, для исследования цифрового архива Коллекции Фрика в Нью-Йорке. Алгоритм находил в цифровом собрании одинаковые фотографии изображений, сделанные в условиях разного освещения, фрагменты изображений, принадлежность которых не была выявлена, и разные варианты одной и той же картины. 65% сходств, обнаруженных методом Резига, были до сих пор не распознаны ручными усилиями.
Исследование позволило упорядочить дигитальный архив, исправить неточные названия работ, связать фрагменты с полным вариантом, поставить рядом одну и ту же картину до реставрации и после. Метод применим только к плоскостным изображениям, он не умеет опознавать объемные. Из перечисленных работа Резига представляется наиболее необходимой дисциплине. Искусствоведение уже напрямую зависит от результатов дигитального поиска, и упорядоченные архивы тут надежный залог успеха.
P. S. Отношение методов классического искусствоведения к машинному анализу изображений примерно описывается парадоксом Моравека: машину легче всего научить задачам, которые человеческому мозгу кажутся сверхсложными, но добиться от нее восприятия мира даже глазами четырехлетнего ребенка пока остается делом далекого будущего. Достижения computer vision с точки зрения гуманитарной до сих пор остаются малоубедительными. Неприятие машинного анализа в лучшем случае мотивируется методологическим разрывом и отрицанием продуктивности когнитивистики, а в худшем — страхом потерять профессию под натиском тотальной дигитализации. Оба случая обнажают основные горизонты сотрудничества двух дисциплин: с одной стороны, машинный анализ способен добиваться результатов там, где гуманитарные методы дают сбои или вовсе неприменимы, и наоборот, там, где машины пока выдают малоубедительные результаты, гуманитарные способы на высоте. С другой стороны, страх искусствоведа быть замещенным компьютером непосредственно следует из невладения даже базовым пониманием машинных возможностей, что верно и в обратную сторону: многие информатики добиваются неубедительных для истории искусства результатов вследствие невладения методами гуманитарными и банально неправильной постановки задачи исследования.
