«Мир катится в трубу – это очевидно» – в целом этой фразой сейчас можно прокомментировать многие вещи. Впрочем, продюсер FILM.UA Елена Малкова в нашей беседе применила ее в совершенно конкретном контексте: комментируя потенциальные изменения, которые сверхбыстрое развитие и общая доступность нейросетей, в частности ChatGPT, повлекли за собой, грозя установившемуся порядку вещей в аудиовизуальной индустрии. Елена знает, о чем говорит, ведь для нее и младшего продюсера из ее команды Юлии Мордас применение ChatGPT в профессиональной деятельности уже несколько месяцев как не теория, а повседневная практика.
И из этого еще небольшого, но уже разнообразного опыта Елена делает следующий вывод: «Да, в индустрии некоторые профессии, к сожалению, будут просто исчезать. Но будут появляться другие. Поэтому все должно как-то выровняться». По мнению Малковой, сейчас индустрия еще просто не имеет ясного представления о том, как именно может применять нейросети в своей практической работе и зачем это нужно. Причем речь не только об украинской индустрии. «На встречах с зарубежными партнерами, рассказывая о наработках FILM.UA в работе с нейросетями, мы видим, что люди в основном не знают о возможностях этих технологий в контексте кино- и телевизионного производства. То есть в их головах пока нет логической цепочки, как это можно применять. А у нас уже есть, потому что мы постоянно это делаем и в собственных проектах, и по заказу».
Эта практика стала возможной благодаря FILM.UA Design – дизайн-студии инновационного типа, команда которой объединяет уникальные знания в области технологий искусственного интеллекта и экспертизу в сфере аудиовизуального контента. FILM.UA Design специализируется на создании титров, постеров, тизеров, трейлеров, моушен-дизайна, реконструкции лиц, дипфейках, используя для этого технологии Al, VR/AR, виртуальный продакшен, игровые движки, NeRF, 3D-сканирование и т. д.
Прочесть этот текст на английском можно по ссылке.
Арт-директором FILM.UA Design стал Евгений Санников, также руководящий Департаментом исследований и инноваций – подразделением FILM.UA Group. Он годами занимался практическими экспериментами с нейросетями – тогда, когда в публичном поле о ChatGPT еще никто не говорил.
Евгений, уже 20 лет работающий в дизайне, увлекающийся инновациями и имеющий в портфолио десятки ярко воплощенных креативных замыслов, – настоящий популяризатор идеи сочетания науки и творчества. «Проводя лекции для продюсеров FILM.UA о применении в их работе искусственного интеллекта, я с самого начала акцентировал: так, как раньше, уже не будет. Буквально через несколько лет фильмы не будут производиться так, как сейчас (разве что какое-то время по инерции). Следовательно, уже сейчас знать возможности технологий и уметь их применять – это для продюсеров конкурентное преимущество», – говорит Санников.
Сегодня FILM.UA Design предлагает свои услуги всем участникам рынка – и рынок активно их использует. Мы поговорили с Евгением Санниковым, Еленой Малковой и Юлией Мордас о том, как можно применять ИИ в кино- и телепроизводстве, и разложили эти возможности – как потенциальные, так и основанные на практических кейсах – по полочкам.
Сценарии: ресерч, написание и проверка
С тех пор как ChatGPT стал доступен пользователям из Украины, многие успели пообщаться с ним на разные темы – и самостоятельно проверили, насколько «человеческий» текст способна генерировать нейросеть. К тому же если вы тестировали ChatGPT не разово, а системно хотя бы месяц, то могли заметить, насколько быстро ИИ, общаясь с украинцами, совершенствует свой украинский.
Евгений Санников свои текстовые эксперименты с нейросетями начал не несколько месяцев, а несколько лет назад. Он экспериментировал с системой GPT-3, выложенной в открытый доступ компанией OpenAI: русскоязычной версией, поскольку украинская тогда просто отсутствовала. В те времена нейромодули еще не имели выхода в сеть и учились только на информации, специально загружаемой разработчиками. И «языковые уроки» для нейросети были недешевым удовольствием: по словам Евгения, тогда обучение GPT-3 определенному языку стоило около $400 тыс., то есть требовало привлечения финансирования от государства или крупного бизнеса. Но даже при развитом словарном запасе с логикой у нейросети были очевидны проблемы. Тогда ради эксперимента в нейронку загрузили синопсисы некоторых проектов FILM.UA, предложив их дописать, но тексты, которые она выдала в результате, невозможно было читать без слез от смеха. Впрочем, с тех пор многое изменилось.
«Евгений познакомил нас с сетью GPT где-то в декабре 2020 года, и так началось наше прекрасное путешествие по ней», – с улыбкой вспоминает продюсер Юлия Мордас. И вместе с коллегами рассказывает о разных практических вехах, уже пройденных в рамках этого путешествия. Так, новый инструмент позволяет плодотворно работать с идеями: корректно задав вводные, можно получить множество вариантов логического объединения нескольких сценарных линий или вполне рабочие направления развития полноценного проекта из концепции на два предложения. «Многие авторы уже используют ИИ, чтобы выйти из тупика: тот подбрасывает идеи, на основе которых они работают дальше», – объясняет Юлия. Чат может быть полезным, когда речь идет о разработке характеров и мотивации персонажей, а еще нейросеть можно использовать как своеобразную фокус-группу: «Были случаи, когда мы с помощью ChatGPT проверяли, какой из финалов выбрать для сериала в девелопменте. Загоняли в нейросеть историю и просили придумать окончание. И когда чат предлагал финал, почти идентичный нашему, мы думали: значит, так может быть», – добавляет Мордас. Продюсер также тестировала нейросеть в контексте нейминга: в этом случае, как и с финалами, ChatGPT «думал» почти так же, как живые люди.
Еще одна потенциальная область применения нейронки – диалоги. Конечно, о смысловом наполнении и стиле речь пока не идет, но ChatGPT по силам создать костяк диалога на основе заданной ситуации, который потом можно расписать на «человеческом» языке. «Меня поразило, что нейросеть по запросу пишет сразу со сценарной разметкой: где надо – использует капс, открывает сцену, закрывает сцену, правильно размечает диалоги», – комментирует Санников техническую сторону вопроса.
Написание сценария обычно требует много исследовательской работы – и здесь ChatGPT также может пригодиться, однако полностью полагаться на него не стоит. Елена Малкова подробно объясняет почему: «Возьмем как пример медицинские сериалы – они нуждаются в медицинских кейсах. Мы с редактором Мариной Журавской годами занимаемся такими проектами, и Марина уже стала специалистом по операциям, но этот ресёрч – какой диагноз, как что разрезать скальпелем и т. д. – занимает много сил и времени. И вот недавно мы поняли, что нейросеть может решить эту вечную проблему – расписывать медицинские кейсы! Причем очень быстро. Но есть нюанс: сеть может солгать, поэтому за ней необходимо все проверять. Впрочем, даже с проверкой это ускоряет и облегчает работу: дает нам «скелеты» для написания сценария».
Кроме того, нейросеть может составлять списки экспертов по определенной теме и обосновывать их релевантность. «Для проекта Risen From the Ashes мне был нужен список из десяти экспертов по разрушенным во Вторую мировую городам. Я дал эту задачу чату, попросив привести аргументацию – и он составил список, обосновав экспертность включенных в него людей. Потом я спросил, какие книги написали эти эксперты, и получил подробный список литературы. Впоследствии мы обсуждали это внутри команды и пришли к выводу, что за пару минут исследования нейросеть сделала то, над чем редактор работал бы минимум сутки. И сделала отлично. Такой функционал очень полезен документальным проектам», – говорит Санников.
Еще из полезного фукционала нейронки – умение расписывать логлайны к синопсисам, а в перспективе она может значительно облегчить работу по отбору сценариев и сценарных заявок.
Поскольку ChatGPT «полиглот», он способен помочь при исследовании специфики стран и рынков, языком которых вы не владеете. Конечно, можно самостоятельно погуглить и сделать перевод через Google Translate, но чат способен сделать это быстрее и качественнее. «Недавно у нас был запрос на адаптацию нескольких сериалов под новый рынок, другую культурную среду. И благодаря чату мы подтянули много информации, – рассказывает Мордас. – Важно, что до этого я самостоятельно ресерчила – на англоязычных, украиноязычных ресурсах. И полезной информации смогла найти гораздо меньше, чем отыскал чат, непосредственно работавший с языком страны, которую мы исследовали». Санников отмечает, что дополнительная «осведомленность» нейросети также объясняется ее работой с оцифрованными книгами – в частности, узкоспециализированными, – которые не выдаются при простом поиске.
Дипфейк-технология замены лиц актеров
Именно применение DeepfakeAI спровоцировало громкую дискуссию последних недель. Напомним: накануне премьеры канал СТБ показал трейлер снятого еще до 24 февраля 2022 года сериала «Останній лист коханого», где россиянина Прохора Дубравина заменили с помощью дипфейк-технологии украинским актером Дмитрием Саранским.
А затем – из-за бурной дискуссии в сети – вещатель отложил показ восьмисерийной мелодрамы: до «проведения дополнительных индустриальных консультаций для обсуждения и ратификации использования цифровых технологий в контенте, в частности учитывая лучший международный опыт».
И учитывать на самом деле есть что, поскольку дискуссии по этическим вопросам использования дипфейк-технологий в кино и сериалах продолжаются минимум седьмой год. Правда, если в Украине их спровоцировала замена одних актеров другими, то в мировом контексте первопричиной стала замена актеров ими же – только более молодыми или хотя бы просто… живыми. Можно сказать, что впервые об этике в этом контексте громко заговорили, когда в 2016 году вышел «Изгой-один. Звездные войны: Истории», в котором к роли Гранд-моффа Таркина «вернулся» актер Питер Кушинг, умерший в реальности чуть ли не за четверть столетия до того. Тогда же для соответствия хронологии событий вселенной «Звездных войн» в ленте «омолодили» Кэрри Фишер (принцессу Лею).
Питера Кушинга «оживили» благодаря наложению цифрового лица покойного актера на лицо Гая Генри, работавшего на съемках ленты
Но вернемся к нашему контексту. Хотя «Останній лист коханого» – первый пример подобных этических споров в Украине, он отнюдь не первый пример практического использования дипфейк-технологий в украинских сериалах. Эта работа началась задолго до полномасштабного вторжения – из-за так называемых черных списков российских актеров, с 2014 года поддерживавших агрессию россии, незаконно ездивших в оккупированный Крым и т. д. Первым кейсом стал сериал «Мотыльки» (2013), едва ли не единственный художественный украинский продукт о трагедии на ЧАЭС, показ которого долгое время был невозможен из-за вышеуказанных трудностей: в «черный список» попал один из задействованных актеров второго плана. И чтобы показать проект к годовщине Чернобыльской трагедии 26 апреля 2021 года, команда Евгения Санникова нашла следующее техническое решение: пригласили мужчину, чье лицо подходило по антропометрическим характеристикам. Полчаса в студии он провел перед камерой, наговаривая – даже не сценарный – текст и демонстрируя разнообразную мимику. После этого нейронке «скормили» старые и новые материалы, а та, изучая их, начала постепенно «прикладывать» новое лицо к старому, одновременно тестируя, насколько это выглядит реалистично. Параллельно работал другой нейронный модуль, помогавший первому в естественном устаревании лица: дорисовке морщин, изломов и т. д. Наконец работу ИИ немного подкорректировали в «человеческом» ручном режиме – и в результате четверть часа сериала (эквивалент минимум нескольким сотням тысяч гривен) стала вновь пригодна для показа.
Еще один кейс многолетней давности – «барбер-услуги», оказанные командой Евгения сериалу «Кріпосна». Ситуация была следующая: съемки закончились, декорации разобрали, а один из актеров, во всем сериале бывший выбритым, отрастил бороду и усы для своего следующего проекта. И тут оказалось, что одну сцену сериала «Кріпосна» нужно переснять. А это опять же время, средства – плюс актер, который не может побриться из-за других обязательств. Поэтому его «брил» ИИ – и «вставил» в уже отснятые декорации.
С тех пор реалистичность изображения, сгенерированного искусственным интеллектом, только возросла, а команда Санникова набралась опыта. Предложение сервиса от FILM.UA сформировалось вовремя, ведь потребность рынка в подобных услугах актуализировалась. «До полномасштабной войны было отснято много проектов, которые теперь невозможно показывать и по юридической, и по этической причине – украинская аудитория не будет смотреть на российских актеров», – комментирует Малкова. В то же время библиотеки каналов нуждаются в спасении, а зрители – в постоянных поставках нового украинского контента, объемы производства которого из-за войны сократились в разы.
Можно сказать, что применение дипфейк-технологий в этом контексте – реальное практическое решение, которое, впрочем, требует своевременной обоснованной публичной коммуникации, что стало очевидным на фоне кейса «Останнього листа коханого». Но даже после Победы Украины потребность в таких сервисах будет актуальна. «Просто представьте: вы снимаете сериал, сделали уже 17 эпизодов – и посреди съемочного процесса проект покидает актер, игравший главного героя, которого ну никак не «убить», чтобы не разрушить всю историю. Или есть необходимость состарить или омолодить актера (кстати, прямо сейчас мы просчитываем такой кейс по заказу коллег): средствами традиционного постпродакшена менять возраст очень долго, так что ИИ справится с этим гораздо быстрее», – приводит пример подобной вечной актуальности продюсер. А ИИ – слушает и учится…
Постеры, трейлеры, анимация
«Должен признаться, что для работы почти над каждым постером у нас уже задействована нейронка, – говорит Евгений Санников. – Избегать сгенерированных нейросетью фрагментов просто бессмысленно, поскольку это очень ускоряет работу. Раньше, чтобы сделать постер, мне пришлось бы долго искать по фотостокам дополнительные изображения в нужном ракурсе. Теперь я просто даю сети задачу: например, идущая в перспективу дорога; на обочинах – разбитые автомобили; огонь; весенне-зимний пейзаж. И получаю результат, который уже быстро «докручиваю» до нужного. А без нейронки я бы сводил и редактировал подобный коллаж дня четыре».
Елена Малкова добавляет пример: «Видели постер «Максим Оса: золото Песиголовця» на Netflix? Это тоже магия сотрудничества человека и машины: Женя Санников делал его с нейросетью. Кстати, мы показывали этот постер на встречах в Лос-Анджелесе, говорили, что здесь использована нейросеть – и голливудская публика удивлялась: даже у них киношники еще не массово это используют».
Постер к военной драме Ахтема Сеитаблаева «Мирний-21» также создавался с помощью нейросети
Нейросеть уже способна самостоятельно монтировать трейлеры – конечно, не гениальные, но вполне приличные. «Монтаж мы тестировали на фильме «Коза Ностра», – рассказывает Санников. – Загоняешь фильм – полностью, все час двадцать минут, – а нейросеть выдает тебе смонтированный трейлер. Не могу сказать, что это был шедевр, но все логично и динамично: верно подобраны реплики, выдержан темпоритм «экшен – успокоение – экшен». Вышедший в результате этого эксперимента трейлер, вероятно, не подошел бы для кинотеатров, и даже без каких-либо дополнительных корректировок он вполне подходит для телевизионного анонсирования».
Также в контексте ТВ нейронные сети могут использоваться при монтаже трансляций спортивных событий. В частности, Санников рассказывает, что это уже реализовано одной эстонской компанией, с которой сотрудничает FILM.UA Design: «Их нейронная сеть отдельно обучена на американский футбол, хоккей и тому подобное. Ей был предоставлен массив смонтированных хайлайтов из разных матчей, которые она выучила – и теперь прекрасно монтирует сама. К примеру, нужно показать гол: она подбирает кадры с общим контекстом игрового поля; показывает, как игрок бежит, как передает пас; дает крупный план ног при ударе по мячу и собственно полет мяча; вставляет реакцию зрителей на трибунах. По такому принципу нейронка способна самостоятельно монтировать хайлайты для разных видов спорта».
И конечно, нейросети открывают просто удивительные новые возможности для анимации – настолько широкие, что, вероятно, требуют отдельного материала для освещения их технических деталей. Впрочем, очертим только ключевые: нейронные сети уже теснят прорывную технологию захвата движения (motion capture). «Mo-cap – это громоздкие дорогие студии, датчики и т. д. В то время как нейронке ты можешь отдать хоть видео, снятое на телефон, – и она считает построение скелета, специфику, взаимодействие движений. И на основе этого видео сделает модель, на которую ты потом «наденешь» 3D-анимацию», – объясняет Санников.
Нейронные сети могут просто сделать анимацию на основе видео или графических референсов – гораздо быстрее, чем делали бы живые аниматоры. Конечно, без опытных людей в процессе доведения этой анимации до финального результата отнюдь не обойтись – однако не все это понимают и тем самым закрывают для себя профессиональные возможности. «Недавно сделали дизайн для одного европейского телеканала. В частности, там есть момент с танцующими людьми, которых мы анимируем уже не предыдущими версиями ИИ, Midjourney и Stable Diffusion, а новой технологией, что будет учиться на наших тестах по анимации видео с помощью нейронки. Продюсер проекта посмотрел на все это и говорит своему дизайнеру: «Давайте тоже это использовать». А тот отвечает, что не хочет: для него это очень сложно», – констатирует Санников.
Коммуникации и маркетинг
Нейросети способны значительно ускорить и облегчить деловую переписку, выполняя фактически секретарские функции. Еще – делать аннотации, помогать с формулировками для презентаций, находить релевантные референсы, проверять пресс-релизы и другие тексты на соответствие тому, как их написали бы носители английского, а также помогать в маркетинговых исследованиях рынков.
Ну и, конечно, не забываем о соцсетях: нейронка может генерировать идеи для публикаций, подбирать вижуалы, писать посты. Но еще раз повторимся, за ней необходимо проверять. Насколько это важно – наглядно демонстрирует недавний случай, когда «Новый канал» был вынужден оправдываться за размещение в своем Instagram публикации с вымышленными «фактами» из жизни Олеся Гончара. Придумал их, собственно, креативный ChatGPT, а люди – поверили и не проверили. Эта история свидетельствует, что искусственный интеллект не заменит человека и не лишит его работы, но поможет сделать эту работу более эффективно. «ChatGPT – это новый инструмент, позволяющий освободить время от технического, «мусорного» труда и развивать креативное мышление. И очень хорошо, что у нас теперь есть этот инструментарий. Однако, подчеркиваю, это только инструмент. А как им правильно пользоваться – зависит от людей», – резюмирует Юлия Мордас.
Воображаемые миры vs реальная ответственность
Логичным следующим шагом в применении искусственного интеллекта для нужд аудиовизуальной индустрии должен быть контент, полностью созданный в концепции AI + Human. И работа над таким проектом уже ведется: документальный фильм The Imaginary Worlds of Stanislav Lem, задуманный Евгением Санниковым в прошлом году, фактически станет компиляцией всех AI-решений, упомянутых выше. «Один из проектов, находящихся в девелопменте FILM.UA сейчас, – документальный фильм о гениальном фантасте и футурологе Станиславе Леме, который родился и значительную часть своей жизни провел во Львове. Во время Первой мировой он перебрался в Краков и уже там стал знаменит», – напоминает Елена Малкова общую канву проекта, уже имеющего тизер и готового к поиску международных партнеров.
Раньше на создание такого тизера потребовалось бы немало времени: написание текста, перевод, поиск актера и запись начитки, монтаж, внесение правок... А с искусственным интеллектом все было сделано за неделю. И чем дальше – тем быстрее. В то же время это не означает сокращения стоимости: так, использование подобных решений предоставляет совершенно новые креативные возможности, ощутимо ускоряет и облегчает производство, но не делает его намного дешевле, хотя и существенно меняет пропорции затрат.
«Планшеты, нанороботы, виртуальная реальность, ИИ – все это было предвидено Лемом задолго до того, как стало частью нашей жизни, – продолжает продюсер. – Искусственный интеллект занимал особое место в произведениях писателя: он скептически относился к идее, что ИИ может заменить людей и их креативность, однако признавал его умение превзойти человеческие способности в определенных областях. Поэтому Лем в первую очередь был убежден, что люди и ИИ должны «сотрудничать», чтобы изменять мир, в котором мы живем, к лучшему. Это собственно то, что мы с командой делаем – интегрируем новейшие технологии в творческий процесс и пытаемся «сотрудничать». Нам показалось, что будет классно, если и кино о Леме будет создано вместе с ИИ. Мы сделали тизер, в котором все изображения сгенерированы искусственным интеллектом под управлением человека, текст написан вместе с GPT, музыка, начитка – все это сгенерировал ИИ, который направлял, корректировал человек. И такого результата можно было добиться только в синергии».
Впрочем, несмотря на настоящий восторг от осознания возможностей, которые открывает перед креативными индустриями использование новейших технологий, не стоит забывать об осторожности во время работы с ними. «Важно понимать, что пока никто не знает точно, ни как работают алгоритмы чат-бота, особенно GPT-4, ни как он собирает и обрабатывает информацию, – резюмирует Елена Малкова, апеллируя к собственному опыту работы с ИИ. – Нужно учиться жить в этой новой реальности, и очень скоро нас ожидает множество этических вопросов, дискуссий, попыток ограничить использование нейросетей – и их неизбежное дальнейшее развитие. Все, кто этим пользуется, одновременно являются и тестировщиками, и учителями этих программ. Мы с командой очень серьезно относимся ко всем возможным рискам и изменениям, которые уже привнесли в нашу жизнь нейросети».
