«Світ сходить на пси – це очевидно» – загалом цією фразою зараз можна прокоментувати багато речей. Утім, продюсерка FILM.UA Олена Малкова в нашій бесіді застосувала її у цілком конкретному контексті: коментуючи потенційні зміни, котрі надшвидкий розвиток і загальна доступність нейромереж, зокрема ChatGPT, спричинили щодо усталеного порядку речей в аудіовізуальній індустрії. Олена знає, про що каже, адже для неї та молодшої продюсерки з її команди Юлії Мордас застосування ChatGPT у професійній діяльності вже кілька місяців як не теорія, а повсякденна практика.
І з цього ще невеликого, але вже різноманітного досвіду Олена робить наступний висновок: «Так, в індустрії деякі професії, на жаль, просто зникатимуть. Проте – з'являтимуться інші. Тож зрештою все мусить якось вирівнятися». На думку Малкової, наразі індустрія ще просто не має чіткого уявлення про те, як саме може застосовувати нейромережі в своїй практичній роботі та навіщо це потрібно. Причому йдеться не лише про українську індустрію. «На зустрічах із закордонними партнерами, розповідаючи про напрацювання FILM.UA в роботі з нейромережами, ми бачимо, що люди переважно геть не знають про можливості цих технологій у контексті кіно- й телевізійного виробництва. Тобто в їхній голові поки немає логічного ланцюжка, як це можна застосовувати. А в нас уже є, позаяк ми постійно це робимо і у власних проектах, і на замовлення».
Ця практика стала можливою завдяки FILM.UA Design – дизайн-студії інноваційного типу, команда якої поєднує унікальні знання у галузі технологій штучного інтелекту й експертизу в сфері аудіовізуального контенту. FILM.UA Design спеціалізується на створенні титрів, постерів, тизерів, трейлерів, моушен-дизайні, реконструкції облич, діпфейках тощо, використовуючи для цього технології Al, VR/AR, віртуальний продакшен, ігрові рушії, NeRF, 3D-сканування і т. ін.
Прочитати цей текст англійською можна за посиланням.
Артдиректором FILM.UA Design став Євген Санніков, що також є керівником Департаменту досліджень та інновацій – підрозділу FILM.UA Group. Він роками займався практичними експериментами з нейромережами – тоді, коли серед широкого загалу про ChatGPT іще ніхто й не чув.
Євген, котрий вже 20 років працює в дизайні, захоплюється інноваціями та має у портфоліо десятки яскраво втілених креативних задумів, є справжнім популяризатором ідеї поєднання науки та творчості. «Коли я проводив лекції для продюсерів FILM.UA про застосування в їхній роботі штучного інтелекту, то від початку акцентував: так, як раніше, вже не буде. Буквально за кілька років фільми не вироблятимуться так, як зараз (хіба що протягом якогось часу за інерцією). Тож уже нині знати можливості технологій і вміти їх застосовувати – це для продюсерів конкурентна перевага», – каже Санніков.
Наразі FILM.UA Design пропонує свої послуги всім учасникам ринку – і ринок активно ними користується. Ми поговорили з Євгеном Санніковим, Оленою Малковою та Юлією Мордас про те, як можна застосовувати ШІ у кіно- й телевиробництві, і розклали ці можливості – як потенційні, так і ті, що ґрунтуються на практичних кейсах, – по поличках.
Сценарії: ресьорч, написання та перевірка
Відтоді як ChatGPT став вільно доступним для користувачів з України, багато хто встиг поспілкуватися з ним на різні теми – і самостійно перевірив, якою мірою «людський» текст здатна генерувати нейромережа. До того ж якщо ви тестували ChatGPT не разово, а системно протягом бодай місяця, то могли помітити, як швидко ШІ, спілкуючись з українцями, вдосконалює свою українську.
Євген Санніков свої текстові експерименти з нейромережами почав не кілька місяців, а кілька років тому. Він експериментував із системою GPT-3, викладеною у відкритий доступ компанією OpenAI: російськомовною версією, оскільки українська тоді просто була відсутня. У ті часи нейромодулі ще не мали виходу до мережі та вчилися лише на інформації, що її спеціально завантажували розробники. І «мовні уроки» для нейромережі були недешевим задоволенням: за словами Євгена, на той час навчання GPT-3 певної мови коштувало майже $400 тис., тобто потребувало залучення фінансування від держави чи великого бізнесу. Та навіть за умов розвиненого словникового запасу з логікою у нейромережі були очевидні проблеми. Тоді заради експерименту до нейронки завантажили синопсиси деяких проектів FILM.UA, запропонувавши їх дописати, але тексти, що вона видала в результаті, неможливо було читати без сліз від сміху. Втім, відтоді багато що змінилося.
«Євген познайомив нас із мережею GPT десь у грудні 2020 року, і так почалася наша прекрасна подорож нею», – з посмішкою згадує продюсерка Юлія Мордас. І разом із колегами розповідає про різні практичні віхи, що вже пройдені в межах цієї подорожі. Так, новий інструмент дозволяє плідно працювати з ідеями: коректно задавши ввідні, можна отримати безліч варіантів логічного поєднання декількох сценарних ліній або цілком робочі напрями розвитку повноцінного проекту з концепції на два речення. «Багато авторів уже використовують ШІ, аби вийти з глухого творчого кута: той підкидає ідеї, на основі котрих вони працюють далі», – пояснює Юлія. Чат може стати у пригоді, коли йдеться про розроблення характерів і мотивації персонажів, а ще нейромережу можна використовувати як своєрідну фокус-групу: «Були випадки, коли ми за допомогою ChatGPT перевіряли, який з фіналів обрати для серіалу в девелопменті. Заганяли в нейромережу історію та просили придумати завершення. І коли чат пропонував фінал, майже ідентичний нашому, ми думали: отже, так може бути», – додає Мордас. Продюсерка також тестувала нейромережу в контексті неймінгу: в цьому разі, як і з фіналами, ChatGPT «думав» майже так само, як живі люди.
Ще одна потенційна сфера застосування нейронки – діалоги. Звісно, про смислове наповнення та стиль поки не йдеться, але ChatGPT до снаги створити кістяк діалогу на основі заданої ситуації, котрий потім можна розписати «людською» мовою. «Мене вразило, що нейромережа за запитом пише одразу зі сценарною розміткою: де треба – використовує капс, відкриває сцену, закриває сцену, правильно розмічає діалоги», – коментує Санніков технічний бік питання.
Написання сценарію зазвичай потребує багато дослідницької роботи – і тут ChatGPT також може стати у пригоді, проте цілковито покладатися на нього не варто. Олена Малкова докладно пояснює чому: «Візьмімо як приклад медичні серіали – вони потребують медичних кейсів. Ми з редакторкою Мариною Журавською роками працюємо над такими проектами, і Марина вже стала фахівцем з операцій, але цей ресьорч – який діагноз, як що розрізати скальпелем тощо – забирає надзвичайно багато сил і часу. І ось нещодавно ми зрозуміли, що нейромережа може розв'язати цю вічну проблему – розписувати нам медичні кейси! Причому дуже швидко. Але є нюанс: мережа може збрехати, тому за нею необхідно все перевіряти. Втім, навіть із перевіркою це значно пришвидшує та полегшує роботу: дає нам «скелети» для написання сценарію».
Окрім того, нейромережа може складати списки експертів із певної теми й обґрунтовувати їхню релевантність. «Для проекту Risen From the Ashes мені був потрібен список із десяти експертів зі зруйнованих у Другу світову міст. Я поставив це завдання чату та попросив навести аргументацію – і він склав перелік, обґрунтувавши експертність занесених до нього людей. Потім я запитав, які книжки написали ці експерти, – й отримав докладний список літератури. Згодом ми обговорювали це всередині команди та дійшли висновку, що за кілька хвилин дослідження нейромережа зробила те, над чим редактор працював би принаймні добу. І зробила якісно. Такий функціонал дуже корисний для документальних проектів», – каже Санніков.
Ще з корисного фукціоналу нейронки – вміння розписувати логлайни до синопсисів, а в перспективі вона може значно полегшити роботу з відбору сценаріїв і сценарних заявок.
Оскільки ChatGPT «поліглот», він здатний допомогти під час дослідження специфіки країн і ринків, мовою яких ви не володієте. Звісно, можна самостійно погуглити та зробити переклад через Google Translate, та чат здатен це зробити швидше і якісніше. «Нещодавно в нас був запит на адаптацію декількох серіалів під новий ринок, інше культурне середовище. І власне завдяки чату ми підтягли багато інформації, – розповідає Мордас. – Важливо, що до того я самостійно ресьорчила – на англомовних, україномовних ресурсах. І корисної інформації змогла знайти набагато менше, ніж відшукав чат, який безпосередньо працював із мовою країни, котру ми досліджували». Санніков зазначає, що додаткова «обізнаність» нейромережі також пояснюється її роботою з оцифрованими книжками – зокрема, вузькоспеціалізованими, – котрі не видаються під час простого пошуку.
Діпфейк-технологія заміни обличчя акторів
Саме застосування DeepfakeAI спровокувало гучну дискусію останніх тижнів. Нагадаємо: напередодні прем'єри канал СТБ показав трейлер відзнятого ще до 24 лютого 2022 року серіалу «Останній лист коханого», де росіянина Прохора Дубравіна замінили за допомогою діпфейк-технології на українського актора Дмитра Саранського.
А потім – через бурхливу дискусію в мережі – мовник відклав показ восьмисерійної мелодрами: до «проведення додаткових індустріальних консультацій для обговорення та ратифікації використання цифрових технологій у контенті, зокрема зважаючи на найкращий міжнародний досвід».
І зважати насправді є на що, оскільки дискусії щодо етичних питань використання діпфейк-технологій у кіно та серіалах точаться вже принаймні сьомий рік. Щоправда, коли в Україні їх спровокувала заміна одних акторів на інших, то в світовому контексті першопричиною стала заміна акторів на них же самих – тільки або молодших, чи бодай просто… живих. Можна сказати, що вперше про етику в цьому контексті голосно заговорили, коли 2016 року вийшов «Бунтар Один. Зоряні Війни. Історія», в якому до ролі Гранд-моффа Таркіна «повернувся» актор Пітер Кушинг, який в реальності помер ледь не за чверть сторіччя до того. Тоді ж задля відповідності хронології подій всесвіту «Зоряних воєн» у стрічці «омолодили» Керрі Фішер (принцесу Лею).
Пітера Кушинга «оживили» завдяки накладанню цифрового обличчя покійного актора на лице Гая Генрі, котрий працював на зйомках стрічки
Та повернімося до нашого контексту. Хоча «Останній лист коханого» – перший приклад таких етичних суперечок в Україні, він аж ніяк не перший приклад практичного використання діпфейк-технологій в українських серіалах. Ця робота розпочалася задовго до повномасштабного вторгнення – через так звані чорні списки російських акторів, що від 2014 року підтримували агресію рф, незаконно їздили до окупованого Криму тощо. Першим кейсом став серіал «Метелики» (2013), чи не єдиний художній український продукт про трагедію на ЧАЕС, показ якого протягом тривалого часу був неможливим через згадані вище труднощі: до «чорного списку» потрапив один із залучених акторів другого плану. І аби показати проект до річниці Чорнобильської трагедії 26 квітня 2021 року, команда Євгена Саннікова знайшла наступне технічне рішення: запросили чоловіка, чиє обличчя було схоже за антропометричними характеристиками. Пів години на студії він провів перед камерою, наговорюючи – навіть не сценарний – текст і демонструючи різноманітну міміку. Після цього нейронці «згодували» старі та нові матеріали, а та, вивчаючи їх, почала поступово «прикладати» нове обличчя до старого, одночасно тестуючи, наскільки реалістичний вигляд це має. Паралельно працював інший нейронний модуль, який допомагав першому в природному зістарюванні обличчя: домальовуванні зморшок, заломів тощо. Насамкінець роботу ШІ трішечки підкоригували в «людському» ручному режимі – і в результаті чверть години серіалу (еквівалент щонайменше кільком сотням тисяч гривень) стала знову придатна для показу.
Ще один кейс кількарічної давності – «барбер-послуги», що їх команда Євгена надала для серіалу «Кріпосна». Ситуація була така: зйомки завершилися, декорації розібрали, а один з акторів, що у всьому серіалі був поголений, відростив бороду й вуса для свого наступного проекту. І тут виявилося, що одну сцену «Кріпосної» необхідно перезняти. А це знову ж час, кошти – плюс актор, що не може поголитися через інші зобов'язання. Тож його «поголив» ШІ – і «вставив» у вже відзняті декорації.
Відтоді реалістичність зображення, згенерованого штучним інтелектом, лише зросла, а команда Саннікова набула досвіду. Пропозиція сервісу від FILM.UA сформувалася вчасно, адже потреба ринку в схожих послугах сильніше актуалізувалася. «До повномасштабної війни було відзнято багато проектів, які тепер неможливо показувати і з юридичної, і з насамперед етичної причини – українська аудиторія не дивитиметься на російських акторів», – коментує Малкова. Натомість бібліотеки каналів потребують порятунку, а глядачі – постійних постачань нового українського контенту, обсяги виробництва котрого через війну скоротилися в рази.
Тож можна сказати, що застосування діпфейк-технологій у цьому контексті – це реальне практичне рішення, котре, втім, потребує вчасної обґрунтованої публічної комунікації, що стало очевидним на тлі кейсу «Останнього листа коханого». Та навіть після Перемоги України потреба у таких сервісах буде актуальною. «Просто уявіть: ви знімаєте серіал, зробили вже 17 епізодів – і посеред знімального процесу проект залишає актор, який грав головного героя і котрого ну ніяк не «вбити», щоб не зруйнувати всієї історії. Або є потреба зістарити чи омолодити актора (до речі, просто зараз ми прораховуємо такий кейс на замовлення колег): засобами традиційного постпродакшену змінювати вік дуже довго, тож ШІ дасть цьому раду значно швидше», – наводить приклад такої вічної актуальності продюсерка. А ШІ – слухає та вчиться…
Постери, трейлери, анімація
«Маю зізнатися, що для роботи чи не над кожним постером у нас уже залучена нейронка, – каже Євген Санніков. – Уникати згенерованих нейромережею фрагментів просто немає сенсу, оскільки це дуже пришвидшує роботу. Раніше, аби зробити постер, мені б довелося довго шукати фотостоками додаткові зображення в потрібному ракурсі. Тепер я просто даю мережі завдання: наприклад, дорога, що йде в перспективу; на узбіччях – розтрощені автівки; вогонь; весняно-зимовий пейзаж. І отримую результат, який вже швидко «докручую» до потрібного. А без нейронки я б зводив і редагував такий колаж днів із чотири».
Олена Малкова додає приклад: «Бачили постер «Максим Оса: золото Песиголовця» на Netflix? Це теж магія співпраці людини та машини: Женя Санніков робив його з нейромережею. До речі, ми показували цей постер на зустрічах у Лос-Анджелесі, казали, що тут використана нейромережа, – і голлівудська публіка дивом дивувалася: навіть у них кіношники ще не масово це використовують».
Постер до воєнної драми Ахтема Сеітаблаєва «Мирний-21» також створювався за допомогою нейромережі
Нейромережа вже здатна самостійно монтувати трейлери – звісно, не геніальні, але цілком пристойні. «Монтаж ми тестували на фільмі «Коза Ностра», – розповідає Санніков. – Заганяєш фільм – повністю, всю годину двадцять хвилин, – а нейромережа видає тобі змонтований трейлер. Не можу сказати, що це був шедевр, але все логічно та динамічно: правильно дібрані репліки, витримано темпоритм «екшен – заспокоєння – екшен». Трейлер, що вийшов у результаті цього експерименту, певно, не підійшов би для кінотеатрів, та навіть без якихось додаткових коригувань він цілком годиться для телевізійного анонсування».
Також у контексті ТБ нейронні мережі можуть використовуватись у монтажі трансляцій спортивних подій. Зокрема, Санніков розповідає, що це вже реалізовано однією естонською компанію, з якою співпрацює FILM.UA Design: «Їхня нейронна мережа окремо навчена на американський футбол, на хокей тощо. Їй було надано масив змонтованих хайлайтів із різних матчів, котрі вона вивчила, – і тепер прекрасно монтує сама. Наприклад, треба показати гол: вона добирає кадри з загальним контекстом ігрового поля; показує, як гравець біжить, як передає пас; дає великий план ніг під час удару по м'ячу і власне політ м'яча; вставляє реакцію глядачів на трибунах. За таким принципом нейронка здатна самостійно монтувати хайлайти для різних видів спорту».
І звісно, нейромережі відкривають просто надзвичайні нові можливості для анімації – настільки широкі, що, певно, потребують окремого матеріалу для висвітлення їхніх технічних деталей. Утім, окреслимо лише ключові: нейронні мережі вже тіснять проривну колись технологію захоплення руху (motion capture). «Mo-cap – це громіздкі дорогі студії, датчики тощо. Тоді як нейронці ти можеш віддати хоч відео, зняте на телефон, – і вона зчитає побудову скелету, специфіку та взаємодію рухів. І на основі цього відео зробить модель, на яку ти потім «вдягнеш» 3D-анімацію», – пояснює Санніков.
Нейронні мережі можуть просто зробити анімацію на основі відео чи графічних референсів – набагато швидше, ніж це робили б живі аніматори. Звісно, без досвідчених людей у процесі доведення цієї анімації до фінального результату аж ніяк не обійтися – проте не всі це розуміють і тим самим закривають для себе професійні можливості. «Нещодавно зробили дизайн для одного європейського телеканалу. Зокрема, там є момент із людьми, що танцюють, яких ми анімуємо вже не попередніми версіями ШІ, Midjourney та Stable Diffusion, а новою технологією, котра вчитиметься на наших тестах з анімації відео за допомогою нейронки. Продюсер проекту подивився на все це і каже своєму дизайнерові: «Нумо теж це використовувати». А той відповідає, що не хоче: для нього це заскладно», – констатує Санніков.
Комунікації та маркетинг
Нейромережі здатні значно пришвидшити та полегшити ділове листування, виконуючи фактично секретарські функції. Ще – робити анотації, допомагати з формулюваннями для презентацій, знаходити релевантні референси, перевіряти пресрелізи й інші тексти на відповідність тому, як їх написали б носії англійської, а також допомагати в маркетингових дослідженнях ринків.
Ну і, звісно, не забуваємо про соцмережі: нейронка може генерувати ідеї для публікацій, добирати віжуали, писати пости. Та вже вкотре повторимося, за нею необхідно перевіряти. Якою мірою це важливо – наочно демонструє нещодавній випадок, коли «Новий канал» був змушений виправдовуватися за розміщення у своєму Instagram публікації з вигаданими «фактами» з життя Олеся Гончара. Вигадав їх, власне, надміру креативний ChatGPT, а люди – повірили та не перевірили. Тож ця історія свідчить, що штучний інтелект не замінить людини та не позбавить її роботи, але допоможе зробити цю роботу ефективніше. «ChatGPT – це новий інструмент, який дозволяє вивільнити час від технічної, «сміттєвої» праці та більше розвивати креативне мислення. І дуже добре, що ми тепер маємо цей інструментарій. Проте, наголошую, це лише інструмент. А як ним правильно користуватися – залежить від людей», – резюмує Юлія Мордас.
Уявні світи vs реальна відповідальність
Логічним наступним кроком у застосуванні штучного інтелекту для потреб аудіовізуальної індустрії мав би бути контент, повністю створений у концепції AI + Human. І робота над таким проектом уже ведеться: документальний фільм The Imaginary Worlds of Stanislav Lem, задуманий Євгеном Санніковим минулого року, фактично стане компіляцією всіх AI-рішень, згаданих вище. «Одним із проектів, що перебуває у девелопменті FILM.UA зараз, є документальний фільм про геніального фантаста та футуролога Станіслава Лема, який народився та значну частину свого життя провів у Львові. Під час Першої світової він перебрався до Кракова й уже там став знаменитим», – нагадує Олена Малкова загальну канву проекту, котрий вже має тизер і готовий до пошуку міжнародних партнерів.
Раніше на створення такого тизеру знадобилося б чимало часу: написання тексту, переклад, пошук актора та запис начитування, монтаж, внесення виправлень... А зі штучним інтелектом усе було зроблено за тиждень. І що далі – то швидше. Водночас це не означає скорочення вартості: так, використання схожих рішень надає геть нові креативні можливості, відчутно прискорює та полегшує виробництво, але не робить його набагато дешевшим, хоча й суттєво змінює пропорції витрат.
«Планшети, нанороботи, віртуальна реальність, ШІ – все це було передбачено Лемом задовго до того, як стало частиною нашого життя, – продовжує продюсерка. – Штучний інтелект посідав особливе місце у творах письменника: він скептично ставився до ідеї, що ШІ може замінити людей та їхню креативність, проте визнавав його здатність перевершити людські здібності у певних галузях. Тому насамперед Лем був переконаний, що люди та ШІ мають «співпрацювати», аби змінювати світ, у якому ми живемо, на краще. Це, власне, те, що ми з командою робимо – інтегруємо новітні технології у творчий процес і намагаємося «співпрацювати». Нам здалося, що буде класно, якщо і кіно про Лема буде створено разом із ШІ. Ми зробили тизер, у котрому всі зображення було згенеровано штучним інтелектом під керуванням людини, текст написано разом із GPT, музика, начитування – все це згенерував ШІ, який спрямовувала, коригувала людина. І такого результату можна було досягти тільки у синергії».
Утім, попри справжній захват від усвідомлення можливостей, що відкриває перед креативними індустріями використання новітніх технологій, не варто забувати про обережність під час роботи з ними. «Важливо розуміти, що наразі ніхто не знає точно, ані як саме працюють алгоритми чат-боту, особливо GPT-4, ані як він збирає та обробляє інформацію, – резюмує Олена Малкова, апелюючи до власного досвіду роботи із ШІ. – Потрібно вчитися жити у цій новій реальності, і геть невдовзі на нас очікує величезна кількість етичних питань, дискусій, спроб обмежити використання нейромереж – та їхній неминучий подальший розвиток. Усі, хто цим користується, є водночас і тестувальниками, і вчителями цих програм. Тож ми з командою дуже серйозно ставимося до всіх можливих ризиків і змін, які вже привнесли у наше життя нейромережі».
