Üç sahnelik bir hikâye yazıyorsunuz. Birinci sahne harika. İkinci sahnede başkarakterin burnu değişmiş. Üçüncüde kimsenin istemediği bir ceket giymiş ve mutfak başka bir daireye taşınmış. Bu, yapay zekâ videosunun kurucu hatası ve çok belirli bir sebebi var.
Kayma neden oluyor
Metin-videoya modeli bir örnekleyicidir. Ona "otuzlu yaşlarında, kahverengi saçlı, mutfakta duran bir kadın" derseniz, otuzlu yaşlarında kahverengi saçlı mutfaktaki kadınlardan oluşan devasa bir uzaydan makul bir örnek döndürür. Tekrar çalıştırın, başka bir örnek alırsınız. Model tutarsız davranmıyor — iki kez sordunuz, iki kez doğru cevap verdi.
Bu döngüde hiçbir şey durum taşımıyor. İkinci plan, birinci planın olduğunu bilmiyor. Filminiz uzadıkça sorunun büyümesinin sebebi bu: kayma birikir ve altıncı planda başladığınız karakterle görsel bir ilişki kalmaz.
- Kök neden
- Her plan metinden bağımsız örneklenir; planlar arasında görsel durum taşınmaz.
- Çözmeyenler
- Daha çok sıfat, daha uzun tarif, karaktere isim vermek, seed sayısını artırmak.
- Çözen
- Bir kez üretilen referans görselin sonraki her planda görsel girdi olarak kullanılması.
- O da kayar
- Kostüm, saç, mekân, günün saati, objektif ve renk tonu — her biri kendi kilidini ister.
- Birikimli
- Kayma plan başına birikir; 6 planlık bir film, 2 planlıktan çok daha fazla bozulur.
İşe yaramayanlar
İşe yarayan tekniklerden önce yaramayanlarda net olmak gerekiyor, çünkü hepsi yaygın biçimde tavsiye ediliyor.
- Daha uzun tarifler. "Bir kadın"dan "omuz hizasında kestane saçlı, sol kaşının üstünde küçük bir yara izi olan 34 yaşında bir kadın"a geçmek uzayı daraltır, çökertmez. Bütün bu kelimelere uyan başka bir insan alırsınız.
- Karaktere isim vermek. "Selin odaya giriyor" modele hiçbir şey vermez. Selin'in kim olduğunu bilmiyor.
- Seed sabitlemek. Sabit seed, aynı istem için aynı çıktıyı üretir. Planlarınızın istemleri tanımı gereği farklıdır — farklı aksiyon, farklı çerçeve — yani seed artık yüzü sabitlemez.
- Tek uzun çekim yapmak. Bu karakteri korur ama bütün kurguyu elinizden alır. Kurgusuz film, film değildir; klip'tir.
Dört kilit
Tutarlılık tek bir problem değil, dört problem; yalnızca ilkini çözen film hâlâ yanlış görünür. Şu sırayla çözün.
Portreyi, herhangi bir plandan önce bir kez üretin
Karakterin tek bir temiz referans görselini üretin — nötr ifade, dengeli ışık, önden dörtte üç açı. Bunu bir sahnenin parçası olarak üretmeyin. Dramatik bir plandan çıkarılan portre, o planın ışığını ve ruh hâlini kendisine referans veren bütün gelecek karelere taşır.
Portreyi tarif olarak değil, görsel girdi olarak verin
Sonraki her plan, portrenin kendisini bir görselden-görsele veya referans görsel girdisiyle almalı. Asıl kilit budur: model artık sıfatlara değil piksellere koşullanmıştır ve pikseller yeniden örneklenmez.
Kostümü ve saçı da kilitli tarife yazın
Referans görsel yüzü tutar; bir ceketi güvenilir biçimde tutmaz. Kostümü her plan isteminde açıkça belirtin ve ifadeyi planlar arasında harfi harfine aynı tutun — altısında da "antrasit yün palto, yaka kalkık", birinde "gri palto" değil.
Dünyayı kilitleyin: ışık, objektif, renk
Bir sahnenin her isteminde ışığın yönünü, objektifi ve renk işlemini tekrarlayın. Odanın ışığı kesmeler arasında sabahtan akşama atlarken tanınabilir kalan bir karakter, tutarlı karakter değil, devamlılık hatası olarak okunur.
Elle yapmak ile yapıya gömmek arasındaki fark
Yukarıdaki her teknik, görsel girdi kabul eden herhangi bir araçta elle yapılabilir: portreyi üretin, kaydedin, her plana ekleyin, kostüm cümlesini her isteme kopyalayın. İşe yarar. Aynı zamanda plan başına dört hata fırsatıdır ve hatayı ancak render'ın parasını ödedikten sonra görürsünüz.
Alternatifi, kilitlerin prosedürel değil yapısal olduğu bir hat. MuseForge karakter portresini çalışmanın başında bir kez üretip her sahnenin her karesinde otomatik olarak yeniden kullanır, kostüm ve ışık cümlelerini bütün plan listesi boyunca taşır ve ikinci bölümü sipariş ettiğinizde aynı kilitleri korur — yani ikinci bölümün başkarakteri, siz hiçbir şeyi yeniden vermeden birinci bölümdekiyle aynı kişidir.
| Kilit | Elle | Yapısal |
|---|---|---|
| Yüz | Portreyi kaydet, her plana ekle | Bir kez üretilir, her kareye otomatik eklenir |
| Kostüm | Cümleyi her isteme kopyala | Oyuncu kartından plan listesine taşınır |
| Işık / objektif | Her planda tekrarla, tutmasını um | Sahne başına prodüksiyon kilidi olarak tutulur |
| Bölümler arası | Her şeyi hatırlayıp yeniden ver | Kadro ve kilitler diziyle birlikte taşınır |
Karakterin bilerek değişmesi gerektiğinde
Kilitlemek, ancak kilidi bilerek kırabiliyorsanız işe yarar. Dördüncü sahnede kırmızı palto giyen bir karakterin paltosu o noktadan sonra kalıcı olmalı — beşinci sahnede kaybolmamalı, birinci sahnede geriye dönük belirmemeli.
Bunun temiz yolu, kilitli referansın kendisini düzenleyip yalnızca değişikliğin sonrasındaki planları yeniden render etmek; her planı yeniden istemleyip şansa bırakmak değil. Tek bir giysiyi değiştirmek için bütün filmi yeniden üretmek, bütçenin kaybolma biçimidir.
Yapay zekâ videolarında karakterler neden sahneler arasında değişiyor?
Çünkü her plan kendi metin isteminden bağımsız üretilir ve karakterin görünümünü bir plandan diğerine taşıyan hiçbir şey yoktur. Model her seferinde makul ama yeni bir insan örnekler. Bunu yalnızca sonraki planları karakterin gerçek bir referans görseline koşullamak durdurur.
Daha ayrıntılı karakter tarifi tutarlılığı çözer mi?
Hayır. Uzun tarif modelin döndürebileceği yüz aralığını daraltır ama hiçbir zaman tek bir yüze indirmez. Aynı ayrıntılı tarifin iki üretimi, tarife uyan iki farklı insan verir.
Sabit seed yapay zekâ karakterini tutarlı tutar mı?
Bir film boyunca tutmaz. Seed yalnızca birebir aynı istem için aynı çıktıyı yeniden üretir. Bir hikâyedeki her planın istemi farklı olduğundan — farklı aksiyon, çerçeve, replik — istem değişir değişmez seed karakteri sabitlemeyi bırakır.
Karakter başına kaç referans görsel gerekiyor?
Her yerde kullanılan tek bir iyi görsel, birbirini tutmayan birkaç görselden iyidir. Dengeli ışıklı, önden dörtte üç açılı tek bir portre çoğu hat için yeterlidir; farklı ışıkta ikinci bir referans eklemek modelin çektiği aralığı daraltmak yerine genelde genişletir.
Karakter tutarlılığı kıyafeti ve saçı da kapsar mı?
Yalnızca kısmen. Referans portre yüz yapısını güçlü, saç modelini orta düzeyde tutar; kıyafeti, özellikle omuzların altında, zayıf tutar. Kostümün her planın isteminde, her seferinde aynı ifadeyle tekrar belirtilmesi gerekir.
Sahneler değil, bölümler arası tutarlılık ne olacak?
Aynı problemin bir üst seviyesi ve aynı cevabı istiyor: referans portre ve prodüksiyon kilitleri diziyle birlikte saklanmalı ve sonraki bölüme yeniden uygulanmalı. Bunları render sonunda atan bir araç, ikinci bölümde size yeni bir başrol verir.