Yapay zeka ile dublaj ve dudak senkronu: videoya doğal Türkçe ses

Yapay zeka ile dublaj ve lip sync nedir?

Dublaj, videodaki konuşmanın başka bir sesle, çoğu zaman başka bir dilde yeniden seslendirilmesidir. Lip sync, Türkçesiyle dudak senkronu ya da dudak senkronizasyonu, sesle ağız hareketlerinin eşleşmesidir. Yapay zekâ bu eşleşmeyi iki yönden kurar: ya sesi görüntüye uydurursunuz (zamanlama ve esnetme) ya da bir model ağzı yeni sese göre yeniden çizer. Konuşan fotoğraf araçları ikinci yolla çalışır; elinizde konuşan bir video varsa genellikle birinci yol gerekir.

Türkçe sesi videoya vermenin üç yolu

Dürüstlük notu: ikinci yol AI Video Yap'ta yok. Seedance Referans'ta referans sesinde insan konuşması ya da şarkı kabul edilmez, çünkü ses klonu sunmuyoruz; o adımı Mira için kendi sağlayıcı hesabımızla denedik. Sitede birinci yol (sesli video modelleri) ve üçüncü yol (seslendirme ve Video Editörü) kullanılır.

Adım adım: Mira videosunu nasıl seslendirdik?

1. Doğru metni yazın. Repliklerin son hâlini yazıya dökün. Video modelinin kendi Türkçesi kısa replikte iyi, uzun ve çok konuşmacılı planda kelimeleri bozabiliyor; dublajın çapası doğru metindir.
2. Profesyonel bir ses seçin. Tasarlanmış (sentetik) sesler yapmacık kaldı. Profesyonel seslendirme kütüphanesinden doğal bir Türkçe ses seçin ve karakterin bütün videolarında aynı sesi kullanın.
3. Repliği birkaç tempoda okutun. Ekranda konuşan karakterin repliğini birkaç farklı hızda seslendirin ve görüntüdeki konuşma süresine en yakın, yani en az esnetilmesi gereken kaydı seçin.
4. Kelime zamanlarına yerleştirin. Görüntüdeki konuşmanın kelime zamanlarını konuşmadan yazıya dökümle çıkarın, yeni sesi bu zamanlara oturtun ve gerekiyorsa perdeyi bozmadan en çok yüzde 25 esnetin.
5. Kamera arkasındakini esnetmeyin. Ağzı görünmeyen konuşmacının repliği doğal hızında yerleşir. Sıkıştırılan replik anlaşılmaz olur.
6. Kahkaha ve ortam sesini videodan alın. Kahkahayı ve ortam sesini sentetik efektle değil, video modelinin kendi sesinden alın. Modelin konuşmasını bastırın ve bu ize sabit kazanç verin.
7. Ölçerek doğrulayın. Son miksin dökümünde her repliğin doğru olduğunu, konuşmanın arka plandan en az 12 dB önde olduğunu ve başrolün biraz önde durduğunu ölçün.

1. Doğru metin ve profesyonel ses

İlk denemede sesleri bir ses tasarım aracıyla, tarif yazarak ürettik; sonuç aşırı yapmacık bulundu. Profesyonel kütüphanedeki gerçek sanatçı sesleri ise doğal ve sinematik çıktı. Mira'nın kalıcı sesi Şevval (profesyonel anlatıcı), kamera arkasındaki konuşmacı Çağatay (sıcak ve ilgi çekici) oldu. İkisi de AI Video Yap'ın 14 Türkçe sesi arasında. Seslendirme aracında Eleven v4 ile 1.000 karakter 10 kredi tutar, tek seferde 5.000 karaktere kadar seslendirilir ve her kayıtla birlikte SRT altyazı iner.

Bir karakterin sesi yüzü kadar tanınır: bütün videolarda aynı sesi kullanın. Repliği yazarken noktalamayı konuşma ritmine göre koyun; virgül kısa, nokta uzun durak verir.

2. Kelime zamanları ve esnetme

Yeni sesi görüntüye oturtmanın çapası, görüntüdeki konuşmanın kelime zamanlarıdır. Mira'da bunları konuşmadan yazıya döküm (ElevenLabs Scribe) ile çıkardık ve her repliği kendi kelimelerine hizaladık. Süre tutmadığında sesi perdeyi bozmadan esnettik (WSOLA yöntemi); senkron 20 milisaniye içinde tuttu. İki kural belirleyici oldu:

• Ekrandaki konuşmacı: aynı repliği birkaç farklı tempoda seslendirip en az esneyeni seçtik. Esneme yüzde 25'i geçmemeli; geçerse ses yapay duyulur.
• Kamera arkasındaki konuşmacı: ağzı görünmediği için esnetilmez, doğal hızında yerleşir. Süreye sığdırmak için sıkıştırılan replik anlaşılmaz oluyor.

AI Video Yap'ın stüdyosundaki Video Editörü (beta) bu iki işi yapar: otomatik altyazı konuşmayı yazıya döker ve altyazı satırlarını kelimelerin söylendiği anlara yerleştirir, böylece yeni sesi nereye koyacağınızı zaman çizelgesinde görürsünüz (dakika başına 1 kredi, ilk kredi yüklemesinden sonra açılır); ses klibinin hızını değiştirirken “Ses perdesini koru” açıkken ses incelip kalınlaşmaz.

3. Kahkaha: etiket değil, videonun kendi kahkahası

Seslendirme modeline kahkaha etiketi ([laughs]) yazdığımızda sonuç yapmacık durdu. Doğal kahkahayı video modeli kendisi üretmişti: onu bir ses ayırıcıyla konuşmadan temizce aldık ve görüntüyle zaten senkron olduğu için yerinde bıraktık. Seslendirme aracındaki [güler] etiketi kısa tepkilerde işe yarar; ama ekranda gülen bir yüz varsa kahkahayı videonun sesinden almak daha inandırıcıdır. AI Video Yap'ta ses ayırıcı yoktur; bu adım için ayrı bir vokal ayırma aracı gerekir.

4. Ortam sesi: sentetik efekt yerine videonun sesi

Seedance ortam sesini görüntüyle birlikte üretir; promptta taş zeminde adımları, bardak tıkırtısını ve uzaktaki kuşları da istemiştik. Bu ses görüntüye zaten oturduğu için sentetik efekt eklemek yerine onu kullandık. Modelin kendi (bozuk) konuşmasını ise kelime zamanlarının 0,12 saniye öncesinden sonrasına kadar, ses ayırıcının zarfıyla, bütün frekans bandında 40 dB bastırdık.

Tuzak: bastırılmış izi kendi ses yüksekliğine (LUFS) göre normalize etmeyin. Normalize etmek izi yükseltir ve bastırdığınız konuşma geri gelir. Ortam izine sabit bir kazanç verin.

5. Yankı: az ve tek parça

Mekâna yankı eklerken yankının genliği doğrudan sesin en çok yaklaşık onda biri (0,10) olsun. Erken yansıma tepesi koymayın: sesle birleşip tarak süzgeci gibi davranır ve sesi metalik yapar.

6. Ölçerek doğrulayın

• Son miksi yeniden konuşmadan yazıya dökün; her replik harfi harfine doğru çıkmalı.
• Konuşma ile arka plan arasındaki fark en az 12 dB olmalı. Mısır videosunda bu fark ilk mikste 4 dB idi, ortam izini bastırıp yeniden kurunca 18,7 dB'e çıktı.
• Replik başına ses yüksekliğini ölçün: başrol diğer seslerden biraz önde dursun.

AI Video Yap'ta hangi adım nerede yapılır?

Başka dildeki bir videoyu Türkçe dublaj yapmak

Aranan iş çoğu zaman budur: İngilizce bir videoyu Türkçe konuşturmak. Yöntem aynı, yalnız başa çeviri eklenir. Videodaki konuşmayı yazıya dökün (Video Editörü'nün otomatik altyazısında dili seçebilirsiniz), metni Türkçeye çevirin, her repliği bir Türkçe sesle seslendirip orijinal konuşmanın zamanına yerleştirin. Türkçe cümle çoğu zaman kaynaktan uzundur; çeviriyi süreye göre kısaltmak, sesi yüzde 25'in üstünde esnetmekten iyidir.

Konuşmacı ekrandaysa ağzı hâlâ eski dili söyler. Bunu düzeltmek için ağzı yeni sese göre yeniden çizen bir video dudak senkronu aracı gerekir; AI Video Yap bunu sunmaz. Kendi ürettiğiniz yapay zekâ videosunda ise en temiz yol, sahneyi Türkçe replikle yeniden üretmektir. Başkasına ait bir videoyu dublajlamak için hak sahibinin izni gerekir; birinin sesini taklit etmek de yasaktır. Ayrıntılar telif ve izin rehberinde.

Karakterli videoda kurallar

Mira gibi gerçekçi bir yapay zekâ karakteri kullanıyorsanız sesi de yüzü de kurgusaldır ve bunu saklamazsınız. Reklamda insandan ayırt edilemeyen yapay zekâ karakteri açıkça belirtilir (Ticari Reklam ve Haksız Ticari Uygulamalar Yönetmeliği md. 18/8); karakter gerçek bir müşteri gibi ürünü kullanmış gibi konuşmaz. Instagram'da yapay zekâ kişi hesapları için profil etiketi ve diğer kurallar AI influencer rehberinde, karakterin kendisini nasıl kurduğumuz karakter oluşturma sayfasında, videonun promptu ise Seedance prompt rehberinde.