Temayı Özelleştir
Özelleştirmeleri geri al
Neler yeni

Makale Kendi Sesimi Nasıl Modelleyebilirim? Ses Modeli Oluşturma 2024

Bu konuda sizlerle ses modellemesi hakkında bilgi ve deneyimlerimi paylaşmak istiyorum. Kendi sesinizi modellemek, yapay zeka ve teknolojilerinin gelişmesiyle birlikte oldukça kullanışlı ve kolay bir hale geldi.

İnternette bununla alakalı bir çok video var yazı var fakat hemen hemen hepsinde eksik veya yanlış bilgiler bulunmakta.
Adım adım nasıl yapıldığını anlatan bir rehber hazırladım:

1. Ses Kaydı Alınız:
Öncelikle benim önerim 30dk'lık bir ses kaydı almanız, bunu 15-15dk şeklinde alarak daha sonra birleştirebilirsiniz. Sesiniz temiz olmalı ve arkadan ayrı bir (müzik, gürültü) sesi olmamalıdır.
Ses formatı mp3 veya m4a ise bunu internetteki online platformlar ile wav formatına dönüştürmenizi öneririm. (mp3 to wav) diye aratarak bulabilirsiniz.

2. Slicer Gui İle Ses Dosyasını Ayırma:
Masaüstüne dataset diye boş bir klasör açıyoruz.

Buraya tıklayarak bilgisayarınıza slicer gui adlı programı indirmeniz gerekmektedir.
İndirdikten sonra .zip dosyasını masaüstüne çıkartınız ve çıkardıktan sonra klasörden slicer-gui.exe dosyasını çalıştırınız.

Adsız.png


Resimde gözüktüğü gibi sol üstten ses dosyanızı ekleyiniz ve sağ tarafta browse kısmından da oluşturduğumuz dataset klasörünü seçiniz.
Settings kısmındaki değerleri aynı resimdeki gibi giriniz. Bu işlem ses dosyasını 10'ar saniyelik dosyalara ayıracak.
Start diyerek işlemi başlatacaksınız

İşlem bittiğinde masaüstündeki dataset klasörümüzü .zip yapacağız resimdeki gibi kolaylıkla yapabilirsiniz.
Adsız.png

Sıkıştırılmış klasöre basınca otomatik dataset.zip yapacaktır.



4. RVC İle Ses Modelleme Aşaması

En önemli kısım şuan da anlatacağım adımlar


Öncelikle
https://drive.google.com/drive/u/0/my-drive
Drive hesabınıza giriniz ve drive'ım kısmına dataset.zip dosyasını yükleyiniz
Burada önemli bir nokta var başından beri isimleri dataset yapmamızın nedeni klasör ve zip dosyasının adının aynı olması gerekmektedir. Yani başından beri dataset yaptıysanız bir sorun olmayacaktır.

Şimdi yükledikten sonra
https://colab.research.google.com/drive/1XIPCP9ken63S7M6b5ui1b36Cs17sP-NS
Adresine gidiyoruz
Burda bazı önemli noktalardan bahsedeceğim. İşlemlerimizi yaparken bir noktada bizden drive hesabımıza izin vermemizi isteyecek ve bu noktada hangi drive hesabınıza dataset.zip dosyasını attıysanız o drive hesabına izin vermeniz gerekmektedir doğal olarak.

Şimdi aşağıdaki resimler ile basit bir anlatım sunacağım.

1. Adım
Adsız.png

Resimdeki run me first yazısının altındaki play tuşuna basarak bitmesini bekleyeceğiz. Bu noktada ilerlerken üstte de bahsettiğim gibi drive hesabı isteyecek ve bağlayacağız.
İşlem bitince yeşil tik olacak oradan anlayabilirsiniz bu adımın tamamlandığını.

2. Adım
Adsız.png

İkinci adım olarak resimdeki kısım geliyor. Sayfada da gözüktüğü gibi sıra sıra aşağıya doğru iniyoruz.
Burdaki bilgileri resimdeki gibi aynı şekilde doldurun zaten değiştireceğin tek kısım experiment_name: kısmı bu kısımda da dataset yazacaksınız.
Resimdeki gibi yaptıktan sonra tekrardan soldaki beyaz play tuşuna basarak bitmesini bekleyiniz.

Bittikten sonra hızlı biter burası, önemli bir nokta var tekrardan drive'ım kısmına geleceksiniz farklı bir sekme açın bu sayfayı kapatmayın işlerimiz bitmedi daha

Drive'ınızda RvcDisconnected diye bir klasör açıldığını göreceksiniz. dataset.zip dosyasını bu klasörünün içine sürükleyerek atacaksınız.

3. Adım
Screenshot (65).png

Bu adımızda resimdeki kısmı da çalıştırınız. Eğer başarısız olursa önemli değil atlayabilirsiniz.

4. Adım

Adım adım sakince ilerliyoruz şimdi sırada resimdeki kısım var
Screenshot (66).png


Resimde de görüldüğü gibi dataset: kısmına dataset.zip yazıyoruz ve soldaki play işaretinden çalıştırıyoruz. (Kırmızı uyarı alırsanız bazen hemen bulamıyor bir 5-10 saniye bekleyip tekrar çalıştırın bulacaktır)

Bitince bir alttaki "Preprocessing and Feature Extraction" kısmını çalıştırıyoruz.
Bu da bitince "Save preprocessed dataset files to Google Drive" Kısmını çalıştırıyoruz. Unutmayın hepsini yukardan aşağı adım adım ilerleyerek ve bitince çalıştırarak gidiyoruz.

5. Adım

Şimdi resimdekine göre devam ediyoruz işlemlere
Screenshot (67).png


Burdaki de üç adımı sırasıyla üstten aşağıya ve bitmesini bekleyerek sıra sıra çalıştıracağız play tuşundan. (İlkini çalıştırdınız bitmesini bekleyip ikinciye geçiniz)
Burda "Index Training" kısmında hata alırsanız tekrar deneyin yine alırsanız atlayabilirsiniz.


6. Adım

Geldik en önemli kısıma dikkatlice giriniz değerleri!
Screenshot (68).png


Burada değiştireceğimiz tek kısım "total_epochs" kısımı olacak.
Total epochs değeri sizin ses kaydınızın uzunluğuna göre belirlenir.

Biz 30 dakikalık bir ses kaydını modelliyoruz bu yüzden benim önerim 200 veya 250 değeri girmeniz. Ama şöyle bir durum var rvc'yi ücretsiz olarak kullanıyoruz ve bize kullanmamız için bir süre veriyor. 250 yaptığımızda bu süre aşılırsa eğer devam etmemiz için para ödememiz gerekmektedir. Benim önerime göre değeri 200 yapmanız. Böyle de gayet iyi bir şekilde modellemektedir bende öyle kullanıyorum.

Total_epochs değerini 200 yaptıktan sonra bunu da play kısmından çalıştırıyoruz. Bu kısım biraz uzun sürecek 1-2 saat aralığında sürebilir ama benim tavsiyem hep takip etmeniz çünkü eğer bırakıp 2-3 saat sonra gelirseniz kullanım süreniz dolabilir ve sizden para ister.
Çalıştırdığınızda ekranda yüzde olarak devam edecek ordan takip edebilirsiniz bittiğinde zaten yeşil hale dönecek ve tik gelecek.

Eğer bu aşamada "Training" çalıştırırken hata aldıysanız en başa yukarıya dönüp teker teker her şeyi çalıştırın hızlıca bitecektir. Sonra tekrardan bu adımdaki kısmı çalıştırın başarıyla olur.

7. Adım


6. Adımı da tamamladıysanız ve bittiyse işlem burası artık kolay kısımlar
Screenshot (69).png

Bu kısımı da çalıştırınız.
Eğer en son "Index Training" diye bir kısım varsa onu da çalıştırınız yoksa gerek yok.

8. Adım (Son Adım)

Geldik son adıma
Drive'ımıza tekrardan giriyoruz ve RvcDisconnected klasörüne giriyoruz. İçinde dataset klasörü oluşturulmuştur ona giriyoruz.
Adsız.png


Resimdeki gibi bizi burda ilgilendiren sadece iki tane önemli dosyamız var.

"dataset.pth" ve ".index" ile biten dosyalarımız. Sağdaki üç noktaya basarak bunları bilgisayarımıza indiriyoruz.

İndirdikten sonra ikisinide .zip dosyası yapıyoruz resimdeki gibi
Adsız.png


Adsız.png



Son Adım:

İşlemlemlerimiz bu kadar ses modelimiz hazır. Bir sonraki makalemde sizlere bu ses modelini nasıl bir şarkıda kullanabilirsiniz onu anlatacağım.

Beklemek istemiyorsanız bu kısım en kolay kısmı internette bir çok bilgi mevcut. RVC-GUİ ile yapay zekaya kendi sesinizle şarkı söyletebilirsiniz. https://github.com/Tiger14n/RVC-GUI
Bunun nasıl kullanılacağı hakkında makaleyi yayınlayana kadar buraya tıklayarak bu video üzerinden öğrenebilirsiniz. Tek yapmanız gereken başkalarının ses modelleri yerine kendi dataset.zip modelini eklemek olacak.


Umarım iyi bir anlatım olmuştur. Sorularınızı konu altından sorabilirsiniz elimden geldiğince yardımcı olmaya çalışırım. Herkese iyi forumlar dilerim :)
 

Ekli dosyalar

  • Screenshot (64).png
    Screenshot (64).png
    13.9 KB · Görüntüleme: 17
  • Screenshot (67).png
    Screenshot (67).png
    97.8 KB · Görüntüleme: 36
Anlatımı beğendim bayağı güzel olmuş emeğinize sağlık, yapay zeka ile bu denli şeylerin yapılıyor olması muhteşem değil mi sizce de?
 
Bilgi dolu makalenizden dolayı teşekkür ederim @nexus portala gönderdim makalenizi.
 
@Sercan @Tevfik Teşekkür ederim. Yapay zekanın bu kadar ilerlemesiyle beraber, şuan da suno ai ile şarkı yapıp daha sonra kendi sesimizi modelleyip, rvc gui ile de şarkıya söyletebiliyoruz. İnanılmaz bir gelişim.
 
@Sercan @Tevfik Teşekkür ederim. Yapay zekanın bu kadar ilerlemesiyle beraber, şuan da suno ai ile şarkı yapıp daha sonra kendi sesimizi modelleyip, rvc gui ile de şarkıya söyletebiliyoruz. İnanılmaz bir gelişim.
Suno ai biliyorum fakat şarkıya kendi sesimizi entegre edip modellediğimizi bilmiyordum bu gerçekten harika
 
Tok sesi sinematik ses yapmak istediğimizi varsayarak yola çıkmak istersek bu konuda bir izlenim sunarmısınız.
YouTube video çeken biri olarak böyle birseye ihtiyacım var meselaa...
 
Tok sesi sinematik ses yapmak istediğimizi varsayarak yola çıkmak istersek bu konuda bir izlenim sunarmısınız.
YouTube video çeken biri olarak böyle birseye ihtiyacım var meselaa...
Bunun için bir yapay zeka aracı var mı bilmiyorum ama ses düzenleme için Adobe Audition ve iZotope RX gibi programlar bulunuyor. Adobe Audition daha basit bir arayüze sahip ve internette daha çok öğretici içeriği var. Eğer daha ileri düzey bir düzenleme isterseniz, iZotope RX öneririm. Zamanında bu programları öğrenmek için hevesliydim ancak ne yazık ki hevesim biraz yarım kaldı. Ses düzenleme konusunda üst düzey bir bilgim yok maalesef umarım bu programlar işine yarar 😁
 
@nexus konu ile pek alakası yok ama sesli bir video içerisinde konuşmaları otomatik yazıya dökebilecek uygulama veya program tavsiye edebilir misiniz?
 
@nexus konu ile pek alakası yok ama sesli bir video içerisinde konuşmaları otomatik yazıya dökebilecek uygulama veya program tavsiye edebilir misiniz?
Zamanında capcut kullanmıştım basit işlerim için lazımdı. Windows sürümünde var mı bilmiyorum ama telefon için olanında videodaki sesten altyazı oluşturuyordu. 15-20 saniyelik videolarda lazım olduğu için capcut ile sınırlı kalmıştım ama descript diye de bir platform varmış. Ücretli bir uygulama ama ücretsiz bir planda sunuyor.
"Transcription hours
1 hr / month"

Sanırım ücretsiz versiyonunda 1 saatlik transcription'a izin veriyor. Hiç deneme fırsatım olmadı, denemek lazım. "descript.com"

Eğer altyazı değil de sadece konuşmaları yazıya dökecek bir uygulama arıyorsanız. transkriptor.com var bunu da şimdi buldum ücretsiz deneme sunuyor galiba ama genele bakarsak capcut (apk) dışında hepsi ücretli çalışıyor gibi duruyor.
 
Teşekkür ederim @nexus veed captions tavsiye etmişti burada bir arkadaş ben de bir hafta ücretsiz kullandım ve tatmin edici idi bu uygulama/program ile ilgili bilginiz var mı?
 
Bu konuda sizlerle ses modellemesi hakkında bilgi ve deneyimlerimi paylaşmak istiyorum. Kendi sesinizi modellemek, yapay zeka ve teknolojilerinin gelişmesiyle birlikte oldukça kullanışlı ve kolay bir hale geldi.

İnternette bununla alakalı bir çok video var yazı var fakat hemen hemen hepsinde eksik veya yanlış bilgiler bulunmakta.
Adım adım nasıl yapıldığını anlatan bir rehber hazırladım:

1. Ses Kaydı Alınız:
Öncelikle benim önerim 30dk'lık bir ses kaydı almanız, bunu 15-15dk şeklinde alarak daha sonra birleştirebilirsiniz. Sesiniz temiz olmalı ve arkadan ayrı bir (müzik, gürültü) sesi olmamalıdır.
Ses formatı mp3 veya m4a ise bunu internetteki online platformlar ile wav formatına dönüştürmenizi öneririm. (mp3 to wav) diye aratarak bulabilirsiniz.

2. Slicer Gui İle Ses Dosyasını Ayırma:
Masaüstüne dataset diye boş bir klasör açıyoruz.

Buraya tıklayarak bilgisayarınıza slicer gui adlı programı indirmeniz gerekmektedir.
İndirdikten sonra .zip dosyasını masaüstüne çıkartınız ve çıkardıktan sonra klasörden slicer-gui.exe dosyasını çalıştırınız.

Ekli dosyayı görüntüle 215

Resimde gözüktüğü gibi sol üstten ses dosyanızı ekleyiniz ve sağ tarafta browse kısmından da oluşturduğumuz dataset klasörünü seçiniz.
Settings kısmındaki değerleri aynı resimdeki gibi giriniz. Bu işlem ses dosyasını 10'ar saniyelik dosyalara ayıracak.
Start diyerek işlemi başlatacaksınız

İşlem bittiğinde masaüstündeki dataset klasörümüzü .zip yapacağız resimdeki gibi kolaylıkla yapabilirsiniz.
Ekli dosyayı görüntüle 216
Sıkıştırılmış klasöre basınca otomatik dataset.zip yapacaktır.



4. RVC İle Ses Modelleme Aşaması

En önemli kısım şuan da anlatacağım adımlar


Öncelikle
https://drive.google.com/drive/u/0/my-drive
Drive hesabınıza giriniz ve drive'ım kısmına dataset.zip dosyasını yükleyiniz
Burada önemli bir nokta var başından beri isimleri dataset yapmamızın nedeni klasör ve zip dosyasının adının aynı olması gerekmektedir. Yani başından beri dataset yaptıysanız bir sorun olmayacaktır.

Şimdi yükledikten sonra
https://colab.research.google.com/drive/1XIPCP9ken63S7M6b5ui1b36Cs17sP-NS
Adresine gidiyoruz
Burda bazı önemli noktalardan bahsedeceğim. İşlemlerimizi yaparken bir noktada bizden drive hesabımıza izin vermemizi isteyecek ve bu noktada hangi drive hesabınıza dataset.zip dosyasını attıysanız o drive hesabına izin vermeniz gerekmektedir doğal olarak.

Şimdi aşağıdaki resimler ile basit bir anlatım sunacağım.

1. Adım
Ekli dosyayı görüntüle 218
Resimdeki run me first yazısının altındaki play tuşuna basarak bitmesini bekleyeceğiz. Bu noktada ilerlerken üstte de bahsettiğim gibi drive hesabı isteyecek ve bağlayacağız.
İşlem bitince yeşil tik olacak oradan anlayabilirsiniz bu adımın tamamlandığını.

2. Adım
Ekli dosyayı görüntüle 219
İkinci adım olarak resimdeki kısım geliyor. Sayfada da gözüktüğü gibi sıra sıra aşağıya doğru iniyoruz.
Burdaki bilgileri resimdeki gibi aynı şekilde doldurun zaten değiştireceğin tek kısım experiment_name: kısmı bu kısımda da dataset yazacaksınız.
Resimdeki gibi yaptıktan sonra tekrardan soldaki beyaz play tuşuna basarak bitmesini bekleyiniz.

Bittikten sonra hızlı biter burası, önemli bir nokta var tekrardan drive'ım kısmına geleceksiniz farklı bir sekme açın bu sayfayı kapatmayın işlerimiz bitmedi daha

Drive'ınızda RvcDisconnected diye bir klasör açıldığını göreceksiniz. dataset.zip dosyasını bu klasörünün içine sürükleyerek atacaksınız.

3. Adım
Ekli dosyayı görüntüle 220

Bu adımızda resimdeki kısmı da çalıştırınız. Eğer başarısız olursa önemli değil atlayabilirsiniz.

4. Adım

Adım adım sakince ilerliyoruz şimdi sırada resimdeki kısım var
Ekli dosyayı görüntüle 221

Resimde de görüldüğü gibi dataset: kısmına dataset.zip yazıyoruz ve soldaki play işaretinden çalıştırıyoruz. (Kırmızı uyarı alırsanız bazen hemen bulamıyor bir 5-10 saniye bekleyip tekrar çalıştırın bulacaktır)

Bitince bir alttaki "Preprocessing and Feature Extraction" kısmını çalıştırıyoruz.
Bu da bitince "Save preprocessed dataset files to Google Drive" Kısmını çalıştırıyoruz. Unutmayın hepsini yukardan aşağı adım adım ilerleyerek ve bitince çalıştırarak gidiyoruz.

5. Adım

Şimdi resimdekine göre devam ediyoruz işlemlere
Ekli dosyayı görüntüle 222

Burdaki de üç adımı sırasıyla üstten aşağıya ve bitmesini bekleyerek sıra sıra çalıştıracağız play tuşundan. (İlkini çalıştırdınız bitmesini bekleyip ikinciye geçiniz)
Burda "Index Training" kısmında hata alırsanız tekrar deneyin yine alırsanız atlayabilirsiniz.


6. Adım

Geldik en önemli kısıma dikkatlice giriniz değerleri!
Ekli dosyayı görüntüle 224

Burada değiştireceğimiz tek kısım "total_epochs" kısımı olacak.
Total epochs değeri sizin ses kaydınızın uzunluğuna göre belirlenir.

Biz 30 dakikalık bir ses kaydını modelliyoruz bu yüzden benim önerim 200 veya 250 değeri girmeniz. Ama şöyle bir durum var rvc'yi ücretsiz olarak kullanıyoruz ve bize kullanmamız için bir süre veriyor. 250 yaptığımızda bu süre aşılırsa eğer devam etmemiz için para ödememiz gerekmektedir. Benim önerime göre değeri 200 yapmanız. Böyle de gayet iyi bir şekilde modellemektedir bende öyle kullanıyorum.

Total_epochs değerini 200 yaptıktan sonra bunu da play kısmından çalıştırıyoruz. Bu kısım biraz uzun sürecek 1-2 saat aralığında sürebilir ama benim tavsiyem hep takip etmeniz çünkü eğer bırakıp 2-3 saat sonra gelirseniz kullanım süreniz dolabilir ve sizden para ister.
Çalıştırdığınızda ekranda yüzde olarak devam edecek ordan takip edebilirsiniz bittiğinde zaten yeşil hale dönecek ve tik gelecek.

Eğer bu aşamada "Training" çalıştırırken hata aldıysanız en başa yukarıya dönüp teker teker her şeyi çalıştırın hızlıca bitecektir. Sonra tekrardan bu adımdaki kısmı çalıştırın başarıyla olur.

7. Adım


6. Adımı da tamamladıysanız ve bittiyse işlem burası artık kolay kısımlar
Ekli dosyayı görüntüle 225
Bu kısımı da çalıştırınız.
Eğer en son "Index Training" diye bir kısım varsa onu da çalıştırınız yoksa gerek yok.

8. Adım (Son Adım)

Geldik son adıma
Drive'ımıza tekrardan giriyoruz ve RvcDisconnected klasörüne giriyoruz. İçinde dataset klasörü oluşturulmuştur ona giriyoruz.
Ekli dosyayı görüntüle 226

Resimdeki gibi bizi burda ilgilendiren sadece iki tane önemli dosyamız var.

"dataset.pth" ve ".index" ile biten dosyalarımız. Sağdaki üç noktaya basarak bunları bilgisayarımıza indiriyoruz.

İndirdikten sonra ikisinide .zip dosyası yapıyoruz resimdeki gibi
Ekli dosyayı görüntüle 227

Ekli dosyayı görüntüle 228


Son Adım:

İşlemlemlerimiz bu kadar ses modelimiz hazır. Bir sonraki makalemde sizlere bu ses modelini nasıl bir şarkıda kullanabilirsiniz onu anlatacağım.

Beklemek istemiyorsanız bu kısım en kolay kısmı internette bir çok bilgi mevcut. RVC-GUİ ile yapay zekaya kendi sesinizle şarkı söyletebilirsiniz. https://github.com/Tiger14n/RVC-GUI
Bunun nasıl kullanılacağı hakkında makaleyi yayınlayana kadar buraya tıklayarak bu video üzerinden öğrenebilirsiniz. Tek yapmanız gereken başkalarının ses modelleri yerine kendi dataset.zip modelini eklemek olacak.


Umarım iyi bir anlatım olmuştur. Sorularınızı konu altından sorabilirsiniz elimden geldiğince yardımcı olmaya çalışırım. Herkese iyi forumlar dilerim :)
Emeğinize sağlık
 
Teşekkür ederim @nexus veed captions tavsiye etmişti burada bir arkadaş ben de bir hafta ücretsiz kullandım ve tatmin edici idi bu uygulama/program ile ilgili bilginiz var mı?
Hiç kullanmadım sizden duyuyorum ilk defa, bir kenara not edeyim lazım olduğunda bende kullanırım. Teşekkürler 😁
 
Hiç kullanmadım sizden duyuyorum ilk defa, bir kenara not edeyim lazım olduğunda bende kullanırım. Teşekkürler 😁
Uygulamayı ben de kullanıyorum bayağı memnunum, sosyal ağlara yüklenecek videoları özgünleştiriyor altyazı ekleyerek :)
 
Gayet güzel ve detaylı bir anlatım olmuş. Emeğinize sağlık.
 

Konuyu Kimler Okuyor

Geri