AI Bültenim Yapay Zeka Haber Portalı Logosu
Yayınlanma: Yazar: Sorumlu editör: İsmail Hakkı EREN1 dk okuma süresi

Yazar, NVIDIA Nemotron ile çalışan MonsterHouse'u Halloween'de tanıttı

Yazar, Halloween için geliştirdiği MonsterHouse adlı interaktif projeksiyonu tanıttı. Proje, çocukları dinleyip huysuz bir korsan gemisi sesiyle yanıt veren ve kibar davranıldığında yumuşayan bir karakter olarak NVIDIA Nemotron Voice Agent üzerine kurulu.

Paylaş
Garaj kapısının ahşap tahtalarından sivri dişler gibi çıkan ağzın arkasında sanal alevlerin parladığı Halloween dekorasyonu
Projenin zor olması beklenen kısmı, yazarın ifadesiyle, yinelemeli ve kolay bir sürece dönüştü.

Yazar, Halloween için geliştirdiği MonsterHouse adlı interaktif projeksiyonu tanıttı. Proje, çocukları dinleyip huysuz eski bir korsan gemisi sesiyle yanıt veriyor ve ziyaretçiler nezaket gösterdiğinde yumuşuyor. MonsterHouse, NVIDIA Nemotron Voice Agent üzerine kurulu. Sistemde dinleme için Nemotron Speech, beyin görevi için Nemotron 3.5 Bolt E4B 4GB, canlı ses için NVIDIA Magpie TTS Zeroshot ve ağzın konuşması için NVIDIA Audio2Face-3D kullanılıyor. Sistem tek bir iş istasyonunda çalışıyor.

Yazar, evine gelen çocukların eğlenceli ve farklı bir şekilde etkileşime girmesini istediğini anlatıyor. Evin şekerleri dağıtması planlanmış, ancak korkutucu değil daha çok huysuz olması isteniyor. Çözüm olarak garaj kapısına bir ağız verilip ona şikayet etmeyi öğretmek seçilmiş. Yazar, ahşap kapı tahtalarının sivri dudaklara ayrıldığını ve ağzı açıldığında arkasından alevlerin göründüğünü hayal ettiğini belirtiyor.

Karakter, Autodesk Maya'da oluşturulan SkelMesh modeliyle hazırlandı. Yüz ifadesi şekillerini Audio2Face-3D'nin canlandırabilmesi için özel bir animasyon düzeneği kuruldu. Model Unreal Engine'e aktarılarak kapının arkasına sanal ateş ve efektler eklendi. Karakterin gözü, kaşı ve göz kırpması bulunmuyor.

Yazar, NVIDIA'nın Nemotron Voice Agent'ı geliştirdiğini ve dinleme, konuşma ve ses altyapısını hazır aldığını belirtiyor. Projenin zor olması beklenen kısmı, yazarın ifadesiyle, yinelemeli ve kolay bir sürece dönüştü.

Öne Çıkanlar

  • Ne oldu: Yazar, Halloween için garaj kapısına ağız eklenen MonsterHouse projesini tanıttı; kapı huysuz bir korsan gemisi sesiyle yanıt veriyor.
  • Neden önemli: Proje, NVIDIA Nemotron Speech, Nemotron 3.5 Bolt E4B 4GB, Magpie TTS Zeroshot ve Audio2Face-3D bileşenlerini tek iş istasyonunda bir araya getiriyor.
  • Ne izlenmeli: Yazarın NVIDIA Nemotron Voice Agent'ı hazır altyapı olarak kullanmasının yinelemeli süreci ne kadar kolaylaştırdığı ve projenin başka etkinliklerde kullanılıp kullanılmayacağı.
Paylaş:
Yazı Boyutu:

Kaynak: Hugging Face Blog

Sıkça Sorulan Sorular

MonsterHouse, yazarın Halloween için geliştirdiği interaktif bir projeksiyondur. Garaj kapısına eklenen bir ağız, gelen çocuklarla konuşur.

Proje NVIDIA Nemotron Voice Agent üzerine kurulu. Dinleme için Nemotron Speech, beyin görevi için Nemotron 3.5 Bolt E4B 4GB, ses için Magpie TTS Zeroshot ve ağız animasyonu için Audio2Face-3D kullanılıyor.

Karakter huysuz eski bir korsan gemisi sesiyle yanıt veriyor. Ziyaretçiler nezaket gösterdiğinde ise yumuşuyor.

Sistem tek bir iş istasyonunda çalışıyor. Karakter Autodesk Maya ile modellenmiş, sanal ateş ve efektler ise Unreal Engine ile eklenmiş.

Bahsedilenler

  • NVIDIA · Organization kaynak
  • NVIDIA Nemotron Voice Agent · SoftwareApplication
  • MonsterHouse · SoftwareApplication
  • Autodesk Maya · SoftwareApplication kaynak
  • Unreal Engine · SoftwareApplication kaynak

İlgili Konu Etiketleri