TRELLIS.2 İnce Ayar Rehberi: 3B Üretim Modellerine LoRA ile Geometri Düzeltme
Haberler

TRELLIS.2 İnce Ayar Rehberi: 3B Üretim Modellerine LoRA ile Geometri Düzeltme

· 4 DK

Yazar: KOZBA

İçindekiler
  1. TRELLIS.2 Nasıl Çalışıyor?
  2. Hangi Katmanlar Eğitiliyor, Hangileri Donduruluyor?
  3. Veri Hazırlığı ve Eğitim Akışı
  4. Neden Bu Rehber Önemli?
  5. Sınırlar
  6. Sonuç

Hugging Face, 3B (üç boyutlu) üretim modellerini kendi verinizle uyarlamanın önündeki en büyük engeli kaldıran bir rehber yayınladı. Yayın, popüler açık model TRELLIS.2'yi LoRA (düşük ranklı uyarlama) ile ince ayarlamak için hazır betikler ve Docker konteynerleri içeriyor. Çalışma hem yerelde hem de Hugging Face Jobs üzerinde yürütülebiliyor.

Yazıyı Suvaditya Mukherjee ve merve hazırladı. Temel problem şu: genel amaçlı bir 3B üretim modeli, belirli bir uygulamada kritik olan detaylarda hata yapabiliyor. Örneğin mobilya modelleri için doğru geometri gerekiyorsa, önceden eğitilmiş model yeterince isabetli geometri üretmeyebiliyor.

TRELLIS.2 Nasıl Çalışıyor?

Modelin hattı beş ana aşamadan oluşuyor: görselin arka planını kaldırma, görseli kodlama, kaba yapıyı tahmin etme, detaylı geometri üretme ve malzeme üretme. Sonuç, dokulu bir ağ (mesh) olarak dışa aktarılıyor.

  • Arka plan ve kodlama: BiRefNet arka planı siliyor, DINOv3-L görseli özellik tokenlarına çeviriyor.
  • Sparse Structure Flow: Bir difüzyon transformeri (DiT), 16³ × 8 boyutunda küçük bir latent üretiyor. VAE çözücüsü bunu 64 × 64 × 64 doluluk ızgarasına dönüştürüyor.
  • Shape Flow: Doluluk ızgarası ve DINOv3 özellikleriyle nesnenin geometrisi 512 × 512 × 512 çözünürlükte O-Voxel formatında üretiliyor.
  • Texture Flow: Yüzeyin taban renk, metalik, pürüzlülük ve alfa değerleri üretiliyor; sonra geometri ve malzeme birleşip GLB olarak dışa aktarılıyor.

O-Voxel, TRELLIS.2'nin 3B formatı: yalnızca nesnenin yüzeyindeki vokselleri tutan seyrek bir ızgara. Bu sayede hesaplama boş vokselere harcanmıyor; model ızgaranın yaklaşık yüzde 10'unu kullanıyor.

Hangi Katmanlar Eğitiliyor, Hangileri Donduruluyor?

Rehberin en öğretici kısmı burada: "neyi dondurduğunuz, neyi eğittiğiniz kadar önemli." Deneyde GSO (Google Scanned Objects) veri setinden 188 ayakkabı nesnesi kullanılıyor. Önceden eğitilmiş model ayakkabıları genelde doğru üretiyor ama taban geometrisi hatalı çıkıyor. Amaç, tabanı düzeltmek.

Buna göre LoRA adaptörleri yalnızca iki yere ekleniyor:

  • Sparse Structure Flow DiT: Dikkat ve ileri beslemeli (MLP) katmanlarında rank 8 adaptör.
  • Shape Flow DiT: Dikkat katmanlarında rank 16 adaptör.

Texture Flow DiT donduruluyor. Nedeni veri: veri setindeki renk haritaları ışıklandırmayı da içeriyor, yani difüz renk haritaları. Doku akışını eğitmek için ayrı malzeme haritaları gerekir. Bu haritalarla eğitim yapılırsa model ışığı yüzey özelliği sanmayı öğrenebilir ve önceki öğrendiklerini unutabilir — literatürde "felaket unutma" denen durum.

Toplamda yaklaşık 9,3 milyon adaptör parametresi eğitiliyor. 188 nesnelik küçük bir veri seti için tam ince ayar yerine LoRA tercih edilmesinin nedeni hem maliyet hem de modelin mevcut ön kabullerini bozmama isteği.

Veri Hazırlığı ve Eğitim Akışı

Süreç üç adıma ayrılıyor: veriyi hazırlamak, adaptörleri eğitmek ve kodu incelemek. Hazırlık konteyneri Blender'ı ekransız modda (xvfb-run) çalıştırarak her nesne için 16 görünüm render ediyor; bu görünümler koşullama görselleri olarak kullanılıyor. Ardından nesneler TRELLIS.2'nin ön işleme hattından geçirilerek latent temsillere çevriliyor.

Ölçek referansı olarak: 188 nesne için tam ön işleme, a100-large donanımında yaklaşık 1 saat sürdü. Eğitim tarafında ss ve shape olmak üzere iki mod var; her mod farklı bir yapılandırma dosyasına işaret ediyor. Eğitim metrikleri Trackio ile kaydedilip panodan izlenebiliyor.

Hugging Face Jobs üzerinde çalıştırma için tipik komut yapısı şöyle:

  • Ön işleme: hf jobs run --flavor a100-large --timeout 6h ile hazırlık imajı, --meshes ve --push-to argümanlarıyla.
  • Eğitim: hf jobs run --flavor a100-large --timeout 12h ile eğitim imajı, --config ss, --latents, --push-to, --run-name argümanlarıyla.

Her iki komut da -d ile arka planda başlatılabiliyor ve hf jobs logs -f ile izlenebiliyor. Her iki adım da kaldığı yerden devam edebiliyor: ön işleme tamamlanmış nesneleri atlıyor, eğitim en son checkpoint'ten sürüyor.

Neden Bu Rehber Önemli?

3B üretim, robotik, simülasyon, medya ve eğlence için kullanılıyor ama bu alanlarda üretilen nesnelerin katı kurallara uyması ve temsillerin standartlaşması zor. GLB, PLY gibi çok sayıda dosya formatı; NeRF ve 3B Gaussian splatting gibi farklı temsiller var. TRELLIS'in getirdiği ortak latent temsil, tek bir modelin farklı çıktı formatlarına dönüşebilmesini sağlıyor.

Rehberin pratik değeri, "sıfırdan model eğitmek" ile "hiç dokunmamak" arasındaki boşluğu doldurması: küçük bir veri setiyle, seçilmiş iki DiT üzerinde, milyonlarca değil 9,3 milyon parametre eğiterek belirli bir kategoriyi iyileştirmek mümkün.

Sınırlar

  • Deney tek bir kategori (ayakkabı) ve 188 nesneyle sınırlı; başka kategorilerde veri setinin büyüklüğü ve malzeme haritalarının varlığı sonucu değiştirir.
  • Doku/malzeme kalitesi bu rehberde iyileştirilmiyor, olduğu gibi bırakılıyor.
  • Eğitim ve ön işleme için A100 sınıfı GPU gerekiyor; yerel donanımda süre ve bellek maliyeti belirleyici.

Sonuç

Hugging Face'in yayını, 3B üretim modellerini üretim ortamına yaklaştıran somut bir adım. Kod ve konteynerler açık; kendi GLB/OBJ varlıklarınızı Hub'a yükleyip aynı akışı kendi kategorinizde denemek mümkün. Sonuçları değerlendirirken tek bir GIF'e değil, kategori genelinde geometri tutarlılığına bakmak gerekiyor.

Paylaş