NVIDIA NeMo Çerçevesi

Özellikler

• Ürün Adı: NVIDIA NeMo Çerçevesi
• Etkilenen Platformlar: Windows, Linux, macOS
• Etkilenen Sürümler: 24'ten önceki tüm sürümler
• Güvenlik Açığı: CVE-2025-23360
• Risk Değerlendirme Taban Puanı: 7.1 (CVSS sürüm 3.1)

Ürün Kullanım Talimatları

Güvenlik Güncelleştirmesi Kurulumu:
Sisteminizi korumak için şu adımları izleyin:

1. GitHub'daki NeMo-Framework-Launcher Sürümleri sayfasından son sürümü indirin.
2. Daha fazla bilgi için NVIDIA Ürün Güvenliği'ne gidin.

Güvenlik Güncelleştirmesi Ayrıntıları:
Güvenlik güncelleştirmesi, NVIDIA NeMo Framework'te kod yürütme ve veri kaybına yol açabilecek bir güvenlik açığını giderir.amperiyor.

Yazılım güncellemesi:
Daha önceki bir dal sürümü kullanıyorsanız, güvenlik sorununu gidermek için en son dal sürümüne yükseltmeniz önerilir.

Üzerindeview

NVIDIA NeMo Framework, araştırmacılar ve geliştiriciler için geliştirilmiş ölçeklenebilir ve bulut tabanlı bir yapay zeka çerçevesidir. Büyük Dil Modelleri, Çok modlu ve Konuşma AI (örneğin Otomatik Konuşma Tanıma Ve Metinden Konuşmaya). Kullanıcıların mevcut kod ve önceden eğitilmiş model kontrol noktalarından yararlanarak yeni üretken yapay zeka modellerini verimli bir şekilde oluşturmasını, özelleştirmesini ve dağıtmasını sağlar.

Kurulum Talimatları: NeMo Framework'ü yükleyin

Büyük Dil Modelleri ve Çok Modlu Modeller
NeMo Framework, Büyük Dil Modelleri (LLM'ler) ve Çok Modlu Modeller (MM'ler) geliştirmek için uçtan uca destek sağlar. Şirket içinde, bir veri merkezinde veya tercih ettiğiniz bulut sağlayıcısıyla birlikte kullanım esnekliği sağlar. Ayrıca SLURM veya Kubernetes etkin ortamlarda yürütmeyi destekler.

Veri Düzenleme
NeMo Küratörü [1] veri madenciliği ve sentetik veri üretimi için bir modül paketi içeren bir Python kütüphanesidir. Ölçeklenebilir ve GPU'lar için optimize edilmişlerdir, bu da onları LLM'leri eğitmek veya ince ayar yapmak için doğal dil verilerini düzenlemek için ideal hale getirir. NeMo Curator ile kapsamlı ham verilerden yüksek kaliteli metni verimli bir şekilde çıkarabilirsiniz web Veri kaynakları.

Eğitim ve Özelleştirme

NeMo Framework, verimli eğitim ve özelleştirme için araçlar sağlar Yüksek Lisans Dereceleri ve Çok Modlu modeller. Hesaplama kümesi kurulumu, veri indirme ve yeni veri kümeleri ve modeller üzerinde eğitime ayarlanabilen model hiperparametreleri için varsayılan yapılandırmaları içerir. Ön eğitime ek olarak, NeMo hem Denetlenen İnce Ayar (SFT) hem de LoRA, Ptuning ve daha fazlası gibi Parametre Verimli İnce Ayar (PEFT) tekniklerini destekler.

NeMo'da eğitimi başlatmak için iki seçenek mevcuttur: NeMo 2.0 API arayüzünü kullanmak veya NeMo Run'ı kullanmak.

• NeMo Run ile (Önerilen): NeMo Run, çeşitli hesaplama ortamlarında deneylerin yapılandırılmasını, yürütülmesini ve yönetimini kolaylaştırmak için bir arayüz sağlar. Bu, iş istasyonunuzda yerel olarak veya büyük kümelerde işleri başlatmayı içerir - hem SLURM etkin hem de bulut ortamında Kubernetes.
  • NeMo Run ile Ön Eğitim ve PEFT Hızlı Başlangıç
• NeMo 2.0 API'sini kullanma: Bu yöntem, küçük modeller içeren basit bir kurulumla veya kendi özel veri yükleyicinizi, eğitim döngülerinizi yazmakla veya model katmanlarını değiştirmekle ilgileniyorsanız iyi çalışır. Size yapılandırmalar üzerinde daha fazla esneklik ve kontrol sağlar ve yapılandırmaları programatik olarak genişletmeyi ve özelleştirmeyi kolaylaştırır.
  • TraNeMo 2.0 API ile Hızlı Başlangıç
  • NeMo 1.0'dan NeMo 2.0 API'sine geçiş

Hizalama

• NeMo-Hizalayıcı [1] verimli model hizalaması için ölçeklenebilir bir araç takımıdır. Araç takımı, SteerLM, DPO, İnsan Geri Bildiriminden Güçlendirme Öğrenmesi (RLHF) ve çok daha fazlası gibi son teknoloji model hizalama algoritmalarını destekler. Bu algoritmalar kullanıcıların dil modellerini daha güvenli, zararsız ve yararlı olacak şekilde hizalamalarını sağlar.
• Tüm NeMo-Aligner kontrol noktaları NeMo ekosistemiyle çapraz uyumludur ve bu da daha fazla özelleştirme ve çıkarım dağıtımına olanak tanır.

Küçük bir GPT-2B modelinde RLHF'nin üç aşamasının adım adım iş akışı:

• SFT eğitimi
• Ödül modeli eğitimi
• PPO eğitimi

Ayrıca, çeşitli diğer yeni hizalama yöntemlerine de destek gösteriyoruz:

• VDP: RLHF'ye kıyasla daha basit bir kayıp fonksiyonuna sahip, daha hafif bir hizalama algoritmasıdır.
• Kendi kendine oyun İnce Ayar (SPIN)
• YönlendirLM: Koşullandırılmış-SFT'ye dayalı, yönlendirilebilir çıktıya sahip bir teknik.

Daha fazla bilgi için dokümanlara göz atın: Hizalama Belgeleri

Çok Modlu Modeller

• NeMo Framework, çeşitli kategorilerde en son teknoloji ürünü çok modlu modelleri eğitmek ve dağıtmak için optimize edilmiş yazılım sağlar: Çok Modlu Dil Modelleri, Görme-Dil Temelleri, Metinden Görüntüye modeller ve Sinirsel Işıltı Alanları (NeRF) kullanılarak 2B Üretiminin ötesinde.
• Her kategori, metin, resim ve 3 boyutlu modeller de dahil olmak üzere çok çeşitli veri türlerini işlemek için son teknoloji modellerden yararlanarak alandaki belirli ihtiyaçları ve gelişmeleri karşılamak üzere tasarlanmıştır.

Dağıtım ve Çıkarım
NeMo Framework, farklı dağıtım senaryolarına ve performans ihtiyaçlarına hitap ederek LLM çıkarımı için çeşitli yollar sağlar.

NVIDIA NIM ile dağıtın

• NeMo Framework, NVIDIA NIM aracılığıyla kurumsal düzeydeki model dağıtım araçlarıyla sorunsuz bir şekilde bütünleşir. Bu bütünleşme, NVIDIA TensorRT-LLM tarafından desteklenir ve optimize edilmiş ve ölçeklenebilir çıkarım sağlar.
• NIM hakkında daha fazla bilgi için NVIDIA'yı ziyaret edin webalan.

TensorRT-LLM veya vLLM ile dağıtın

• NeMo Framework, modelleri iki çıkarım optimize edilmiş kütüphane olan TensorRT-LLM ve vLLM'ye aktarmak ve aktarılan modeli NVIDIA Triton Inference Server ile dağıtmak için betikler ve API'ler sunar.
• Optimize edilmiş performans gerektiren senaryolar için NeMo modelleri, NVIDIA GPU'larında LLM çıkarımını hızlandırmak ve optimize etmek için özel bir kütüphane olan TensorRT-LLM'den yararlanabilir. Bu süreç, NeMo modellerini nemo.export modülünü kullanarak TensorRT-LLM ile uyumlu bir biçime dönüştürmeyi içerir.
  • LLM Dağıtımı Bittiview
  • NeMo Büyük Dil Modellerini NIM ile Dağıtın
  • TensorRT-LLM ile NeMo Büyük Dil Modellerini Dağıtın
  • NeMo Büyük Dil Modellerini vLLM ile Dağıtın

Desteklenen Modeller

Büyük Dil Modelleri

Büyük Dil Modelleri

Büyük Dil Modelleri	Ön Eğitim ve SFT	EKİP	Hizalama	FP8 Eğitim Yakınsaması	TRT/TRTLLM	Sarılma Yüzüne Dönüştür ve Sarılma Yüzünden Dönüştür	Değerlendirme
Lama3 8B/70B, Lama3.1 405B	Evet	Evet	x	Evet (kısmen doğrulandı)	Evet	İkisi birden	Evet
Karıştırma 8x7B/8x22B	Evet	Evet	x	Evet (doğrulanmamış)	Evet	İkisi birden	Evet
Nemotron3 8B	Evet	x	x	Evet (doğrulanmamış)	x	İkisi birden	Evet
Nemotron4 340B	Evet	x	x	Evet (doğrulanmamış)	x	İkisi birden	Evet
Baichuan2 7B	Evet	Evet	x	Evet (doğrulanmamış)	x	İkisi birden	Evet
SohbetGLM3 6B	Evet	Evet	x	Evet (doğrulanmamış)	x	İkisi birden	Evet
Gemma 2B/7B	Evet	Evet	x	Evet (doğrulanmamış)	Evet	İkisi birden	Evet
Gemma2 2B/9B/27B	Evet	Evet	x	Evet (doğrulanmamış)	x	İkisi birden	Evet
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Evet	Evet	x	Evet (doğrulanmamış)	x	x	Evet
Phi3 mini 4k	x	Evet	x	Evet (doğrulanmamış)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Evet	Evet	x	Evet (doğrulanmamış)	Evet	İkisi birden	Evet
Yıldız Kodlayıcı 15B	Evet	Evet	x	Evet (doğrulanmamış)	Evet	İkisi birden	Evet
YıldızKodlayıcı2 3B/7B/15B	Evet	Evet	x	Evet (doğrulanmamış)	Evet	İkisi birden	Evet
BERT 110M/340M	Evet	Evet	x	Evet (doğrulanmamış)	x	İkisi birden	x
T5 220M/3B/11B	Evet	Evet	x	x	x	x	x

 

Görme Dil Modelleri

 

Modelleri Yerleştirme

 

Dünya Vakıf Modelleri

Not
NeMo ayrıca hem difüzyon hem de otoregresif mimariler için ön eğitimi destekler text2world temel modelleri.

Konuşma AI

Konuşma AI modelleri geliştirmek, belirli alanlardaki modelleri tanımlamayı, oluşturmayı ve eğitmeyi içeren karmaşık bir süreçtir. Bu süreç genellikle yüksek bir doğruluk düzeyine ulaşmak için birkaç yineleme gerektirir. Genellikle yüksek doğruluk elde etmek, çeşitli görevler ve alana özgü veriler üzerinde ince ayar yapmak, eğitim performansını garantilemek ve modelleri çıkarım dağıtımı için hazırlamak için birden fazla yineleme içerir.

NeMo Framework, Konuşma AI modellerinin eğitimi ve özelleştirilmesi için destek sağlar. Bu, Otomatik Konuşma Tanıma (ASR) ve Metinden Konuşmaya (TTS) sentezi gibi görevleri içerir. NVIDIA Riva ile kurumsal düzeyde üretim dağıtımına sorunsuz bir geçiş sunar. Geliştiricilere ve araştırmacılara yardımcı olmak için NeMo Framework, en son teknoloji önceden eğitilmiş kontrol noktaları, yeniden üretilebilir konuşma verisi işleme araçları ve konuşma veri kümelerinin etkileşimli keşfi ve analizi için özellikler içerir. Konuşma AI için NeMo Framework'ün bileşenleri şunlardır:

Eğitim ve Özelleştirme
NeMo Framework, konuşma modellerini eğitmek ve özelleştirmek için gereken her şeyi içerir (ASR, Konuşma Sınıflandırması, Konuşmacı Tanıma, Konuşmacının Günlüğü, Ve TTS) tekrarlanabilir bir şekilde.

SOTA Önceden Eğitilmiş Modeller

• NeMo Framework, çeşitli programların en son tariflerini ve önceden eğitilmiş kontrol noktalarını sağlar. ASR Ve TTS modeller ve bunların nasıl yükleneceğine dair talimatlar.
• Konuşma Araçları
• NeMo Framework, ASR ve TTS modelleri geliştirmek için yararlı bir dizi araç sağlar, bunlar şunları içerir:
  • NeMo Zorunlu Hizalayıcı (NFA) token, kelime ve segment düzeyinde zaman ölçümü oluşturmak içinampNeMo'nun CTC tabanlı Otomatik Konuşma Tanıma modellerini kullanarak konuşma seslerini sese dönüştürün.
  • Konuşma Veri İşlemcisi (SDP), konuşma verisi işlemeyi basitleştirmek için bir araç takımı. Veri işleme işlemlerini bir yapılandırmada temsil etmenize olanak tanır file, kalıp kodları en aza indirerek yeniden üretilebilirlik ve paylaşılabilirliğe olanak tanır.
  • Konuşma Veri Gezgini (SDE), Dash tabanlı web Konuşma veri kümelerinin etkileşimli keşfi ve analizi için uygulama.
  • Veri seti oluşturma aracı uzun ses dosyalarını hizalamak için işlevsellik sağlayan fileİlgili transkriptlerle birlikte bunları Otomatik Konuşma Tanıma (ASR) modeli eğitimine uygun daha kısa parçalara bölün.
  • Karşılaştırma Aracı ASR Modellerinin kelime doğruluğu ve ifade düzeyinde farklı ASR modellerinin tahminlerini karşılaştırması.
  • ASR Değerlendiricisi ASR modellerinin ve Ses Etkinliği Algılama gibi diğer özelliklerin performansını değerlendirmek için.
  • Metin Normalizasyon Aracı Metni yazılı biçimden sözlü biçime ve tam tersine dönüştürmek için (örneğin “31st” ve “thirty first”).
• Dağıtım Yolu
• NeMo Framework kullanılarak eğitilen veya özelleştirilen NeMo modelleri NVIDIA Riva ile optimize edilebilir ve dağıtılabilir. Riva, basmalı düğme dağıtımı için adımları otomatikleştirmek üzere özel olarak tasarlanmış kapsayıcılar ve Helm grafikleri sağlar.

Diğer Kaynaklar

GitHub Depoları

• NeMo: NeMo Framework için ana depo
• NeMo–Koşmak: Makine öğrenimi deneylerinizi yapılandırmak, başlatmak ve yönetmek için bir araç.
• NeMo-Hizalayıcı: Verimli model hizalaması için ölçeklenebilir araç takımı
• NeMo-Küratör: LLM'ler için ölçeklenebilir veri ön işleme ve küratörlük araç takımı

Yardım Alma
NeMo topluluğuyla etkileşime geçin, sorular sorun, destek alın veya hataları bildirin.

• NeMo Tartışmaları
• NeMo Sorunları

Programlama Dilleri ve Çerçeveleri

• piton: NeMo Framework'ü kullanmak için ana arayüz
• Pişirici meşale: NeMo Framework, PyTorch'un üzerine kurulmuştur

Lisanslar

• NeMo Github deposu Apache 2.0 lisansı altında lisanslanmıştır
• NeMo Framework, NVIDIA AI ÜRÜN SÖZLEŞMESİ kapsamında lisanslanmıştır. Konteyneri çekip kullanarak, bu lisansın hüküm ve koşullarını kabul etmiş olursunuz.
• NeMo Framework konteyneri, Meta Llama3 Topluluk Lisans Sözleşmesi tarafından yönetilen Llama materyallerini içerir.

Dipnotlar
Şu anda, NeMo Curator ve NeMo Aligner'ın Multimodal modeller için desteği devam eden bir çalışma olup çok yakında kullanıma sunulacaktır.

SSS

S: Sistemimin güvenlik açığından etkilenip etkilenmediğini nasıl kontrol edebilirim?
A: NVIDIA NeMo Framework'ün yüklü sürümünü doğrulayarak sisteminizin etkilenip etkilenmediğini kontrol edebilirsiniz. Sürüm 24'ün altındaysa sisteminiz savunmasız olabilir.

S: CVE-2025-23360 güvenlik sorununu kim bildirdi?
A: Güvenlik sorunu Or Peles – JFrog Security tarafından bildirildi. NVIDIA onların katkısını kabul ediyor.

S: Gelecekteki güvenlik bülteni bildirimlerini nasıl alabilirim?
A: Güvenlik bülteni bildirimlerine abone olmak ve ürün güvenlik güncelleştirmeleri hakkında bilgi sahibi olmak için NVIDIA Ürün Güvenliği sayfasını ziyaret edin.

Belgeler / Kaynaklar

NVIDIA NeMo Çerçevesi [pdf] Kullanıcı Kılavuzu NeMo Çerçevesi, NeMo, Çerçeve

Referanslar

• Kullanıcı Kılavuzu