LLM fine-tuning için kaç örnek gerekir? Bu soruya 50, 500 ya da 5.000 gibi tek bir sayıyla yanıt vermek kolay. Sorun şu ki veri kümesinin büyüklüğü, tek başına pek bir şey anlatmaz.
Birbirinin neredeyse aynısı 1.000 kayıt, olağan vakaları, sınır durumlarını, reddedilmesi gereken istekleri, farklı çıktı biçimlerini ve şirkete para kaybettiren hataları kapsayan 100 iyi seçilmiş örnekten daha az işe yarayabilir. Asıl mesele kaç satır olduğu değil, modelin öğrenmesi gereken davranışların veri kümesinde yer alıp almadığıdır.
Yine de bir yerden başlamak gerekir. Temel model hedeflenen davranışa zaten yakınsa, supervised fine-tuning (denetimli ince ayar) için özenle incelenmiş 50 örnek, tek ve dar kapsamlı bir davranışı sınamaya yetebilir. Birkaç farklı vaka türü içeren görevlerde çoğu zaman yüzlerce örnek gerekir. Kapsam genişledikçe, birden fazla dil devreye girdikçe veya hataların maliyeti arttıkça ihtiyaç binlere çıkabilir. Ancak ilk değerlendirmeyi yapmadan bu kadar veri toplamak genellikle hatadır.
Dolayısıyla aşağıdaki sayılar üretim garantisi değil, ilk deney için başlangıç noktalarıdır. Gerçek ihtiyaç; modelin ne öğrenmesi gerektiğine, temel modelin bugünkü performansına ve önemli vakaların veri kümesinde ne ölçüde temsil edildiğine bağlıdır.
Bu yazıda, girdi ve istenen çıktı örnekleriyle yapılan supervised fine-tuning ele alınıyor. Modelin tamamını güncellemek veya LoRA gibi parametre verimli bir yöntem kullanmak bu kapsama girer. Tercih optimizasyonu ile reinforcement fine-tuning ise farklı veri türleri gerektirir ve ayrıca değerlendirilmelidir.
İlk deneyde kaç örnek kullanılmalı?
Tablodaki aralıklar, üretimde kullanılacak nihai veri kümesini değil ilk deneyi planlamak içindir.
| Amaç | İlk eğitim kümesi | Bunun işe yaraması için |
|---|---|---|
| Çıktı biçimini, üslubu veya etiketleri tutarlı hâle getirmek | Yaklaşık 50 örnek | Temel model çoğu zaman doğru yanıt veriyor, ancak tutarlı değil |
| Birkaç sık karşılaşılan vaka türünde sınıflandırma veya bilgi çıkarma | 50 ila 100 örnek | Önemli sınıflar ve sınır vakaları veri kümesinde yer alıyor |
| Birbiriyle ilişkili birkaç davranış, çıktı biçimi veya dil | 100 ila 300 örnek | Her koşulu kendi başına değerlendirmeye yetecek kadar farklı örnek var |
| Geniş kapsamlı muhakeme veya çok adımlı iş akışı | Önce parçalara ayırın | Tek bir toplam sayı, farklı görevleri ve hata türlerini gizler |
| Güncel veya sık değişen şirket bilgilerini öğretmek | Sıfır eğitim örneği | Fine-tuning yerine retrieval, veri tabanı sorgusu veya başka bir araç kullanın |
Çıktı biçimini, üslubu veya etiketleri tutarlı hâle getirmek
İlk eğitim kümesi
Yaklaşık 50 örnek
Temel model çoğu zaman doğru yanıt veriyor, ancak tutarlı değil
Birkaç sık karşılaşılan vaka türünde sınıflandırma veya bilgi çıkarma
İlk eğitim kümesi
50 ila 100 örnek
Önemli sınıflar ve sınır vakaları veri kümesinde yer alıyor
Birbiriyle ilişkili birkaç davranış, çıktı biçimi veya dil
İlk eğitim kümesi
100 ila 300 örnek
Her koşulu kendi başına değerlendirmeye yetecek kadar farklı örnek var
Geniş kapsamlı muhakeme veya çok adımlı iş akışı
İlk eğitim kümesi
Önce parçalara ayırın
Tek bir toplam sayı, farklı görevleri ve hata türlerini gizler
Güncel veya sık değişen şirket bilgilerini öğretmek
İlk eğitim kümesi
Sıfır eğitim örneği
Fine-tuning yerine retrieval, veri tabanı sorgusu veya başka bir araç kullanın
50 örnek önerisi rastgele seçilmiş değil. OpenAI’ın supervised fine-tuning dokümanına göre iyileşmeler çoğu zaman 50 ila 100 örnek arasında görülmeye başlıyor. Doküman, özenle hazırlanmış 50 gösterimle başlayıp sonucu ölçmeyi öneriyor. Bu, ilk deney için anlamlı bir dayanak sunar; her görev için geçerli evrensel bir alt sınır koymaz. OpenAI supervised fine-tuning rehberi
Araştırmalar da aynı sayının her durumda aynı sonucu vermediğini gösteriyor. Kontrollü bir soru yanıtlama çalışmasında, o çalışmaya özgü koşullar altında 60 eğitim örneğiyle faydalı sonuçlar elde edildi. Başka bir çalışmada ise Llama 3 8B Instruct modeline 1.000 veya 2.000 çeviri örneğiyle fine-tuning uygulanması, temel modelden daha kötü sonuç verdi. Örnek sayısının anlamını görev, model, veri ve değerlendirme yöntemi birlikte belirler. Soru yanıtlama çalışması Çeviri çalışması
Fine-tuning gerçekten gerekli mi?
Bazen doğru sayı sıfırdır.
Şirket içinde kullanılan bir asistan güncel olmayan ürün fiyatları veriyorsa, son kataloğu eğitim verisine dönüştürmek değişen bilgileri model ağırlıklarına gömer. Fiyatlar yeniden değiştiğinde eğitim verisi de eskir. Retrieval veya doğrudan veri tabanı sorgusu daha uygundur; çünkü bilgi kaynağı, modeli yeniden eğitmeden güncellenebilir.
Fine-tuning, eksik olan şey bilgi değil davranışsa daha anlamlıdır. Model belirli bir yanıt biçimini tutarlı kullanamıyor, sabit bir sınıflandırma sistemini uygulayamıyor, kuruma özgü terminolojiyi karıştırıyor veya yanıt politikasına her zaman uymuyor olabilir. Yine de eğitime geçmeden önce daha açık bir prompt ve bağlam içinde verilen birkaç örnek denenmelidir. Fine-tuning, prompt veya deterministik kodla yeterince iyi çözülemeyen, ölçülmüş bir soruna karşılık gelmelidir.
Hedef de ölçülebilir olmalıdır. “Şirketimizi anlasın” böyle bir hedef değildir. “Her talebi altı kategoriden birine atasın ve sonucu bu şemayla döndürsün” ise doğrudan sınanabilir. Uzmanlar doğru yanıtın ne olduğu konusunda anlaşamıyorsa, veri kümesi kaç örnek içerirse içersin eğitime hazır değildir.
Veri ihtiyacını belirleyen dört etken
1. Görev ne kadar geniş?
Yalnızca dört etiketten birini seçen bir sınıflandırıcının kapsamı, bir konuşmayı okuyup sözleşmeyi uygulayan, yanıt taslağı hazırlayan ve insan onayı gerekip gerekmediğine karar veren bir sisteminkinden çok daha dardır. Doğru çıktıyı değiştiren kararları ve koşulları sayın. Proje çok genişse veri miktarını tahmin etmeden önce birkaç küçük fine-tuning görevine ayırmak gerekebilir.
Örnek sayısı, eğitim verisinin token miktarını da gizler. Elli kısa sınıflandırma kaydı ile araç çağrıları ve yapılandırılmış çıktılar içeren 50 çok turlu konuşma, aynı miktarda eğitim malzemesi sunmaz. Vaka kapsamını planlarken kayıt sayısına, eğitim maliyetini hesaplarken token miktarına bakın.
2. Veri kümesi hangi vakaları kapsıyor?
Geçmiş kayıtlar doğal olarak sık karşılaşılan vakalarda yoğunlaşır. Destek kayıtlarından rastgele alınan bir örneklemde yüzlerce teslimat güncellemesi bulunabilir. Buna karşılık itirazlı ücretler, belirsiz iptaller, birbiriyle çelişen politikalar veya modelin reddetmesi gereken talepler yok denecek kadar az olabilir. Ortalama doğruluk yükselirken riskli vakalardaki performans yerinde sayabilir.
Tekrarlanan kayıtlar da sayıyı yanıltır. Kopyalar, aynı şablonun küçük farklarla üretilmiş sürümleri ve tek bir konuşmanın birkaç kez dışa aktarılması, modele yeni bir davranış göstermeden satır sayısını artırır. Birbirinden farklı ve uzmanlarca incelenmiş 100 örnek, tekrarlardan oluşan binlerce kayıttan daha fazla şey öğretebilir.
Aşağıdaki karşılaştırma, yüksek örnek sayısıyla geniş vaka kapsamının aynı şey olmadığını gösteriyor.
Daha çok örnek, daha geniş kapsam demek değildir
Aynı görev için örnek seçmenin üç farklı yolunu karşılaştırın.
Bir veri kümesi seçin
Sayı yüksek, kapsam dar
Kayıtların büyük bölümü olağan akışı tekrarlıyor. Güvenli davranış için önemli olan vakalar ise neredeyse hiç yok.
Sonraki adım: Reddedilecek istekleri, maliyetli hataları ve eksik biçim ya da dil örneklerini toplayın.
Bu dağılımlar yalnızca kapsam sorununu görünür kılmak için oluşturuldu; bir benchmark önerisi değildir.
3. Temel model göreve ne kadar yakın?
Fine-tuning, mevcut bir modeli sıfırdan eğitmek yerine modelin zaten sahip olduğu yetenekleri belirli bir göreve uyarlar. Model neredeyse doğru yanıt veriyorsa küçük bir veri kümesi davranışı tutarlı hâle getirebilir. Girdiyi sık sık yanlış anlıyor veya görev için gereken temel bir yeteneğe sahip değilse, daha fazla örnek yalnızca benzer vakalarda çalışan kırılgan bir iyileşme sağlayabilir.
Büyük bir etiketleme çalışmasına bütçe ayırmadan önce, eğitimden ayrı tutulan aynı değerlendirme kümesini birkaç uygun temel modelle deneyin. Daha güçlü bir model daha az veriye ihtiyaç duyabilir. Daha küçük bir model de dar kapsamlı görevi öğrenip daha düşük işletme maliyeti sunuyorsa daha iyi seçenek olabilir.
4. Etiketler tutarlı mı, hatalar ne kadar riskli?
Birbiriyle çelişen örnekler kendi kendine tutarlı bir politikaya dönüşmez; yalnızca modelin ne yapması gerektiğini belirsizleştirir. Uzmanların anlaşamadığı vakaları inceleyin, hangi kuralın uygulanacağını yazılı hâle getirin ve kuralın sınırında kalan örnekleri veri kümesine ekleyin.
Hatanın doğuracağı sonuçlar da gereken kanıt düzeyini değiştirir. Düşük riskli bir biçimlendirme görevi, sınırlı bir değerlendirmeden sonra ilerleyebilir. Para, erişim, güvenlik veya hukuki yükümlülükleri etkileyen bir iş akışı ise daha geniş vaka kapsamı ve daha güçlü testler gerektirir. Hiçbir örnek sayısı, zayıf kanıtı güvenli bir sisteme dönüştürmez.
Değerlendirme verisini baştan ayırın
Uzmanların incelediği 200 vakanın tamamı eğitimde kullanılamaz. Bir bölümü modele hiç gösterilmemelidir.
Eğitimden ayrı tutulan bu küme, modelin yalnızca gördüğü örnekleri ezberleyip ezberlemediğini ve öğrendiği davranışı yeni vakalara taşıyıp taşıyamadığını gösterir. Birbiriyle ilişkili kayıtları birlikte tutun. Aynı konuşmadaki mesajlar, aynı belge şablonundan gelen sayfalar veya tek bir örnekten üretilmiş sentetik varyasyonlar eğitim ve değerlendirme kümelerine bölünmemelidir.
Aksi hâlde veri sızıntısı, gerçekte olmayan bir ilerleme izlenimi yaratabilir. Bir çalışmada modelin değerlendirme şablonlarını ve yanıtlarını görmesi, ayrı bir değerlendirmede benzer bir iyileşme sağlamadığı hâlde ilgili benchmark üzerindeki performansı yüzde 45’ten fazla artırdı. ACL 2024
Değerlendirme yalnızca iyileştirilmek istenen davranışı değil, modelin kaybetmemesi gereken yetenekleri de sınamalıdır. Genel talimatları izleme ve gerektiğinde yanıt vermeyi reddetme bunlara örnektir. Riskli işlerde tek bir ortalama puanla yetinmeyin; sonuçları vaka türlerine göre ayrı ayrı raporlayın.
Doğru sayıyı deneyerek bulun
Önemli vakaları temsil eden küçük bir veri kümesiyle başlayın. Modeli eğitin ve eğitimde kullanılmamış vakalarla ölçün. Önemli hatalar azalıyorsa, veri kümesinde eksik kalan alanlardan ve gözlenen hatalardan seçilmiş yeni bir grup ekleyin. Ayarları mümkün olduğunca sabit tutarak tekrar eğitin.
Bu deneyler bir öğrenme eğrisi oluşturur ve bir sonraki kararı kolaylaştırır:
- Sonuçlar hızla iyileşiyorsa hedefli bir grup daha eklemek işe yarayabilir.
- İyileşme yavaşlıyorsa beklenen kazancı etiketleme ve eğitim maliyetiyle karşılaştırın.
- Sonuç değişmiyorsa daha fazla veri toplamak yerine görevi, etiketleri, prompt yaklaşımını veya temel modeli yeniden değerlendirin.
Model kabul ölçütlerini karşıladığında, yeni bir grubun sağlayacağı iyileşme harcanacak emeğe değmediğinde veya hata analizi başka bir çözüme işaret ettiğinde durun. Veri kümesinin büyüklüğü baştan konan bir satın alma hedefi değil, deneyler ilerledikçe ortaya çıkan bir sonuçtur.
Aşağıdaki araç, projenin koşullarına göre ilk deney için makul bir aralık önerir. Proje henüz böyle bir tahmine hazır değilse sayı vermek yerine önce çözülmesi gereken sorunu gösterir.
İlk deney için kaç örnek gerekir?
Başlangıç aralığını belirlemek için beş kısa soru.
1 / 5
Soru 1
Sıradaki soru
Modelde neyin değişmesi gerekiyor?
Fine-tuning ile değiştirmek istediğiniz asıl davranışı seçin.
Kısa cevap
Temel model hedef davranışa zaten yakınsa, tek ve dar kapsamlı bir supervised fine-tuning görevi için yaklaşık 50 iyi örnekle başlayın. Birden fazla vaka türünün, çıktı biçiminin veya dilin temsil edilmesi gerekiyorsa 100 ila 300 örnek daha makul bir başlangıç olabilir. Geniş görevleri ise veri miktarını tahmin etmeden önce parçalara ayırın.
Değerlendirme vakalarını eğitimin dışında tutun, önemli hata türlerini ayrı ayrı ölçün ve yeni veriyi rastgele değil, eksik kalan alanlara göre ekleyin. Model eğitimde görmediği vakalarda kabul ölçütlerini karşılıyor ve yeni bir veri grubu artık en iyi iyileştirme yolu olmaktan çıkıyorsa yeterli veri var demektir.