Fine-tuning neyi değiştirir?
Temel model zaten genel dil yeteneklerine sahiptir. Fine-tuning, görev örnekleri veya tercih verileriyle model parametrelerini uyarlar. Sonuç, davranışı temel modelle karşılaştırılabilen yeni bir model sürümüdür.
Hedef dar ve gözlemlenebilir olmalıdır: geçerli JSON üretmek, doğru etiketi seçmek, belirli bir yazım biçimini izlemek veya kabul edilebilir yanıtlar arasında daha iyi seçim yapmak. Modelin şirketi tanıması gibi geniş bir hedef ölçülemez.
Fine-tuning gerekli mi?
Mevcut sorunun kaynağı, hangi çözümün uygun olduğunu belirler. Eğitim ancak istenmeyen davranış sabit bir test setinde yeniden üretildikten sonra değerlendirilir.
Prompt geliştirme
Daha açık talimatlar ve birkaç örnek istenen davranışı sağlıyorsa kullanılır.
Bilgi getirme
Yanıtlar belgelere, politikalara, ürün verilerine veya değişen bilgilere bağlıysa kullanılır.
Araçlar ve kod
Sonuç hesaplama, veri tabanı sorgusu, API veya sabit doğrulama kuralından gelmeliyse kullanılır.
Fine-tuning
Model öğrenilebilir bir görev kalıbını, formatı, terminolojiyi veya yanıt tercihini tekrar tekrar kaçırıyorsa kullanılır.
Fine-tuning yöntemleri
Yöntem, hedef davranışa ve mevcut veriye göre seçilir. Daha fazla hesaplama gerektiren bir eğitim, kendiliğinden daha iyi sonuç vermez.
Denetimli fine-tuning
Girdi ve istenen çıktı çiftleriyle eğitir. Sınıflandırma, veri çıkarma, yapılandırılmış çıktı ve tutarlı görev yanıtları için uygundur.
Tercih optimizasyonu
Birden fazla yanıt geçerli olduğu halde bazıları açıkça daha iyiyse, modele göreli tercihleri öğretmek için tercih edilen ve reddedilen yanıtları kullanır.
LoRA ve PEFT
Modelin tamamı yerine küçük bir ek parametre kümesini günceller. Hesaplama ihtiyacını ve göreve özel model dosyalarının boyutunu azaltabilir.
Continued pretraining
Dil kalıplarını ve terminolojiyi alana uyarlamak için daha büyük bir metin külliyatıyla ön eğitime devam eder. Belirli bir talimatı izlemeyi öğretmekten farklıdır ve daha fazla veri gerektirir.
Eğitim verisinin hazırlanması
Veri kalitesi tek başına örnek sayısından daha belirleyicidir. Sonuç görülmüş örneklerle ölçülmesin diye eğitim, doğrulama ve son test vakaları ayrı tutulur.
- 01
Tanımlama
Hedef davranış, hata vakaları, kabul kuralları ve başlangıç ölçümü yazılır.
- 02
Toplama
Normal, zor ve reddedilmesi gereken vakaları temsil eden, kullanım izni bulunan örnekler toplanır.
- 03
İnceleme
Tekrarlar, çelişkili etiketler, gereksiz kişisel veriler ve modelin istemeden yararlanabileceği kısa yollar ayıklanır.
- 04
Ayırma
Deneyler başlamadan önce eğitim, doğrulama ve test verileri birbirinden ayrılır.
- 05
Eğitim
Az sayıda kontrollü çalışma karşılaştırılır; model, veri ve parametre sürümleri birlikte kaydedilir.
- 06
Değerlendirme
Yayın öncesinde hedef görev, genel gerilemeler, yanıt süresi, maliyet ve güvenlik davranışı ölçülür.
Uyarlanan model nasıl değerlendirilir?
Uyarlanan model, temel modelle ve yalnızca prompt kullanılarak elde edilen en iyi başlangıç sonucuyla karşılaştırılır. Değerlendirmede üretim ortamını temsil eden girdiler ile modelin güvenli biçimde başarısız olması gereken zor vakalar yer alır.
Yeni sürüm yalnızca hedef görevde anlamlı iyileşme sağlıyor ve gerilemeler belirlenen sınırlar içinde kalıyorsa kabul edilir. Önceki model sürümü geri dönüş için korunur.
- Görev kalitesi
- Göreve bağlı olarak tam eşleşme, etiket doğruluğu veya değerlendirme ölçütleri.
- Format güvenilirliği
- Geçerli şemalar, zorunlu alanlar, uzunluk kuralları ve çıktıyı kullanan sonraki sistemin başarı oranı.
- Gerileme testleri
- Genel talimatları izleme, gerektiğinde yanıt vermeyi reddetme, dil kalitesi ve eğitim alanı dışındaki vakalar.
- İşletim
- Yanıt süresi, bellek kullanımı, iş hacmi, model maliyeti, izleme ve önceki sürüme dönüş davranışı.
Teslim edilenler
- Veri tanımı ve incelenmiş veri kümeleri
- Başlangıç ölçümü ve değerlendirme seti
- Eğitim kodu veya yönetilen fine-tuning ayarları
- Sürüm kayıtlarıyla model veya adaptör dosyaları
- Inference ve modeli devreye alma ayarları
- Değerlendirme raporu, yayın ölçütleri ve işletim notları
LLM fine-tuning soruları
Fine-tuning gerektiğini nasıl anlarız?
Küçük bir değerlendirme önce prompt geliştirme, bilgi getirme, araç kullanımı ve mevcut modeli karşılaştırır. Geriye örneklerden öğrenilebilen, tekrar eden bir davranış sorunu kalıyorsa fine-tuning anlamlıdır.
Ne kadar eğitim verisi gerekir?
Her görev için geçerli sabit bir sayı yoktur. Dar ve tutarlı bir görev, daha küçük ve incelenmiş bir veri kümesiyle iyileşebilir; geniş kapsamlı veya tutarsız davranışlar ise daha fazla örnek çeşitliliği gerektirir. Pilot çalışma, daha büyük bir veri yatırımı öncesinde öğrenme eğrisini gösterir.
Şirket belgeleri eğitim verisi olabilir mi?
Yalnızca kullanıma izin veriliyorsa ve hedef davranışı öğretiyorsa. Sık değişen bilgiler içeren belgeler genellikle bilgi getirme yoluyla sisteme bağlanmalıdır. Kişisel veya gizli veri en aza indirilmeli ve tanımlı saklama kurallarıyla işlenmelidir.
Model kendi altyapımızda çalışabilir mi?
Seçilen temel model ve lisansı izin veriyorsa evet. Eğitim ayrı bir kontrollü ortamda yapılabilir; ortaya çıkan model veya adaptör şirket tarafından yönetilen altyapıya kurulabilir.
Gereksinimler değişince ne olur?
Veri kümeleri, model dosyaları, değerlendirme sonuçları ve kurulum ayarları sürümlenir. Değişiklik yeni bir sürüm olarak test edilir ve yenisi kabul edilene kadar önceki sürüm korunur.