Sentetik veri üretimi
Pek çok yapay zeka projesi, doğru türden veri yeterince olmadığı için tıkanır. Nadir arızalar, alışılmadık müşteriler ya da yolda ve belge akışlarında çıkan uç durumlar gibi en çok önemsenen vakaların genellikle en az örneği vardır.
Bu boşlukları doldurmak ve modelleri henüz görmedikleri durumlarda test etmek için gerçekçi sentetik veri üretiyoruz. Bu veriyi gerçek verinize ekliyor ve her veri kümesinin sonuçları gerçekten iyileştirip iyileştirmediğini kontrol ediyoruz.
Sentetik veri ne işe yarar?
Sentetik veri, gerçek olaylardan kaydedilmek yerine yazılımla üretilir. Genellikle mevcut kayıtlarınızdan kurulan istatistiksel modellerden, fiziksel bir sürecin simülasyonundan ya da kontrollü biçimde yeni metin ve görüntü üreten modellerden elde edilir.
Dikkatli kullanıldığında, bir vakanın gerçek örnekleri modelin öğrenmesine yetmeyecek kadar azsa ya da gerçek veri bir geliştirme ekibine verilemeyecek kadar hassassa işe yarar. Bir modeli henüz yaşanmamış durumlarda test etmek için de kullanılır.
Neler geliştiriyoruz?
Tablo ve kayıt verisi
Orijinal verideki örüntüleri koruyan sentetik müşteri, işlem ya da sensör kayıtları. Geliştirme ve testte kullanılabilir ya da iş ortaklarıyla paylaşılabilir.
Nadir vakaları çoğaltma
Nadir arızalar, dolandırıcılık örüntüleri ya da olağan dışı vakalar için, modelin bunları normal durumlardan ayırmayı öğrenebileceği kadar ek örnek.
Metin ve diyalog verisi
Dil modellerini ve asistanları eğitmek ve test etmek için Türkçe dahil gerçekçi sorular, belgeler ve diyaloglar.
Görüntü ve sahne verisi
Fotoğrafla yeterince çeşitlilik yakalamanın zor olduğu nesneler, kusurlar ya da koşullar için simülasyonla ya da üretken modellerle oluşturulan, etiketleri hazır görüntüler.
Senaryo ve simülasyon verisi
Alışılmadık trafik durumları ya da ekipman davranışları gibi simüle edilmiş olay dizileri. Sistemin bunlara nasıl tepki verdiği, sahada karşılaşmadan önce görülür.
Zorlayıcı test senaryoları
Geliştirme sırasında modelin zayıf noktalarını bulmak için zor ve uç vakalar. Son değerlendirme yine gerçek veriyle yapılır.
Hangi durumlarda uygun?
Sentetik veri en çok, neyin eksik olduğu net olarak söylenebildiğinde işe yarar. Bilinen bir nadir vaka, paylaşılamayacak kadar hassas veri ya da test edilmesi gereken bir durum buna örnek. Şu durumlarda daha basit bir yol yeterli olabilir:
- makul bir çabayla daha fazla gerçek veri toplanabiliyor ya da etiketlenebiliyorsa
- model önemli vakalarda zaten iyi çalışıyorsa
- gerçek süreç inandırıcı biçimde simüle edilecek kadar iyi anlaşılmamışsa
Bir proje nasıl ilerler?
-
Boşluğu bulmak
Gerçek veriye ve modelin hatalarına bakarak hangi vakaların eksik ya da az olduğunu, dolayısıyla hangi sentetik verinin üretilmeye değer olduğunu belirliyoruz.
-
Üretim yöntemini seçmek
Boşluğun türüne göre istatistiksel modeller, simülasyon ya da üretken modeller arasından seçim yapıyoruz. Bir örneğin ne zaman gerçekçi sayılacağını uzmanlarınızla birlikte belirliyoruz.
-
Gerçekçiliği ve gizliliği kontrol etmek
Örnekleri alan uzmanlarıyla birlikte inceliyor, dağılımların ve ilişkilerin gerçek veriyle uyuşup uyuşmadığını istatistiksel kontrollerle ölçüyoruz. Gerçek kişileri ele verebilecek neredeyse birebir kopyaları ve nadir kombinasyonları arıyor, kişisel verileri KVKK'ya ve gerektiğinde GDPR'a uygun biçimde işliyoruz.
-
İşe yaradığını göstermek
Modeli sentetik veriyle ve sentetik veri olmadan ayrı ayrı eğitip sonuçları karşılaştırıyoruz. Sonuçları iyileştirmeyen veri kullanılmaz.
Sentetik verinin yanıltmaması için
Kötü sentetik veri, modeli testte olduğundan iyi gösterip gerçek kullanımda kötüleştirebilir.
Yalnızca gerçek veriyle test
Son test seti her zaman gerçek vakalardan oluşur. Sentetik veri eğitimde kullanılır, modelin değerlendirmesine hiç girmez.
Varsayımlar yazıya dökülür
Her veri üretim aracının neyi varsaydığını ve neyi dışarıda bıraktığını belgeliyoruz. Veriyi sonradan kullananlar sentetik veriye nerede güvenebileceklerini buradan görür.
Neler teslim edilir?
- Üzerinde anlaştığımız eksikler için sentetik veri kümeleri (gerektiğinde etiketli)
- Gerçekçilik ve gizlilik kontrollerini, sentetik veriyle ve sentetik veri olmadan elde edilen model sonuçlarıyla birlikte sunan bir rapor
- İleride yeni veri üretilebilmesi için veri üretim araçları
- Ekibinize teslim edilen kod ve dokümantasyon
Sık sorulan sorular
Sentetik veri üretmeye başlamak için neler gerekir?
Verinizden bir örneklem ve hangi vakaların eksik olduğuna ya da hataya yol açtığına dair net bir fikir. Bir örneğin gerçekçi olup olmadığını ayırt edebilecek kişilerden de biraz zaman isteriz. Kullanımda bir model varsa, işe onun hatalarından başlamak iyi olur.
Bir sentetik veri projesi ne kadar sürer?
İlk aşama genellikle tek bir eksiğe odaklanır. Aşamanın sonunda modelin yeni veriyle ve yeni veri olmadan verdiği sonuçları karşılaştırırız. Süre çoğunlukla verinize erişime ve vakaların ne kadar karmaşık olduğuna bağlı.
Gerçek verilerimizin ortamımızdan çıkması gerekiyor mu?
Hayır. Veri üretim araçlarını kendi sunucularınızda ya da özel bulutunuzda kurup çalıştırabiliriz. Orijinal kayıtlar olduğu yerde kalır.
Sentetik veri mevcut model eğitimi süreçlerimize uyar mı?
Evet. Sentetik veriyi kendi verinizle aynı biçimlerde teslim ediyoruz. Mevcut eğitim, test ve analiz süreçlerinizde değişiklik yapmadan kullanılabilir.
Birlikte çalışalım
Üzerinde çalıştığınız konuyu birkaç satırla anlatın, size geri dönelim.
Blogdan
Tüm yazılar
Sentetik veri ne zaman kullanılmalı?
Gerçek veri azsa, hassassa veya henüz yoksa sentetik veri işe yarayabilir. Peki hangi durumlarda kullanmaya değer? Sonuçları iyileştirdiği nasıl anlaşılır?
Yazıyı okuyun
LLM fine-tuning için veri nasıl hazırlanır?
Mevcut kayıt ve belgelerden fine-tuning için eğitim örnekleri hazırlamayı ve bu örnekleri eğitimden önce kontrol etmeyi ele alıyoruz.
Yazıyı okuyun
LLM fine-tuning için 50 örnek yeter mi?
LLM fine-tuning için kaç örnek gerekir? İlk deneye kaç örnekle başlanacağını görevin kapsamı, veri çeşitliliği, temel model ve değerlendirme yöntemi belirler.
Yazıyı okuyun