Kendi altyapınızda LLM kurulumu
Büyük dil modeli (LLM) kendi altyapınızda çalıştığında model endpoint'i ve seçtiğiniz uygulama verileri kurumunuzun kontrol ettiği ortamda kalır. Bu ortam kurum içi bir sunucu, özel bulut hesabı, size ayrılmış bir sanal ağ ya da bunların birkaçı olabilir.
Modeli seçiyor, donanımınızda test ediyor ve inference (çıkarım) servisini kuruyoruz. Uygulamalarınızla bağlantı, erişim kontrolü, izleme, güncellemeler ve işletim dokümantasyonu da işin içinde. Özel RAG sistemleri ve AI agent'lar da aynı kurulumu kullanabilir, işledikleri veriler herkese açık bir model API'sine gitmez.
LLM'i kendi altyapınızda çalıştırmak ne anlama gelir?
Model ağırlıkları ve inference yazılımı kurumunuzun kontrol ettiği ortamda çalışır. Uygulamalar isteklerini herkese açık bir yapay zeka servisine göndermek yerine özel model endpoint'ine gönderir. Ağ, kimlik, depolama ve loglama politikaları sizin elinizde kalır.
Model özel ortamda çalışıyor diye uygulamanın tamamı özel olmaz. Promptlar bir gateway'den (ağ geçidi), arama sisteminden, loglardan, analitik araçlardan veya dış entegrasyonlardan geçebilir. Hassas girdi ya da model çıktısı alan her bileşenin kontrol ettiğiniz ortamın içinde kalması gerekir.
Kurulum neleri kapsıyor?
Uygulamaların nasıl bağlanacağını, isteklerin donanımı nasıl paylaşacağını ve model ya da sunuculardan biri çöktüğünde ne olacağını modelin çevresindeki servis katmanı belirler.
Özel model endpoint'i
Belgelenmiş bir API. İstekleri alır, kuyrukları yönetir ve yanıtları akış halinde (streaming) iletir. Yapılandırılmış çıktı, araç çağrıları ve istek sınırları da desteklenir.
Inference motoru ve model
Onaylı model ağırlıklarını, tokenizer'ları ve varsa göreve özel adaptörleri çalıştıran vLLM, SGLang, llama.cpp veya TensorRT-LLM gibi bir yazılım.
Quantization ve batching
Düşük hassasiyetli ağırlıklar, continuous batching ve prefix caching bellek kullanımını azaltabilir ya da iş hacmini artırabilir. Ne kadar işe yaradıkları trafiğe göre değişir, çıktı kalitesini de değiştirebilirler. Her birini hedef görevde ayrıca test ediyoruz.
Paralel çalışma
Model GPU'lar arasında bölünebilir ya da daha fazla isteğe yanıt vermek için birden çok GPU'ya kopyalanabilir. Birden fazla sunucuya yayılan kurulumlarda ağ bant genişliği ve gecikme de hesaba katılmalı.
Yönlendirme
Gateway görevleri farklı yerel modellere gönderebilir, kullanılamayan kopyayı atlayabilir veya onaylı istekleri dış modele yönlendirebilir.
Uygulama bağlantıları
Chat arayüzleri, belge iş akışları, özel RAG sistemleri, AI agent'lar, kurum içi API'ler ve mevcut ürünler kimlik doğrulamalı arayüzler üzerinden bağlanır. Belge arama, araç kullanımı ve çıktı doğrulama uygulama katmanında kalır.
Sistem nerede çalışabilir?
Doğru konum veri kurallarına, mevcut donanıma, kurum içi işletim kapasitesine ve talebin zaman içindeki değişimine bağlıdır.
| Seçenek | Konum | Genellikle uygun olduğu durum | Dikkate alınması gerekenler |
|---|---|---|---|
| Kurum içi | Kurumun veri merkezi, sunucu odası veya bir iş istasyonu | Sıkı ağ yalıtımı, mevcut GPU kapasitesi, sabit iş yükü veya bağlantının sınırlı olduğu tesisler | Kapasite planlama, donanım tedariki, güç, soğutma ve yenileme sizin sorumluluğunuzdadır |
| Özel bulut | Size ait bulut hesabı, VPC, özel subnet veya kurumunuza ayrılmış tenant | Özel ağ içinde daha hızlı kaynak sağlama, yönetilen depolama, izleme ve ihtiyaca göre ayarlanabilen işlem kapasitesi | Bulut dış bağımlılık olarak kalır ve boşta duran GPU'lar pahalı olabilir |
| Hibrit | Hassas bileşenler özel ortamda, onaylı görevler başka bir ortamda çalışır | Veri sınıfı veya model ihtiyacı farklı olan ya da geçici talep artışları yaşayan iş yükleri | Yönlendirme kuralları ve veri sınıflandırması açıkça yazılmış ve test edilebilir olmalı |
Hangi durumlarda uygun?
Kendi altyapınızdaki kurulum daha fazla kontrol verir, ama sistemi birinin işletmesi gerekir.
Kendi altyapınızda çalıştırmak
Promptlar, belgeler veya çıktılar kontrollü ağın dışına çıkamıyorsa, sistemin internet olmadan çalışması gerekiyorsa ya da loglar ve model güncellemeleri kendi onay ve saklama kurallarınıza uymak zorundaysa sistemi kendi altyapınızda çalıştırmak mantıklıdır. Mevcut donanımın karşılayabileceği sabit bir iş yükünde ya da onaylı sağlayıcı servislerinde bulunmayan bir model veya adaptör gerektiğinde de uygundur.
Hazır bir API daha basit olabilir
Sağlayıcının veri işleme koşulları gereksinimlerinizi zaten karşılıyorsa, talep düşük veya düzensizse ya da görev, kabul edilebilir lisans koşullarıyla kurulamayan bir modele bağlıysa hazır bir API kullanmak daha basittir. GPU sunucusu işletmek istemeyen ya da yeni modellere hızlı erişmeyi altyapıyı kendi elinde tutmaya tercih eden ekipler için de daha uygundur.
Model nasıl seçilir?
Mevcut donanıma sığan en büyük modelle başlamak çoğu zaman doğru olmaz. İşe hedef görevden örneklerle ve ölçülebilir gereksinimlerle başlıyor, ardından aday modelleri canlı ortamda kullanılacak servis yapılandırmasında karşılaştırıyoruz.
Görev kalitesi
Doğruluğu uygulamanızdaki diller, belgeler, çıktı formatları ve hata durumları üzerinde ölçüyoruz. Talimatlara uyma, araç kullanımı, yapılandırılmış çıktı, bağlam uzunluğu ve multimodal girdiye ise yalnızca görev gerektiriyorsa bakıyoruz.
Lisans
Ağırlıkları açık (open-weight) bir model her zaman sınırsız kullanılamaz. Kurulumdan önce ticari kullanım, dağıtım, değişiklik, kullanım sınırlamaları, türetilmiş modellere getirilen sınırlar ve zorunlu bildirimlerle ilgili koşullara bakıyoruz.
İşletim uyumu
Başlatma süresi, desteklenen inference motorları, güncelleme süreci, izleme ve ekibinizin modelin bakımını yapıp yapamayacağı.
Kaynak ve güvenlik
Modele şirket verisi vermeden önce nereden geldiğine, ağırlıklarının nasıl yayımlandığına, güncelleme geçmişine ve bilinen güvenlik sorunlarına bakıyoruz.
Donanım boyutlandırma ve kapasite planlama
Gereken donanım yalnızca parametre sayısından çıkarılamaz. Bellek kullanımı ve yanıt hızı model formatına, sayısal hassasiyete, girdi ve çıktı uzunluğuna, eş zamanlı istek sayısına, inference motoruna ve GPU mimarisine göre değişir. Aday yapılandırmaları sizinkine benzeyen bir iş yüküyle test ediyor, sonuçları aşağıdaki başlıklarda raporluyoruz.
Bellek
Model ağırlıkları, çalışma alanı ve aktif isteklerin KV cache'i için gereken GPU ve sistem belleği. Sistem boştayken ve yük altındayken ayrı ölçülür.
Hız ve iş hacmi
İlk tokenın gelme süresi ve saniyede üretilen token sayısı ayrı ayrı ölçülür. Beklenen eş zamanlı istek sayısında iş hacmi ve kuyrukta bekleme süresi de raporlanır.
Erişilebilirlik
Hata oranı, zaman aşımı davranışı ve kurtarma süresi, tek sunucunun yetip yetmeyeceğini, yoksa yedekli bir kurulum mu gerektiğini gösterir.
Maliyet ve büyüme
Normal ve yoğun talepteki tahmini altyapı maliyeti. Kullanıcı, belge, AI agent ve uygulama sayısı arttıkça gerekecek kapasite.
Güç ve soğutma
Kabin alanı, güç ve soğutma seçilen hızlandırıcıları kaldırabilmeli.
Güvenlik ve veri yönetimi
Model endpoint'ini özel ortamda tutmak bir dış veri yolunu kapatır. Uygulama açıkları, prompt injection, gereğinden fazla yetki, güvensiz çıktı kullanımı ve ele geçirilmiş model ya da container bağımlılıkları yine de risk olarak kalır. Kontroller bir isteğin uğradığı her yeri kapsar: kaynak belgeler, vektör depoları, loglar, yedekler ve yönetim arayüzleri.
Ağ sınırı
Özel subnet'ler, firewall kuralları, gelen trafik kontrolleri, servisler arası politikalar ve isteğe bağlı çevrimdışı çalışma, endpoint'e hangi sistemlerin erişebileceğini belirler.
Kimlik ve yetki
Kullanıcılar ve servisler inference öncesinde kimlik doğrulamasından geçer. RAG sistemi veya agent'lar veri çekip araç kullanırken de uygulamadaki yetkiler geçerlidir.
Şifreleme ve secret yönetimi
Bağlantılar aktarım sırasında şifrelenir. Tokenlar, sertifikalar, registry erişim bilgileri ve depolama anahtarları onaylı secret yönetim sisteminde tutulur.
Loglar ve saklama
Prompt ve çıktı logları veri politikasına göre kapatılır, maskelenir veya saklanır. İşletim metrikleri tam içeriği kopyalamadan toplanabilir.
Model tedarik zinciri
Model dosyaları, container'lar ve paketler onaylı kaynaklardan alınır. Canlıya almadan önce sürümlerini sabitliyor, tarıyor ve kayda geçiriyoruz.
Çıktı kontrolleri
Uygulamalar yapılandırılmış çıktıyı doğrular. Modelin ürettiği kod, sorgu ya da komutlar ayrı bir kontrolden ve yetki adımından geçmeden çalıştırılmaz.
Neler teslim edilir?
Kararlaştırılan ortam ve iş yükü için her seferinde aynı şekilde yeniden kurulabilen bir sistem ve ekibinizin onu çalıştırması, güncellemesi ve arızadan sonra ayağa kaldırması için gereken dokümantasyon.
- Model karşılaştırması, donanım benchmark sonuçları ve belgelenmiş model ve lisans seçimi
- Sürümleri sabitlenmiş container imajları veya kurulum paketleri
- Inference endpoint'i, kimlik doğrulama, istek sınırları ve sağlık kontrolleri
- Ağ, depolama, secret ve loglama yapılandırması
- Kapsama dahil uygulama, RAG veya AI agent entegrasyonları
- Yük testleri, kalite değerlendirmeleri ve kabul sonuçları
- İzleme panelleri, alarmlar, yedekleme, geri alma ve kurtarma prosedürleri
Sık sorulan sorular
Kendi altyapımızdaki LLM internet bağlantısı olmadan çalışabilir mi?
Modelin ihtiyaç duyduğu her şey ortamınıza kuruluysa çalışabilir. Bu durumda güncellemeler kontrollü bir süreçle içeri alınır ve bağlantı yokken dış servisler kullanılamaz.
LLM'i mevcut sunucularımızda çalıştırabilir miyiz?
Çoğu zaman evet. Mevcut sunucularınızın neyi kaldırabileceğine bakıyor, bugün nelerin çalışabileceğini ve ek donanım ya da farklı bir model gerekip gerekmediğini söylüyoruz.
Kendi altyapımızda çalışan bir modelin işimize yetip yetmeyeceğini nasıl anlarız?
Aday modelleri kendi işinizden alınmış örneklerle deneyip sonuçları karşılaştırıyoruz. Genel benchmark puanları, bir modelin sizin işinizde nasıl çalışacağını göstermez.
Özel LLM kurulumu ne kadara mal olur?
Maliyet en çok uygun donanımınızın olup olmadığına, seçilen modele ve sistemin ne kadar kullanılacağına bağlıdır. İyi bir tahminde ilk kurulum, altyapı ve işletim maliyetleri ayrı ayrı görünür.
Kurum içi bir LLM'i işletmek için kendi ekibimiz olması gerekir mi?
Şart değil, ama sistem canlıya alındıktan sonra birinin onu izlemesi, güncellemesi ve modelin hâlâ iyi çalıştığını kontrol etmesi gerekir. Bu işleri BT ekibiniz ya da biz üstlenebiliriz, ikimiz birlikte de yürütebiliriz.
İleride daha yeni bir modele geçebilir miyiz?
Evet. Uygulamalarınız belirli bir modele bağlı kurulmadıysa model sonradan değiştirilebilir. Yeni model, eskisinin yerine geçmeden önce sizin görevlerinizde test edilir.
Özel LLM promptlarımızdan veya belgelerimizden öğrenir mi?
Hayır. Kendi sunucularınızda çalışan model gelen isteklere yanıt verir, ayrı bir eğitim süreci kurulmadıkça onlardan bir şey öğrenmez.
Birden fazla uygulama aynı LLM kurulumunu kullanabilir mi?
Kullanabilir. Her uygulamanın kendi erişimi ve kullanım sınırı olur. Kapasite hepsinin toplam kullanımına göre planlanır.
Küçük bir LLM kurulumuyla başlayıp sonra büyütebilir miyiz?
Evet. Tek bir uygulamaya hizmet veren tek bir modelle başlayabilir, kullanımı gördükten sonra yeni kullanıcı, uygulama veya donanım ekleyebilirsiniz.
Kurum içi LLM kurulumu ne kadar sürer?
Hazır donanıma tek bir model kurmak kısa sürer. Yeni donanım, güvenlik incelemesi ve uygulamalarınızla bağlantı gerektiren eksiksiz bir servis daha uzun sürer. İhtiyacınızı öğrendikten sonra süreyi tahmin edebiliriz.
Teknik kaynaklar
Bu alandaki ürünlerimiz
Birlikte çalışalım
Üzerinde çalıştığınız konuyu birkaç satırla anlatın, size geri dönelim.
Blogdan
Tüm yazılar
LLM'i kendimiz mi çalıştıralım, API mi kullanalım?
Açık uçlu işlerde API iyi bir başlangıç. Dar, tekrarlanan işlerde kendi çalıştırdığınız küçük bir model maliyet, gizlilik ve kontrol açısından öne geçebilir.
Yazıyı okuyun
Yapay zeka token ekonomisi: Gerçek maliyeti kim ödüyor?
Token fiyatı üretimdeki gerçek maliyeti tek başına göstermez. Bulut kredileri, yeniden denemeler, agent adımları ve insan incelemesi hesabı nasıl değiştiriyor?
Yazıyı okuyun
Sentetik veri ne zaman kullanılmalı?
Gerçek veri azsa, hassassa veya henüz yoksa sentetik veri işe yarayabilir. Peki hangi durumlarda kullanmaya değer? Sonuçları iyileştirdiği nasıl anlaşılır?
Yazıyı okuyun