Kurumsal LLM Entegrasyonu ve RAG Danışmanlığı
Şirket verinizle çalışan, kaynağını gösteren yapay zekâ
"Kendi ChatGPT'mizi kuralım" cümlesinin altında dört ayrı karar var.
Kurumsal LLM entegrasyonu, bir dil modelinin şirketin kendi verisi ve süreçleriyle çalışacak biçimde sistemlere bağlanmasıdır. Dört temel karar içerir: hazır API mı açık kaynak model mi, RAG mı ince ayar (fine-tuning) mi, verinin nereye gideceği ve doğruluğun nasıl ölçüleceği. Bu kararların sırası maliyeti belirler.
Çoğu şirket bu işe yanlış uçtan giriyor: önce model seçiliyor, sonra veriyle ne yapılacağı konuşuluyor. Doğru sıra tersi. Hangi soruya cevap verileceği ve o cevabın kaynağının nerede durduğu netleşmeden model seçimi erken bir karardır.
Ben bu işi bir kurulum değil, ölçülebilir bir sistem olarak kuruyorum: cevabın kaynağı gösterilebilir, doğruluğu bir test setine karşı ölçülür, maliyeti işlem başına bilinir ve hangi verinin dışarı çıkmadığı yazılıdır.
Modelin kendi başına iş yapması, kayıt açması ya da adımlarına karar vermesi gerekiyorsa konu entegrasyondan yapay zekâ ajanı geliştirme tarafına geçer. Ekibin bu sistemi kendi başına sürdürmesi için prompt engineering eğitimi ayrı bir başlık.
Kullanım senaryonuza bakalım
Karar ağacı: hangi yol size uygun?
Dört seçenek var ve çoğu şirketin ihtiyacı ilk ikisiyle karşılanıyor. Sıra yukarıdan aşağı.
1 · Hazır API + iyi prompt
Cevap genel bilgiyle üretilebiliyorsa en ucuz ve en hızlı yol. Şirkete özel veri gerekmiyorsa buradan öteye geçmeye gerek yok.
2 · RAG (şirket verisiyle besleme)
Cevabın kaynağı sizin belgeleriniz, ürün kataloğunuz ya da kayıtlarınızsa doğru yol bu. Model eğitilmez; soru anında ilgili parça bulunup modele verilir. Kaynak gösterilebilir, veri güncellenince cevap da güncellenir.
3 · İnce ayar (fine-tuning)
Bilgi eklemek için değil, biçim ve üslup öğretmek için. "Bizim gibi yazsın" ihtiyacı gerçekse anlamlı; "bizim verimizi bilsin" ihtiyacı için yanlış araçtır — o RAG'in işi.
4 · Kurum içi (self-hosted) model
Veri hiçbir koşulda dışarı çıkamıyorsa. Donanım, işletme ve güncelleme yükü getirir; genelde regülasyon zorunluluğu olmadan tercih edilmez.
Neler yapıyorum?
Kullanım senaryosu ve karar ağacı
Yukarıdaki dört yoldan hangisinin gerektiğini gerekçesiyle belirliyoruz. Çoğu projede en pahalı seçenek gereksiz çıkıyor.
Veri hazırlığı ve RAG kurulumu
Belgelerin parçalanması, vektör dizini, arama kalitesi. RAG projelerinde başarıyı model değil, bu katman belirliyor.
Kaynak gösterme
Her cevabın hangi belgeden geldiği görünür oluyor. Kullanıcı doğrulayabildiği cevaba güveniyor; denetlenebilirlik de buradan geliyor.
Veri sınırı ve KVKK
Hangi veri modele hiç gitmez, ne maskelenir, kayıtlar nerede tutulur. Sözleşme ve teknik tarafın birlikte kurulması gerekiyor.
Doğruluk ölçümü
Gerçek sorulardan kurulu bir değerlendirme seti. "İyi görünüyor" yerine ölçülen bir başarı oranı.
Maliyet modeli
Token, altyapı ve bakım kalemleri işlem başına çıkarılıyor; hangi adımda hangi modelin yeteceğine buna göre karar veriliyor.
Nasıl ilerliyoruz?
Tek bir soru kümesiyle başlayıp ölçerek genişletiyoruz.
Soru envanteri
Sistemin cevaplaması beklenen gerçek soruları topluyoruz. Test seti de buradan çıkıyor.
Karar ve veri sınırı
Karar ağacındaki yol seçiliyor, verinin nereye gidip gitmeyeceği yazılı hale geliyor.
İlk sürüm ve ölçüm
Dar kapsamlı kurulum, test setine karşı ölçüm. Başarı oranı yetersizse önce veri katmanı düzeltiliyor.
Yayın ve izleme
Kullanıcı geri bildirimi, cevapsız kalan sorular ve maliyet takibi sürekli akıyor.
Kurumsal LLM projelerinde en sık yapılan üç hata
Bilgi eklemek için ince ayar yapılıyor. En yaygın ve en pahalı yanlış anlama bu. İnce ayar modele üslup ve biçim öğretir, güncel bilgi yüklemez. Şirket verisiyle doğru cevap üretmesi gereken bir sistem için doğru araç RAG'dir: veri değiştiğinde cevap da değişir, üstelik kaynağı gösterilebilir. İnce ayarla yüklenen bilgi ise donar ve güncellenmesi için süreç yeniden çalıştırılır.
Başarı, veri katmanı yerine modelde aranıyor. RAG kurulumlarında hatalı cevapların büyük kısmı modelden değil, doğru belgenin hiç bulunamamasından kaynaklanır. Belge parçalama biçimi, arama kalitesi ve meta veri; sonucu model seçiminden daha fazla etkiler. Daha güçlü modele geçmek bu sorunu çözmez, sadece pahalılaştırır.
Veri sınırı sözleşmede kalıyor, mimaride kurulmuyor. "Verimiz dışarı çıkmayacak" taahhüdü, hangi alanın hangi çağrıda gönderildiği kodda görünmüyorsa bir niyet beyanıdır. Maskeleme, alan bazlı filtre ve kayıt politikası mimarinin parçası olmalı — KVKK tarafında da savunulabilir olan budur.
Hangi işten başlanacağı henüz net değilse yapay zekâ danışmanlığı tarafında birlikte önceliklendiriyoruz; yöneticilerin bu kararları vermesi gerekiyorsa C-level yapay zekâ eğitimi doğrudan bir çıktı veriyor.
Sık sorulan sorular
Kurumsal LLM entegrasyonu ne demek?
Bir dil modelinin şirketin kendi verisi ve süreçleriyle çalışacak biçimde mevcut sistemlere bağlanmasıdır. Genel amaçlı bir sohbet aracını kullanmaktan farkı, cevabın kaynağının sizin verinizin olması, erişimin yetkiye bağlanması ve doğruluğun ölçülebilmesidir.
Şirket verimizle çalışması için modeli eğitmemiz gerekiyor mu?
Genellikle hayır. Şirket verisiyle doğru cevap üretmenin standart yolu RAG: soru geldiğinde ilgili belge parçası bulunup modele bağlam olarak verilir. Model eğitilmez, veri onun ağırlıklarına işlenmez. Bu yaklaşım hem daha ucuz, hem güncellenebilir, hem de cevabın kaynağını gösterebildiği için denetlenebilir.
Verimiz OpenAI gibi sağlayıcılara gidiyor mu?
Bu tamamen seçilen mimariye bağlı ve baştan kararlaştırılıyor. Kurumsal API planlarında veriler modelin eğitimine kullanılmıyor, ancak isteğin sağlayıcıya ulaştığı doğru. Bunun kabul edilemez olduğu durumlarda hassas alanlar hiç gönderilmeyecek şekilde maskeleniyor ya da kurum içinde çalışan model değerlendiriliyor. Hangi alanın nereye gittiği yazılı hale getiriliyor.
Maliyeti nasıl oluşuyor?
Üç kalem var: kurulum (veri hazırlığı, entegrasyon, test seti), model kullanımı (işlem başına token ücreti) ve işletme (altyapı, bakım, güncelleme). Model kullanımı işlem başına hesaplanabildiği için bütçe öngörülebilir. Kurum içi model seçildiğinde model ücreti düşer, altyapı ve işletme yükü belirgin biçimde artar.
Yanlış cevap verirse ne yapıyoruz?
Önce ölçüyoruz: hata belgenin bulunamamasından mı, yanlış belgenin seçilmesinden mi, yoksa modelin bağlamı yanlış yorumlamasından mı kaynaklanıyor? Üçünün çözümü farklı. Ayrıca sistem, emin olmadığında cevap üretmek yerine "bulamadım" diyecek biçimde kurgulanıyor; kaynak gösterme zorunluluğu bunu doğal olarak sağlıyor.
Ne kadar sürede devreye alınır?
Belgeleri hazır ve erişilebilir bir şirkette dar kapsamlı ilk sürüm tipik olarak üç ila altı hafta arasında çalışır hale geliyor. Süreyi uzatan şey neredeyse her zaman veri tarafı: dağınık, sürümsüz ya da erişimi kapalı belgeler. Bu yüzden ilk hafta veri envanterine ayrılıyor.
Şirket verinizle çalışan bir yapay zekâ düşünüyorsanız
Hangi soruları cevaplaması gerektiğini konuşalım; karar ağacında nerede durduğunuzu birlikte görelim. İlk görüşme ücretsiz.
LLM entegrasyonu için görüşme talep edinİlgili hizmetler
Bu sayfadaki işle birlikte en sık çalıştığım alanlar.