Yapay zekâ faturası çoğu kişide aynı şekilde büyür: bir abonelik alırsın, sonra ikincisi, sonra bir API anahtarı, derken ayda 150 dolar ödüyorsundur ve yaptığın işlerin çoğu aslında en pahalı modeli hak etmiyordur.

Daha önce yerel yapay zekâ mı bulut mu sorusunu tartışmıştık. Şimdi bir adım öteye gidelim: doğru cevap "birini seç" değil, işi doğru modele göndermek.

Sorun modelde değil, dağıtımda

Günlük yapay zekâ işlerini bir listeleyelim:

Gelen maili konusuna göre etiketlemek
Uzun bir metni özetlemek
Bir tabloyu düzenli veriye çevirmek
Blog taslağı yazmak
Karmaşık bir kodu ayıklamak
Bir iş kararının artılarını eksilerini tartmak

Bu altı işten dördü küçük bir modelin rahatça yaptığı iştir. İkisi gerçekten güçlü model ister.

Ama çoğu insan altısını da aynı yere gönderir — en pahalı olana. Fatura buradan şişer.

Yönlendirici mantığı

Fikir basit: araya bir katman koyarsın, o katman işi bakıp uygun modele gönderir.

Küçük ve ücretsiz modele gidenler: sınıflandırma, etiketleme, veri çıkarma, kısa özet, format çevirme, ilk taslak.

Güçlü ve ücretli modele gidenler: çok adımlı akıl yürütme, uzun bağlam, kritik karar, ince hata ayıklama.

Gerçek kullanımda oran genelde 80'e 20 çıkıyor. Yani işlerin beşte dördü ücretsiz tarafta hallediliyor. Fatura beşte birine iniyor, kalite ise düşmüyor — çünkü zor işler hâlâ güçlü modelde.

Karar üç soruya bakar

Yönlendiricinin karmaşık olması gerekmiyor. Pratikte üç ölçüt yetiyor:

1. İşin türü

Sınıflandırma ve çıkarma işleri küçük modele gider. Açık uçlu üretim ve akıl yürütme büyüğe.

2. Girdinin uzunluğu

Küçük modeller uzun metinde belirgin şekilde bozulur. Birkaç bin kelimeyi geçen her şey büyük modele gitsin.

3. Hatanın maliyeti

En önemli ölçüt bu. Çıktıyı sen görüp onaylayacaksan küçük model yeter — hata yaparsa düzeltirsin. Çıktı doğrudan müşteriye gidiyorsa ya da bir işlemi tetikliyorsa büyük modele gitsin.

"Kim görecek bu çıktıyı?" sorusu, teknik ölçütlerin hepsinden daha iyi ayırıyor.

Ücretsiz taraf gerçekten yeterli mi?

Dürüst cevap: yaptığın işe bağlı, ve fark ettiğinden daha çok işte yeterli.

7-8 milyar parametreli açık modeller şu işlerde bugün fazlasıyla yeterli:

Metni kategoriye ayırmak
Serbest metinden yapılandırılmış veri çıkarmak
Kısa ve orta metinleri özetlemek
Diller arası çeviri — Türkçe dahil
Şablon üzerinden içerik üretmek

Şu işlerde yetersiz kalıyor, zorlamaya değmez:

Uzun ve çok adımlı akıl yürütme
Onlarca sayfalık bağlamı akılda tutmak
İnce mantık hatalarını bulmak
Yaratıcı iş — üretiyor ama seviye farkı belli

Ayrımı bilerek kurarsan iki taraftan da faydalanırsın. Bilmeden kurarsan ya para yakarsın ya kalite kaybedersin.

Nereye kurulur

Ücretsiz tarafın çalışması için bir yer lazım. İki seçenek var.

Kendi bilgisayarın. Maliyet sıfır. Ama bilgisayar kapalıyken sistem çalışmaz — zamanlanmış işler için uygun değil.

Küçük bir sunucu. Ayda 5-8 avro. 7-8 milyar parametreli model 8GB bellekte rahat çalışır, ekran kartı gerekmez. Arka planda çalışan işlerde hız önemli değil, çünkü kimse cevabı bekleyip durmuyor.

Zamanlanmış işlerin varsa ikincisi tek mantıklı seçenek.

Nereden başlamalı

Hepsini bir günde kurmaya çalışma. Sırası şu:

Bir hafta ölç. Yapay zekâya ne sorduğunu not al. Çoğu insan listeyi görünce şaşırıyor — işlerin ezici çoğunluğu tekrar eden, basit işler.
Listeyi ikiye ayır. "Ben kontrol edeceğim" ve "doğrudan gidecek" diye.
Sadece ilk grubu taşı. Ücretsiz modele geçir, iki hafta karşılaştır.
Kalite düşmediyse genişlet. Düştüyse o iş büyük modelde kalsın — zorlamanın anlamı yok.

Bu sırayla giderken hiçbir risk almazsın, çünkü kritik işler baştan sona ücretli tarafta kalır.