Yapay zekâ modelleri son yıllarda metin işleme, analitik sorgulama ve kod geliştirme alanlarında olağanüstü bir performans sergilemiş olsa da, yazılım dünyasının en temel pratik engellerinden biriyle sınırlı kalmıştı: masaüstü ve grafik kullanıcı arayüzleriyle (GUI) doğrudan etkileşime geçememek. Klasik otomasyon sistemlerinde bir yapay zekânın belirli bir işlemi gerçekleştirebilmesi için her platforma özel API uçlarının tasarlanması veya kırılgan web scraping komutlarının yazılması gerekiyordu. API desteği bulunmayan eski kurumsal yazılımlar, özel masaüstü portalları veya karmaşık web panelleri insan gücüne bağımlı kalmaya devam etti.

Anthropic, bu operasyonel darboğazı kökten değiştiren çığır açıcı Computer Use (Bilgisayar Kullanımı) API yeteneğini genel erişime açtı (Anthropic 3.5 Models and Computer Use Announcement). Bu mimari sayesinde Claude 3.5 Sonnet modeli, standart bir insan kullanıcı gibi bilgisayar ekranını görüntüleyebiliyor, imleci istenen piksel koordinatlarına taşıyabiliyor, butonlara tıklayabiliyor, form alanlarına metin yazabiliyor ve çok pencereli karmaşık görevleri otonom olarak icra edebiliyor (Claude Computer Use Documentation). Bu rehberde, Anthropic Computer Use sisteminin çalışma prensiplerini, güvenlik çerçevesini ve geliştiriciler için adım adım kurulum sürecini inceliyoruz.

📺 Bu konuyu videoda anlattım: Anthropic Claude Fable 5'i Aniden Kapattı — Kapanmadan Önce Test Ettim 😳

Anthropic Computer Use Nasıl Çalışır?

Computer Use, yapay zekâ ajanını izole bir sanal masaüstü ortamına bağlayan ve döngüsel görsel geri bildirimle (vision-based feedback loop) çalışan bir araç mimarisidir:

1. Görsel Algılama ve Ekran Analizi

Claude, bilgisayara doğrudan kör komutlar göndermek yerine ortamın anlık ekran görüntüsünü (screenshot) alır. Modelin multimodal görsel yetenekleri, arayüzdeki butonları, açılır menüleri, metin kutularını, onay kutularını ve ikonları yüksek hassasiyetle tanır.

2. Piksel Koordinasyonu ve Eylem Üretimi

Arayüz bileşenini tespit eden model, eylemin gerçekleşeceği x ve y koordinatlarını hesaplar. Anthropic Messages API üzerinden yapılandırılmış özel bir JSON aracı (computer tool) çağrısı üreterek işletim sistemine şu eylemleri iletir:

mouse_move: İmleci belirli bir koordinata yönlendirme.
left_click, right_click, double_click: Tıklama eylemleri.
type: Metin kutusuna klavye karakterleri yazma.
key: Enter, Backspace, Tab veya kısayol tuş kombinasyonlarını tetikleme.
screenshot: Eylemin başarıyla tamamlandığını doğrulamak için yeni bir görsel alma.

3. Otonom Geri Bildirim Döngüsü (Agentic Loop)

Model her adımdan sonra ekranın yeni durumunu inceler. Örneğin bir form doldurulup Gönder butonuna tıklandığında sayfanın yüklenip yüklenmediğini, bir hata mesajı çıkıp çıkmadığını veya yönlendirilen yeni pencereyi kontrol eder. Hata tespit ederse stratejisini değiştirerek görevi tamamlayana kadar süreci devam ettirir.

Güvenlik ve İzolasyon Standartları

Anthropic, Computer Use teknolojisinin doğrudan işletim sistemi seviyesinde yetki kullanması nedeniyle katı güvenlik yönergeleri belirlemiştir:

1. Docker ve Sanal Makine İzolasyonu

Geliştiricilerin bu ajanı kesinlikle kendi ana işletim sistemleri üzerinde doğrudan çalıştırmamaları, her çalıştırmayı izole bir Docker konteyneri veya sanal masaüstü (Xvfb / VNC) içinde tutmaları şart koşulur (Anthropic Quickstarts GitHub Repository). Bu sayede modelin beklenmedik bir sistem dosyasını silmesi veya kontrolsüz veri transferi yapması engellenir.

2. Prompt Injection ve Güvenilmeyen Veri Filtreleme

Web sayfalarında gizlenmiş kötü niyetli talimatlar (örneğin beyaz zemin üzerine beyaz metinle yazılmış sistem manipülasyonları), ajanı yanıltmaya çalışabilir. Modelin kritik eylemlerde (finansal ödeme onayları, dosya silme veya hesap şifresi değiştirme) mutlaka insan onayı (human-in-the-loop) talep edecek şekilde yapılandırılması önerilir.

Adım Adım Uygulama: Computer Use Geliştirici Ortamı Kurulumu

Claude ile bilgisayar otomasyonu geliştirmeye başlamak için aşağıdaki 5 adımı izleyebilirsiniz:

Adım 1: API Anahtarı ve Beta Başlığını Yapılandırın

Computer Use özelliği şu anda Anthropic Messages API altında özel bir beta başlığı ile sunulmaktadır (Anthropic Messages API Guide):

API isteğinizin header bölümüne anthropic-beta: computer-use-2024-10-22 ekleyin.
claude-3-5-sonnet-20241022 veya güncel Sonnet model kodunu hedefleyin.

Adım 2: Docker ile Sanal Ekran Ortamını Başlatın

Anthropic tarafından açık kaynak olarak paylaşılan resmi referans ortamını klonlayıp çalıştırın:

Terminalden resmi depoyu indirin: git clone https://github.com/anthropics/anthropic-quickstarts.git
computer-use-demo dizinine geçiş yapın.
API anahtarınızı tanımlayarak konteyneri ayağa kaldırın: docker run -e ANTHROPIC_API_KEY=api_key -p 8080:8080 ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
Tarayıcınızdan yerel bağlantı noktasına girerek modelin canlı masaüstü oturumunu (noVNC arayüzü) izleyin.

Adım 3: Araç (Tool) Tanımlarını ve Ekran Çözünürlüğünü Ayarlayın

API çağrınızda modele kullanabileceği araçları bildirin. Standart yapılandırmada üç temel araç tanımlanır:

computer: Ekran çözünürlüğü (optimize edilmiş 1024x768 piksel) ve fare/klavye kontrolü.
bash: Gerekli durumlarda terminal komutları çalıştırma yetkisi.
str_replace_editor: Metin dosyalarını ve scriptleri düzenleme aracı.

Adım 4: Ajan Çalıştırma Döngüsünü (Agent Loop) Başlatın

Python istemciniz üzerinden modele hedefinizi iletin:

Görev Örneği: 'LibreOffice Calc programını aç, veri tablosunu içe aktar, sütunların toplamını hesapla ve masaüstüne PDF olarak dışa aktar.' Model görevi parçalara böler, önce uygulama menüsünü açar, ardından dosya gezgininde ilgili dizine gider ve her adımda ekran görüntüsü alarak ilerler.

Adım 5: Hata Yakalama ve Onay Eşiklerini Test Edin

Ajanın hedeften saptığı veya arayüzün geç yüklendiği senaryolara karşı bekleme (wait) süreleri tanımlayın. Modelin görev bitiminde konsola özet rapor üretmesini sağlayarak süreci tamamlayın.

Kurumsal E-Ticaret ve İş Akışlarında Kullanım Alanları

API Desteği Olmayan Tedarikçi Portalları: Toptancı sitelerinden günlük stok ve fiyat listelerini indirme, sipariş numaralarını portala kopyalama iş yükünün tamamen yapay zekâya devredilmesi.
Masaüstü Muhasebe ve ERP Entegrasyonu: Web satış panellerinden çekilen sipariş verilerinin eski masaüstü muhasebe programlarına insan hızından farksız doğrulukla girilmesi.
Uçtan Uca Arayüz ve Regresyon Testleri: Yazılım güncellemeleri sonrasında web sitesindeki sepet adımlarının ve ödeme akışlarının gerçek bir kullanıcı gibi test edilmesi.

Sık Sorulan Sorular

Claude Computer Use sistemi hangi işletim sistemlerinde çalıştırılabilir?

Anthropic'in resmi referans uygulaması Ubuntu Linux tabanlı sanal masaüstü (Xvfb ve X11) üzerinde optimize edilmiştir. Ancak geliştiriciler Windows ve macOS üzerinde de sanallaştırma katmanları (Docker, VM) veya yerel GUI otomasyon kütüphaneleri (PyAutoGUI, Quartz) aracılığıyla bu sistemi entegre edebilirler.

Ekran çözünürlüğü ve gecikme süresi modelin doğruluğunu nasıl etkiler?

Anthropic, modellerin görsel işleme maliyetini ve gecikmesini dengeli tutmak adına çözünürlüğün 1024x768 veya azami 1280x800 piksel aralığında tutulmasını önerir. Çok yüksek 4K çözünürlükler API token tüketimini hızla artırırken yanıt sürelerini uzatabilir.

Computer Use maliyetleri standart API çağrılarından neden daha yüksektir?

Computer Use döngüsünde her fare tıklamasından veya klavye girdisinden sonra yeni bir yüksek çözünürlüklü ekran görüntüsü API'ye girdi (input token) olarak gönderilir. Çok adımlı bir görevde onlarca görsel işlendiği için token tüketimi standart salt metin sohbetlerine göre belirgin şekilde daha yüksektir.

Web otomasyonunda ve form doldurmada CAPTCHA engeline takılır mı?

Evet. Anthropic'in güvenlik kuralları ve sistem sınırları gereğince Claude, güvenlik doğrulamalarını ve CAPTCHA testlerini çözmek için tasarlanmamıştır. Bir web sitesinde bot engeli veya CAPTCHA ile karşılaşıldığında model duraklayarak insan müdahalesi talep eder.

Sonuç

Anthropic Computer Use yeteneği, yapay zekâyı pasif bir metin asistanından aktif bir işletim sistemi operatörüne dönüştüren tarihi bir kırılma noktasıdır. Karmaşık arayüzleri görsel olarak yorumlayabilmesi ve piksel düzeyinde eyleme geçebilmesi, yazılım dünyasında API engellerini anlamsız hale getirmektedir. Güvenli sanallaştırma altyapıları ve doğru denetim mekanizmalarıyla kurgulandığında bu teknoloji, e-ticaretten kurumsal veri girişine kadar tüm dijital iş akışlarında insan üretkenliğini katbekat artırma potansiyeline sahiptir.