erdiOS

BlogNotlar

Ajan ekiplerinde token nereye gider?

Bir ekip tek bir ajandan çok token harcar; ama farkın büyük kısmı gereksiz turlardan gelir. erdiOS’u geliştirirken ölçtüklerimiz ve bunun üstüne koyduğumuz kurallar.

Yapay zekâ araçlarının kullanım limitleri, büyük ölçüde modelin okuduğu ve yazdığı token miktarına bağlıdır. Ekip olarak çalışınca bu limit daha hızlı dolabilir. erdiOS’u geliştirirken her önemli değişikliği gerçek ekiplerle ölçtük; bu yazı o ölçümlerden çıkardıklarımızı anlatıyor.

Asıl maliyet: tur sayısı

Bir ajana giden her mesaj yeni bir model turu başlatır. Ajan o turda konuşmanın tamamını yeniden okur: açılış talimatını, araç tanımlarını, o ana kadarki bütün yazışmayı. Bu yüzden bir ekipte harcamayı en çok belirleyen şey, mesajların uzunluğu değil kaç tur atıldığıdır.

İlk denemelerimizden birinde üç ajana “1 ile 10 arasında bir sayı tuttum, tahmin edin” dedik. Ajanlar tahmin etmenin yanında birbirlerine yaklaşık 20 teşekkür, onay ve kutlama mesajı yazdı. Her biri ayrı bir turdu.

Bundan sonra koyduğumuz kurallar:

  • Ekip içi mesaj yalnız iş içindir. Teşekkür, onay ve kutlama yazılmaz.
  • Bilgi notları bekler. “Bu arada şu oldu” türünden notlar ajanı uyandırmaz; ona giden bir sonraki gerçek mesajın sonuna eklenir.
  • Biriken mesajlar tek seferde gider. Ajan çalışırken gelen mesajlar sıraya girer ve ajan boşa çıktığı ilk anda tek bir mesaj olarak teslim edilir: tek tur.
  • Onay ajanı uyandırmaz. Bir raporu kabul ettiğinde ajana yeni bir tur başlamaz; bunu bir sonraki işiyle birlikte öğrenir. Düzeltme isteği ise hemen gider.

Bir şeyi bilerek yapmıyoruz: hiçbir ekip mesajını silmiyoruz, yalnız ne zaman gideceğini ayarlıyoruz. Hata ayıklarken iki ajanın uzun uzun yazışması gerekebilir.

Beklerken yoklamak

Bir başka denemede lider, ekibin işi bitti mi diye 30 saniyede bir durum sorguladı. Her sorgu yaklaşık 30 bin tokenlik ayrı bir turdu; liderin turu hiç bitmediği için ona gelen raporlar da sırada kaldı.

Şimdi lider beklerken sorgulamaz, toplu uyandırılır: ekipten biri hâlâ çalışıyorsa gelen raporlar biriktirilir; herkes işini bitirince ya da en geç 3 dakika sonra hepsi tek turda gider. Bir engel ya da başka bir kartın beklediği rapor ise hemen iletilir.

Lider neden kod yazmıyor?

Liderin konuşması ekipteki en uzun konuşmadır: bütün raporlar, kararlar ve sohbet ona gelir ve her turda tamamı yeniden okunur. Lider bir de dosya okuyup yazınca konuşması hızla büyür ve ekibin en pahalı üyesi olur.

erdiOS’ta lider bir orkestra şefidir: işi böler, kartları dağıtır, raporları kontrol eder; dosyaya yazmaz. Çalışan kendi kartının tamamını alır ve işi kendi konuşmasında bitirir. Ayrıntı panoda ve ortak hafızada durur, liderin konuşmasında birikmez.

Aynı ekiple (Codex lider ve geliştirici, Antigravity tasarımcı ve test uzmanı), aynı metinlerle aynı işleri iki kez yaptırdık:

Eski düzen Orkestra şefi
1. iş: bir web sitesi 4,72 milyon 2,63 milyon
2. iş: arama ve koyu tema 2,94 milyon 3,00 milyon
Koyu tema için düzeltme turu 2,88 milyon gerekmedi
Toplam 10,54 milyon 5,63 milyon

Bu tek bir deneme ve iki seferde çıkan siteler birebir aynı değil; oranı kesin bir ölçü saymıyoruz. Ama yön açık: ilk işte liderin payı 1,66 milyondan 0,50 milyona indi. Bu yazıdaki sayılara önbellekten okunan tokenler de dahil.

Temiz sayfa her zaman ucuz değil

Konuşma uzadıkça her tur pahalılaşır. Akla gelen ilk çözüm, her yeni kartta ajanı temiz bir konuşmayla başlatmak. Bunu da ölçtük ve tahminimiz yanlış çıktı: benzer büyüklükte bir işte her kart temiz başladığında toplam 3,48 milyon token tuttu, temiz başlamayan bir önceki işten fazla. Sebep basit: temiz başlayan ajan projeyi yeniden öğreniyor. Bir çalışanın aynı türden iş için attığı adım 10’dan 33’e çıktı.

Şimdi erdiOS konuşmayı yalnız gerçekten uzadığında yeniler: ajanın okuduğu bağlam 200 bin tokeni geçmişse ve yarım kalmış bir işi yoksa, yeni işe temiz bir konuşmayla başlar. Kısa konuşmalar korunur.

Her araç kazandırmıyor

Ajanlar projeyi daha az okusun diye erdiOS’a bir “proje haritası” ekledik: dosyaların özetleri, hangi dosyanın neyi kullandığı, okumaya nereden başlanacağı. Haritayı çıkarmak 419 bin token tuttu. Sonra aynı soruyu iki temiz konuşmada sorduk:

Haritayı kullandı mı Adım Token
Harita açık, serbest Hayır, dosyaları kendisi aradı 9 470 bin
Kullanması söylendi Bir kez, sonra yine kendisi aradı 10 508 bin

Kazanç yoktu, haritayı kaldırdık. Çıkardığımız ders: büyük bir özelliği eklemeden önce faydasını küçük, gerçek bir denemeyle ölçmek.

Bazen daha çok token, daha iyi iş

Her harcamayı düşürmek de amaç değil. Yetenekler, ajana bir konuda nasıl çalışacağını öğreten hazır talimatlardır. Aynı arayüz işini bir tasarım yeteneğiyle ve yeteneksiz yaptırdık:

Adım Token
Yeteneksiz 2 66 bin
Tasarım yeteneğiyle 5 162 bin

Yetenekli sonuç belirgin biçimde daha iyiydi; yeteneksiz denemede bildirim kartları düğmelerin üstüne biniyordu. Hangi yeteneklerin açık olacağına Ayarlar → Yetenekler’den sen karar verirsin.

Gerçek bir ekip ne harcıyor?

Üç kişilik karma bir ekiple (Claude lider, Codex ve Antigravity çalışan) küçük bir işi baştan sona yaptırdık: lider iki kart açtı, iki çalışan işini yapıp raporladı, lider raporları inceledi. Toplam 432 bin token: liderin iki turu 318 bin, çalışanlar 61 ve 53 bin.

Liderin payının büyük olması beklenen bir şey; bütün raporları ve kararları o okuyor. Bu yüzden lideri, ekipte limiti en geniş olan araca vermek mantıklı.

Kendi harcamanı izle

  • Ayarlar → Kullanım: bugün, son 7 gün ve son 30 gün; kişi, araç ve hesap bazında token ve tur sayısı.
  • Kenar çubuğu: her aracın plan limitinden ne kadarının kullanıldığı.
  • Lider de görür: ekibin durumuna bakarken her üyenin limit yüzdesini görür.
  • Birden çok hesap: bir aracın birden çok hesabını eklediysen, limiti dolan hesaptan ötekine kendiliğinden geçilebilir.

Bu yazıdaki sayılar erdiOS’u geliştirirken yaptığımız tek tek denemelerden geliyor; projeye, araca ve plana göre değişir. Yeni ölçümler oldukça burada paylaşacağız.

Diğer yazılar

Bütün yazılar

erdiOS’u dene

Ofisi tarayıcında gez.

Canlı demo, uygulamanın kendi arayüzü: takım kur, ajana iş ver, izinleri cevapla. Yapay zekâ çalıştırmaz, hiçbir hesabın kullanılmaz.