AI Hizmetlerinin Maliyetlendirilmesi: Token Ekonomisinin Zorlukları

Yapay zeka (AI) hizmetlerinin maliyetlendirilmesi, büyük teknoloji firmalarının yatırımları ve artan kullanım oranlarıyla birlikte karmaşık bir hale geliyor. Microsoft, Google ve Anthropic gibi devler, Büyük Dil Modelleri (LLM) geliştirmek için yüz milyarlarca dolar yatırım yaptı. Bu modeller, ChatGPT, Claude veya Gemini gibi hizmetlerin arkasındaki teknolojiyi oluşturuyor. Kullanıcılar bu hizmetlerden ücretsiz yararlanırken, firmalar yatırımlarını geri kazanmak amacıyla ek özellikler sunan ücretli versiyonlar da sunuyor. Üçüncü taraf firmalar, genellikle belirli görevleri yerine getirmek üzere eğitilmiş LLM tabanlı AI ajanlarına dayalı hizmetler geliştirip satıyor. Ancak bu hizmetlerin fiyatlandırılması beklenenden daha zor. Saviynt'ten Simon Gooch, "Önümüzdeki 12 ay, iki yıl, üç yıl için bir maliyet modeli oluşturmak mantıklı değil, çünkü bilmiyoruz," diyor. Bu belirsizlik, LLM'lerin ve ajan tabanlı AI'nın yapı taşları olan tokenların hızla değişen ekonomisinden kaynaklanıyor. Bir kullanıcı, ChatGPT veya Anthropic'in Claude'u gibi bir LLM'den bir soru sorduğunda veya bir işlem otomatikleştirildiğinde, bu talep matematiksel parçalara, yani tokenlara bölünür. Modelin yanıtı da tokenlar halinde gelir ve metin, yazılım kodu veya bir dizi komuta dönüştürülür. Ancak bu süreç tamamen öngörülebilir değildir. Aynı talep her zaman aynı yanıtı üretmez ve farklı modeller farklı yanıtlar verebilir. Ajan tabanlı sistemlerde ise birden fazla AI ajanı birlikte kullanılarak kararlar alınır ve eylemler gerçekleştirilir, bu da token kullanımını ve öngörülemezliği artırır. Goldman Sachs'ın analizine göre, bireysel tokenların maliyeti son yıllarda düşse de, işletmeler ve tüketiciler tarafından tüketilen token sayısı hızla artıyor. Banka, 2026 ile 2030 arasında token tüketiminin 24 kat artarak aylık 120 katrilyon tokena ulaşacağını öngörüyor. Ancak AI sistemlerini kullanan şirketler ve bireyler, ne kadar token tükettiklerini genellikle ancak tokenları tükendiğinde veya aylık faturalarını aldıklarında fark ediyorlar. Microsoft'un bile bazı üçüncü taraf kodlama araçlarının kullanımını sınırladığı, Uber'in ise yıllık AI kodlama token bütçesini birkaç ay içinde tükettiği bildiriliyor. Londra Ekonomi Okulu'ndan Dijital İnovasyon ve Bilgi Sistemleri Doçenti Will Venters, şirketlerin AI'yi dahili olarak denerken veya uygularken maliyetleri yönetmekte zorlandığını belirtiyor. "İnsanlar bu maliyeti yönetmenin gerçekten zor olduğunu görüyor... bu, belirlenemeyen bir çıktı, dolayısıyla belirlenemeyen bir değer," diyor. Şirketler bu durumu aşmanın yollarını arıyor. Mühendislik yazılım firması smartR AI'nın kurucusu Oliver King-Smith, daha küçük organizasyonların "düz ücretli kişisel hesapları kullanarak gözden kaçabileceğini" söylüyor. Ancak, "Bu bir noktada sona ermeli, çünkü büyük oyuncular bu hesaplardan zarar görüyor," diye ekliyor. Büyük AI platformları, hissedarların kâr baskısıyla karşı karşıya kaldıklarında, bu tür hesapları sıkılaştırmaya başlayacaklarını öngörüyor. King-Smith, şirketlerin hangi AI modellerini kullanacaklarını daha dikkatli düşünmeleri gerektiğini söylüyor. İngiltere merkezli muhasebe yazılım firması iplicit'in CFO'su Rob Steele, şirketlerin talimatlarını daha kesin hale getirmeleri gerektiğini belirtiyor. "Ailenizden birine haftalık alışverişi yapması için detaylı talimatlar vermeden göndermezsiniz, değil mi?" diyor. Şirketler, AI'yi bir ürüne entegre ettiklerinde durum kontrol edilemez hale gelebilir.