LLM API maliyet hesaplayıcı (token)

AI API aylık maliyeti nasıl hesaplanır

Hesaplama, fiyat listesine bakmadan önce bilmeniz gereken üç sayıyla başlar: günde kaç isteğiniz olduğu, her isteğe ortalama kaç token girdiği ve modelin kaç token döndürdüğü. Çoğu kişi yalnızca sorunun uzunluğunu tahmin edip her soruyla birlikte gönderilen bağlamı unutur: sistem talimatları, konuşmadaki önceki mesajlar, belgelerden çıkarılan bölümler. Sohbet uygulamalarında bağlam çoğu zaman giriş tokenlarının yüzde 70 ila 90'ını oluşturur.

İşlem adımları:

1. Üretimden veya testlerden on gerçek istek alın ve bunları bir metin dosyasına kopyalayın.
2. Giriş tokenlarını sağlayıcının aracıyla (tokenizer) veya kaba bir tahminle ölçün: Sırpça için karakter sayısını 3'e bölün.
3. Çıkış tokenlarını aynı şekilde ölçün, ancak yalnızca modelin gerçekten döndürdüğü yanıtlar için.
4. Ortalamaları günlük istek sayısıyla, ardından aylık için 30 ile çarpın.
5. Giriş ve çıkış için milyon token başına fiyatları ayrı ayrı uygulayın ve toplayın.

Örnek: Günde 2.000 istek, 1.500 giriş ve 300 çıkış tokenu. Bu, günde 3 milyon giriş ve 600 bin çıkış tokenu, yani ayda 90 milyon giriş ve 18 milyon çıkış tokenu demektir. Giriş milyon token başına 1 para birimi, çıkış 4 ise aylık maliyet 90 + 72 = 162 birimdir. Bu şekilde kalemlere ayrılmış bir hesaplama, nereden kısılması gerektiğini hemen gösterir.

Token nedir ve Sırpça metin neden daha pahalı

Token bir kelime ya da harf değil, modelin tek bir birim olarak işlediği metin parçasıdır. İngilizce kelimeler genellikle tek bir tokene bölünürken, ek alan daha uzun Sırpça kelimeler iki veya üç tokene bölünür. Bu nedenle aynı içerik Sırpça'da İngilizce'ye göre daha fazla token kaplar ve fark en çok çekim ekli biçimlerde, birleşik kelimelerde ve aksan işaretli kelimelerde görülür.

Pratik sonucu: Bir promptu İngilizce'den çevirip uyarlamazsanız, düşündüğünüzden fazla ödersiniz. Sırpça kısa talimatlar sorun değildir, ancak uzun şablonları ve ürün açıklamalarını olabildiğince kısa yazmak kazandırır. Aynısı JSON çıktısı için de geçerlidir: her anahtar, tırnak işareti ve parantez sayılır.

İleri düzey ipucu: Tahmin yürütmek yerine 20 ila 30 örnekten oluşan küçük bir test seti oluşturun ve her çağrıdan önce tokenları programlı olarak ölçün. Bu ölçümler daha sonra bütçe ve model karşılaştırması için temel oluşturur, çünkü iki model arasındaki fark çoğu zaman demo promptunda değil, gerçek verilerde görülür.

Maliyet tahmininde en sık yapılan hatalar

• Yalnızca son soruyu hesaplamak. Her istekte yeniden gönderilen konuşma geçmişi unutulur.
• Çıkış tokenlarını yok saymak. İnsanlar giriş fiyatını girip bunun tüm maliyet olduğunu sanır, oysa çıkış genellikle birkaç kat daha pahalıdır.
• Uç değerler olmadan ortalama almak. Devasa belge içeren nadir istekler yüzlerce sıradan isteği aşabilir. Yalnızca ortalamayı değil, en büyük istekleri de kontrol edin.
• Eski fiyatlar. Sağlayıcılar fiyat listelerini değiştirir ve yeni model sınıfları sunar, bu nedenle bir ay önceki hesaplama yanlış olabilir.
• Çok sayıda küçük istek. Çok kısa yanıtlarda istek başına maliyet düşüktür, ancak günde 50.000 istek yine ciddi bir fatura oluşturur.

Kaliteden ödün vermeden maliyet nasıl düşürülür

Önce her isteğin gerçekten en güçlü modele gitmesi gerekip gerekmediğini kontrol edin. Sınıflandırma, metinden alan çıkarma ve kısa özetler gibi rutin görevleri daha küçük bir model çoğu zaman benzer sonuçla halleder. İkinci olarak bağlamı kısaltın: tüm belge yerine yalnızca ilgili bölümleri gönderin ve konuşma geçmişini son birkaç mesajla sınırlayın. Üçüncü olarak yinelenen soruların yanıtlarını önbelleğe alın ve çıkış token sayısına kesin bir üst sınır koyun, çünkü bu, yanıtta nadir ama pahalı "romanları" önler.

Maliyet kullanıcı sayısından daha hızlı artıyorsa sorun genellikle modelin fiyatında değil, çağrı mimarisindedir. EVI Solutions, kullanıcı ve proje bazında harcama takibi kurmak ve uygulama düzeyinde bütçeler belirlemek gerektiğinde yardımcı olabilir.