LLMが金食い虫になる理由と「やらかさない」コスト設計の基本

# OpenAI APIの例
response = openai.ChatCompletion.create(
    model="gpt-4",
    messages=[
        {"role": "user", "content": "Pythonとは何ですか？"}
    ],
    max_tokens=100  # 出力を100トークンまでに制限
)

あなたは親切で丁寧なアシスタントです。ユーザーの質問に対して、
できるだけ詳しく、わかりやすく、具体例を交えながら説明してください。
また、回答は必ず日本語で行い、専門用語を使う場合は必ず説明を
加えてください。さらに、ユーザーが理解しやすいように、
箇条書きや番号付きリストを活用してください...（続く）

日本語で簡潔に回答。専門用語は説明を添える。

# すべての会話履歴を保持（コストが増大）
conversation_history = [
    {"role": "system", "content": "あなたは..."},
    {"role": "user", "content": "最初の質問"},
    {"role": "assistant", "content": "最初の回答"},
    {"role": "user", "content": "2番目の質問"},
    {"role": "assistant", "content": "2番目の回答"},
    # ... 会話が続くほどコストが増える
]

# 直近N件のみを保持
MAX_HISTORY = 5  # 直近5件のやり取りのみ保持

def manage_conversation_history(history, max_count):
    # システムプロンプトは常に保持
    system_message = history[0]
    recent_messages = history[-max_count:]
    return [system_message] + recent_messages

import time
from functools import wraps

# リクエスト頻度の制限
def rate_limit(max_requests_per_minute):
    def decorator(func):
        last_called = [0.0]
        @wraps(func)
        def wrapper(*args, **kwargs):
            elapsed = time.time() - last_called[0]
            if elapsed < 60.0 / max_requests_per_minute:
                time.sleep(60.0 / max_requests_per_minute - elapsed)
            result = func(*args, **kwargs)
            last_called[0] = time.time()
            return result
        return wrapper
    return decorator

# 1分間に最大30リクエストに制限
@rate_limit(max_requests_per_minute=30)
def call_llm_api(prompt):
    # API呼び出し処理
    pass

response = openai.ChatCompletion.create(...)
usage = response['usage']
print(f"入力トークン: {usage['prompt_tokens']}")
print(f"出力トークン: {usage['completion_tokens']}")
print(f"合計: {usage['total_tokens']}")

# ログに記録して定期的に確認

# 環境変数で本番モードとテストモードを切り替え
import os

USE_MOCK = os.getenv('USE_MOCK_LLM', 'true') == 'true'

def call_llm(prompt):
    if USE_MOCK:
        # テスト用の固定レスポンス
        return "これはテスト用のモック応答です。"
    else:
        # 実際のAPI呼び出し
        return call_real_llm_api(prompt)

import hashlib
import json

cache = {}

def cached_llm_call(prompt, model="gpt-3.5-turbo"):
    # プロンプトのハッシュをキャッシュキーに使用
    cache_key = hashlib.md5(
        f"{model}:{prompt}".encode()
    ).hexdigest()
    
    if cache_key in cache:
        print("キャッシュからレスポンスを取得")
        return cache[cache_key]
    
    # 新規API呼び出し
    response = call_llm_api(prompt, model)
    cache[cache_key] = response
    return response

1日のリクエスト数 = 100人 × 5回 = 500回
月間リクエスト数 = 500回 × 30日 = 15,000回

入力トークン総数 = 15,000回 × 50トークン = 750,000トークン
出力トークン総数 = 15,000回 × 150トークン = 2,250,000トークン

入力コスト = 750,000 ÷ 1,000,000 × $1.25 = 約$0.94
出力コスト = 2,250,000 ÷ 1,000,000 × $10.000 = $22.50

月額合計 ≈ $23.44（3516円 ※1ドル150円換算）