Hugging Face APIの導通確認

Hugging face APIを使用して，LLMの応答試験を行います．
ドラフトのコードをChatGPTで生成し，動作するように修正しました．

from huggingface_hub import InferenceClient
import os
from dotenv import load_dotenv

# .envファイルから環境変数を読み込む（HF_TOKENを保存）
load_dotenv()

client = InferenceClient(token=os.getenv("HF_TOKEN"))

# 1. 英語のテキストでテスト
print("=== 英語テキストのテスト ===")
try:
    response = client.text_generation("Hello, world!", model="gpt2")
    print("レスポンスの内容:", repr(response))
except Exception as e:
    print("エラーが発生しました:", str(e))

# 2. 日本語対応モデルでテスト
print("\n=== 日本語対応モデルのテスト ===")
try:
    response = client.text_generation(
        "こんにちは、世界！",
        model="rinna/japanese-gpt2-medium"  # 日本語対応GPT-2モデル
    )
    print("レスポンスの内容:", repr(response))
except Exception as e:
    print("エラーが発生しました:", str(e))

=== 英語テキストのテスト ===
エラーが発生しました: 504 Server Error: Gateway Time-out for url: https://router.huggingface.co/hf-inference/models/gpt2

=== 日本語対応モデルのテスト ===
エラーが発生しました: 503 Server Error: Service Temporarily Unavailable for url: https://router.huggingface.co/hf-inference/models/rinna/japanese-gpt2-medium

エラーになりました．APIを使用したプログラムは応答がstatus codeのみで，不具合内容がわからないので辛いのですが，再度ChatGPTに相談したところ，モデルロードに時間がかかっていて，応答できないのではないかというアドバイスをもらえたので，リトライするコードを以下のように用意し，実行してみました．

import time
def test_model_with_retry(model_id, input_text, max_retries=3, delay=5):
    """リトライロジックを含むモデルテスト関数"""
    api_key = os.getenv("HF_TOKEN")
    client = InferenceClient(token=api_key)
    
    for attempt in range(max_retries):
        try:
            response = client.text_generation(input_text, model=model_id)
            return response
        except Exception as e:
            if attempt < max_retries - 1:
                print(f"試行 {attempt + 1} 失敗: {str(e)}")
                print(f"{delay}秒後に再試行します...")
                time.sleep(delay)
            else:
                print(f"最大試行回数に達しました: {str(e)}")
                raise


# 1. 英語のテキストでテスト
print("=== 英語テキストのテスト ===")
try:
    response = test_model_with_retry(
        "gpt2",
        "Hello, world!",
        max_retries=3,
        delay=5
    )
    print("レスポンスの内容:", repr(response))
except Exception as e:
    print("エラーが発生しました:", str(e))

# 2. 日本語対応モデルでテスト
print("\n=== 日本語対応モデルのテスト ===")
try:
    response = test_model_with_retry(
        "rinna/japanese-gpt2-medium",
        "こんにちは、世界！",
        max_retries=3,
        delay=5
    )
    print("レスポンスの内容:", repr(response))
except Exception as e:
    print("エラーが発生しました:", str(e))

=== 英語テキストのテスト ===
レスポンスの内容: "\n\nI'm sorry, but I'm not sure what to do.\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry, world!\n\nI'm sorry"

=== 日本語対応モデルのテスト ===
レスポンスの内容: 'ニッポン行きたい人応援団の「世界! ニッポン行きたい人応援団」です。 今回は、世界! ニッポン行きたい人応援団の「世界! ニッポン行きたい人応援団」が、 海外旅行で絶対に行っておきたい場所をご紹介します。 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい場所 海外旅行で絶対に行っておきたい'

無事に生成できました．回答内容がイマイチですが，それはご愛嬌ということで．ひとまず，APIの導通確認は完了です．