Transformerの仕組みを体系的に理解したい　実践編

pip install transformers datasets torch fugashi ipadic

# 学習済みのモデルの保存
trainer.save_model("./saved_model")
tokenizer.save_pretrained("./saved_model")

# 学習経過の確認
!pip install tensorboard

%load_ext tensorboard
%tensorboard --logdir ./logs

# 学習済みモデルの利用

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 保存したモデルとトークナイザをロード
model_dir = "./saved_model"  # モデルを保存したディレクトリ
tokenizer = BertTokenizer.from_pretrained(model_dir)
model = BertForSequenceClassification.from_pretrained(model_dir)

# モデルを評価モードに設定
model.eval()

# GPUが利用可能ならGPUを使用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# 判定したいテキスト
texts = [
    "この映画はとても面白かった！また見たい。",
    "最悪の体験だった。二度と行きたくない。",
    "普通の内容だったけど、少し退屈だった。",
    "ひどい映画だ",
    "おすすめです"
]

# テキストをトークン化してモデルに入力できる形式に変換
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")

# GPUに移動
inputs = {key: val.to(device) for key, val in inputs.items()}

# モデルで予測
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)

# 判定結果を表示
labels = ["ポジティブ", "ネガティブ"]
for text, prediction in zip(texts, predictions):
    print(f"テキスト: {text}")
    print(f"判定: {labels[prediction]}")
    print()

テキスト: この映画はとても面白かった！また見たい。
判定: ポジティブ

テキスト: 最悪の体験だった。二度と行きたくない。
判定: ネガティブ

テキスト: 普通の内容だったけど、少し退屈だった。
判定: ネガティブ

テキスト: ひどい映画だ
判定: ネガティブ

テキスト: おすすめです
判定: ポジティブ

model_name = "cl-tohoku/bert-base-japanese"
tokenizer = BertTokenizer.from_pretrained(model_name)

model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

ClassLabel(names=['positive', 'negative', 'neutral'], id=None)
DatasetDict({
    train: Dataset({
        features: ['sentence', 'label'],
        num_rows: 30000
    })
    validation: Dataset({
        features: ['sentence', 'label'],
        num_rows: 2500
    })
    test: Dataset({
        features: ['sentence', 'label'],
        num_rows: 2500
    })
})

dataset = load_dataset("llm-book/wrime-sentiment")

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime'],
        num_rows: 20149
    })
    validation: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime'],
        num_rows: 1608
    })
    test: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime'],
        num_rows: 1781
    })
})

print(tokenized_datasets)

DatasetDict({
    train: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 20149
    })
    validation: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 1608
    })
    test: Dataset({
        features: ['sentence', 'label', 'user_id', 'datetime', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 1781
    })
})

tokenized_datasets.set_format("torch", columns=["input_ids", "attention_mask", "label"])

# 6. トレーニング設定（TensorBoard用のログディレクトリを指定）
training_args = TrainingArguments(
    output_dir="./model_output",      # モデルの出力先
    num_train_epochs=3,              # エポック数
    per_device_train_batch_size=16,  # GPUを使用したトレーニング用バッチサイズ
    per_device_eval_batch_size=16,   # GPUを使用した評価用バッチサイズ
    evaluation_strategy="epoch",     # 各エポック終了時に評価
    logging_dir="./logs",            # TensorBoard用のログ保存先
    logging_steps=10,                # ログ出力間隔
    save_strategy="epoch",           # モデル保存のタイミング
    report_to="tensorboard",         # TensorBoardにログを出力
    fp16=True                        # Mixed Precision（半精度浮動小数点数）を有効化
)

# 7. トレーナーの定義
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

# 8. モデルのファインチューニング
trainer.train()