メインコンテンツへスキップ
Serverless Inference では、一部のベースモデルでカスタム LoRA アダプターを使用できます。このチュートリアルでは、TRL ライブラリを使用した教師ありポストトレーニングによってファインチューニング済みの LoRA アダプターを作成し、それを W&B にアーティファクトとしてアップロードして、Serverless Inference API または Playground で使用する方法を説明します。この例では、クエリと応答のペアからなるデータセットを使って、カウボーイのように応答するようモデルをファインチューニングしますが、同じワークフローを任意のキャラクターやタスクに応用できます。 このチュートリアルは、独自の推論インフラストラクチャーを管理することなく、ベースモデルの動作をカスタマイズしたい開発者向けです。 Serverless RL を使用して LoRA アダプターを作成することもできます。これはサーバーレスの強化学習を提供します。 このチュートリアルは 3 つのパートで構成されています。ポストトレーニング用データセットを準備し、LoRA アダプターを生成してアップロードするポストトレーニング スクリプトを実行し、最後に生成された LoRA アダプターを Playground またはコードから試します。

ポストトレーニング データセット

このセクションでは、モデルのファインチューニングに使用したサンプルデータセットを示します。 次のデータセットには、以下のようなメッセージのリスト形式で構成された、50 組のクエリと応答のペアが含まれています。
ユーザー: “好きな色は何ですか?”
アシスタント: “ええと、相棒、私の好きな色は砂漠の夕焼けのように燃えるオレンジです。”
このサンプルファイルには、各行に 1 つの JSON オブジェクトが含まれています。次のデータを cowboy_examples.jsonl として作業ディレクトリに保存してください。
cowboy_examples.jsonl
このデータセットを保存したら、ポストトレーニングを実行できます。

ポストトレーニング

このセクションでは、データセットから LoRA アダプターを生成し、それを W&B にアップロードするトレーニングスクリプトの実行方法を説明します。 このスクリプトは、JSONL ファイル内のサンプルを使って LoRA アダプターをトレーニングし、Serverless Inference API または Playground で使用できるよう、アーティファクトとして W&B にアップロードします。 大まかには、このスクリプトは次の処理を行います。
  1. W&B にログインします。W&B Models の Hugging Face Transformers integration は、トレーニングの進行状況とメトリクスを自動的に記録します。
  2. Hugging Face からベースモデル (OpenPipe/Qwen3-14B-Instruct) を読み込みます。
  3. ファイル上部付近でスクリプトが定数として定義している rank や alpha などのハイパーパラメーターを使って、LoRA アダプターを設定します。
  4. ファイル内のサンプルをデータセットとして読み込み、SFTTrainer を実行します。デフォルトでは、このスクリプトはすべてのサンプルを使用します。
  5. LoRA アダプターを保存し、Serverless Inference で使用するために アーティファクト として W&B にアップロードします。
スクリプトの実行が完了したら、最後に出力された URL をブラウザーで開いて、保存されたアーティファクトを確認してください。次のような形式になります。 Artifact URL: https://wandb.ai/[YOUR-ENTITY]/create-lora-tutorial/artifacts/lora/OpenPipe_Qwen3-14B-Instruct_cowboy/v0 次のプログラムを create_lora.py として保存し、ENTITY の値を自分の W&B entity に更新してください。このスクリプトでは依存関係の宣言に inline script metadata を使用しているため、別個の仮想環境を管理しなくても uv で直接実行できます。
create_lora.py
uv を使用してスクリプトを実行します:
実行時間はハードウェアによって異なります。トレーニングを高速化するには --max-examples=10 引数を追加できますが、例の数を減らすと、LLM がキャラクター設定に沿って応答する度合いが低下します。 スクリプトが完了すると、トレーニング済みの LoRA アダプターが W&B アーティファクトとして保存され、Serverless Inference ですぐに使用できます。

LoRA アダプターを使用する

このセクションでは、作成した LoRA アダプターを Playground でインタラクティブに、またはプログラムから試す方法を説明します。 W&B Weave Playground で LoRA アダプターを試せます。アーティファクト の URL を開いたら、[Try in playground] ボタンをクリックします。
Artifacts UI の LoRA アダプター
次に、チャットインターフェースの下部にプロンプトを入力します。
Playground UI の LoRA アダプター
コードから LoRA アダプターを使用するには、Serverless LoRA アダプター Inference を使用する ガイドを参照してください。手順を追って説明しています。

次のステップ

動作する LoRA アダプターができたので、トレーニングの選択が結果にどう影響するかを確認するために、さらに試してみることができます。
  • より少ない数の例で LoRA アダプターをトレーニングし、それでも期待どおりの効果が得られるか確認する。
  • データセット内の応答を変更して、海賊や忍者など、別のキャラクターを表現してみる。