> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-2626.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# PyTorch torchtune
> Utilisez la journalisation W&B dans PyTorch torchtune pour suivre les expériences de fine-tuning de LLM avec le logger de métriques WandBLogger.
export const ColabLink = ({url}) =>
Essayer sur Colab
;
[torchtune](https://meta-pytorch.org/torchtune/stable/index.html) est une bibliothèque basée sur PyTorch conçue pour simplifier le développement, le fine-tuning et l’expérimentation pour les LLM. De plus, torchtune intègre une prise en charge native du [logging avec W\&B](https://meta-pytorch.org/torchtune/stable/deep_dives/wandb_logging.html), ce qui améliore le suivi et la visualisation des processus d’entraînement.
Ce guide vous montre comment activer la journalisation W\&B dans les recettes torchtune, configurer le logger de métriques `WandBLogger`, comprendre quelles métriques torchtune suit par défaut et enregistrer les points de contrôle du modèle dans W\&B Artifacts.
Consultez l’article de blog de W\&B sur le [Fine-tuning de Mistral 7B avec torchtune](https://wandb.ai/capecape/torchtune-mistral/reports/torchtune-The-new-PyTorch-LLM-fine-tuning-library---Vmlldzo3NTUwNjM0).
## Activez la journalisation W\&B
Vous pouvez activer la journalisation W\&B de deux façons : redéfinir les arguments au lancement depuis la ligne de commande, ou modifier le fichier de configuration de la recette. Choisissez l’option qui convient le mieux à votre flux de travail.
Redéfinissez les arguments de ligne de commande au lancement :
```bash theme={null}
tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
metric_logger.project="llama3_lora" \
log_every_n_steps=5
```
Activez la journalisation W\&B dans la configuration de la recette :
```yaml theme={null}
# dans llama3/8B_lora_single_device.yaml
metric_logger:
_component_: torchtune.utils.metric_logging.WandBLogger
project: llama3_lora
log_every_n_steps: 5
```
## Utiliser le logger de métriques W\&B
Activez la journalisation W\&B dans le fichier de configuration de la recette en modifiant la section `metric_logger`. Remplacez `_component_` par la classe `torchtune.utils.metric_logging.WandBLogger`. Vous pouvez également fournir un nom de `project` ainsi que `log_every_n_steps` pour personnaliser le comportement de journalisation.
Vous pouvez aussi transmettre n’importe quels autres `kwargs`, comme vous le feriez avec la méthode [wandb.init()](/fr/models/ref/python/functions/init). Par exemple, si vous travaillez au sein d’une équipe, vous pouvez passer l’argument `entity` à la classe `WandBLogger` pour indiquer le nom de l’équipe.
```yaml theme={null}
# dans llama3/8B_lora_single_device.yaml
metric_logger:
_component_: torchtune.utils.metric_logging.WandBLogger
project: llama3_lora
entity: my_project
job_type: lora_finetune_single_device
group: my_awesome_experiments
log_every_n_steps: 5
```
```shell theme={null}
tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
metric_logger._component_=torchtune.utils.metric_logging.WandBLogger \
metric_logger.project="llama3_lora" \
metric_logger.entity="my_project" \
metric_logger.job_type="lora_finetune_single_device" \
metric_logger.group="my_awesome_experiments" \
log_every_n_steps=5
```
## Données enregistrées
Après avoir activé la journalisation W\&B, vous pouvez explorer le tableau de bord W\&B pour consulter les métriques enregistrées. Par défaut, W\&B enregistre tous les hyperparamètres du fichier de configuration ainsi que les paramètres remplacés au lancement, afin de conserver un enregistrement de la configuration de chaque run à côté de ses métriques.
W\&B capture la configuration résolue dans l’onglet **Aperçu**. W\&B stocke également la configuration au format YAML dans l’[onglet Files](https://wandb.ai/capecape/torchtune/runs/joyknwwa/files).
### Métriques enregistrées
Chaque recette a sa propre boucle d’entraînement. Consultez chaque recette pour voir les métriques enregistrées, qui incluent par défaut les suivantes :
| Métrique | Description |
| ------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `loss` | La perte du modèle. |
| `lr` | Le taux d’apprentissage. |
| `tokens_per_second` | Le nombre de jetons par seconde du modèle. |
| `grad_norm` | La norme du gradient du modèle. |
| `global_step` | Correspond à l’étape actuelle de la boucle d’entraînement. Tient compte de l’accumulation des gradients. Chaque fois qu’une étape de l’optimiseur s’exécute, le modèle est mis à jour, les gradients s’accumulent, et le modèle est mis à jour une fois tous les `gradient_accumulation_steps`. |
`global_step` n'est pas identique au nombre d’étapes d’entraînement. Il correspond à l’étape actuelle de la boucle d’entraînement et tient compte de l’accumulation des gradients. Chaque fois qu’une étape de l’optimiseur s’exécute, `global_step` est incrémenté de 1. Par exemple, si le chargeur de données comporte 10 lots, que le nombre d’étapes d’accumulation des gradients est de 2 et que vous exécutez 3 époques, l’optimiseur effectue 15 étapes, donc `global_step` va de 1 à 15.
La conception de torchtune vous permet d’ajouter des métriques personnalisées ou de modifier celles qui existent déjà. Modifiez le [fichier de recette](https://github.com/meta-pytorch/torchtune/tree/main/recipes) correspondant. Par exemple, vous pouvez enregistrer `current_epoch` en pourcentage du nombre total d’époques comme ceci :
```python theme={null}
# dans la fonction `train.py` du fichier de recette
self._metric_logger.log_dict(
{"current_epoch": self.epochs * self.global_step / self._steps_per_epoch},
step=self.global_step,
)
```
L’ensemble des métriques enregistrées peut varier d’une version de torchtune à l’autre. Pour ajouter une métrique personnalisée, modifiez la recette et appelez la fonction `self._metric_logger.*` correspondante.
## Enregistrer et charger des points de contrôle du modèle
Enregistrez les points de contrôle du modèle dans W\&B Artifacts pour versionner les poids du modèle en même temps que les métriques et la configuration de chaque run, afin de pouvoir reproduire les résultats et comparer les versions du modèle ultérieurement.
La bibliothèque torchtune prend en charge plusieurs [formats de point de contrôle du modèle](https://meta-pytorch.org/torchtune/stable/deep_dives/checkpointer.html). Selon l’origine du modèle que vous utilisez, vous devez utiliser la [classe checkpointer](https://meta-pytorch.org/torchtune/stable/deep_dives/checkpointer.html) appropriée.
Pour enregistrer les points de contrôle du modèle du modèle dans [W\&B Artifacts](/fr/models/artifacts/), l’approche recommandée consiste à redéfinir les fonctions `save_checkpoint` de la recette correspondante.
L’exemple suivant montre comment redéfinir la fonction `save_checkpoint` pour enregistrer les points de contrôle du modèle du modèle dans W\&B Artifacts.
```python theme={null}
def save_checkpoint(self, epoch: int) -> None:
...
## Enregistrez le point de contrôle du modèle dans W&B.
## Le nom du fichier dépend de la classe Checkpointer.
## Voici un exemple pour le cas full_finetune.
checkpoint_file = Path.joinpath(
self._checkpointer._output_dir, f"torchtune_model_{epoch}"
).with_suffix(".pt")
wandb_artifact = wandb.Artifact(
name=f"torchtune_model_{epoch}",
type="model",
# description du point de contrôle du modèle du modèle
description="Model checkpoint",
# vous pouvez ajouter les métadonnées de votre choix sous forme de dictionnaire
metadata={
utils.SEED_KEY: self.seed,
utils.EPOCHS_KEY: self.epochs_run,
utils.TOTAL_EPOCHS_KEY: self.total_epochs,
utils.MAX_STEPS_KEY: self.max_steps_per_epoch,
},
)
wandb_artifact.add_file(checkpoint_file)
wandb.log_artifact(wandb_artifact)
```
Consultez l’article de blog de W\&B sur le [Fine-tuning de Mistral 7B avec torchtune](https://wandb.ai/capecape/torchtune-mistral/reports/torchtune-The-new-PyTorch-LLM-fine-tuning-library---Vmlldzo3NTUwNjM0).
