Databricks - Weights & Biases Documentation

W&B s’intègre à Databricks en adaptant l’expérience des notebooks Jupyter de W&B à l’environnement Databricks.

Configurer Databricks

Installez wandb sur le cluster Accédez à la configuration de votre cluster, sélectionnez votre cluster, puis cliquez sur Libraries. Cliquez sur Install New, choisissez PyPI, puis ajoutez le package wandb.

Configurez l’authentification Pour authentifier votre compte W&B, vous pouvez ajouter un secret Databricks que vos notebooks pourront consulter.

# installer la CLI Databricks
pip install databricks-cli

# Générer un token depuis l'UI Databricks
databricks configure --token

# Créer un scope avec l'une des deux commandes (selon que les fonctionnalités de sécurité sont activées ou non sur Databricks) :
# avec l'extension de sécurité
databricks secrets create-scope --scope wandb
# sans l'extension de sécurité
databricks secrets create-scope --scope wandb --initial-manage-principal users

# Créer une clé API à l'adresse https://wandb.ai/settings
databricks secrets put --scope wandb --key api_key

Exemples

Exemple simple

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

Configuration requise (temporairement) pour les notebooks qui essaient d’utiliser wandb.sweep() ou wandb.agent() :

import os

# Ces lignes ne seront plus nécessaires à l'avenir
os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"

​Configurer Databricks

​Exemples

​Exemple simple

​Sweeps

Configurer Databricks

Exemples

Exemple simple

Sweeps