config.yaml

resume: false
device: cuda
use_amp: false
seed: 1
dataset_repo_id: xarm_holi_demos_lerobot_state_as_action
video_backend: pyav
training:
  offline_steps: 250000
  split: train
  num_workers: 4
  batch_size: 32
  eval_freq: -1
  log_freq: 200
  save_checkpoint: true
  save_freq: 25000
  online_steps: 0
  online_rollout_n_episodes: 1
  online_rollout_batch_size: 1
  online_steps_between_rollouts: 1
  online_sampling_ratio: 0.5
  online_env_seed: null
  online_buffer_capacity: null
  online_buffer_seed_size: 0
  do_online_rollout_async: false
  image_transforms:
    enable: false
    max_num_transforms: 3
    random_order: false
    brightness:
      weight: 1
      min_max:
      - 0.8
      - 1.2
    contrast:
      weight: 1
      min_max:
      - 0.8
      - 1.2
    saturation:
      weight: 1
      min_max:
      - 0.5
      - 1.5
    hue:
      weight: 1
      min_max:
      - -0.05
      - 0.05
    sharpness:
      weight: 1
      min_max:
      - 0.8
      - 1.2
  grad_clip_norm: 10
  lr: 0.0001
  lr_scheduler: cosine
  lr_warmup_steps: 500
  adam_betas:
  - 0.95
  - 0.999
  adam_eps: 1.0e-08
  adam_weight_decay: 1.0e-06
  vqvae_lr: 0.001
  n_vqvae_training_steps: 20000
  bet_weight_decay: 0.0002
  bet_learning_rate: 5.5e-05
  bet_betas:
  - 0.9
  - 0.999
  delta_timestamps:
    observation.image.cam_left:
    - -0.13333333333333333
    - -0.1
    - -0.06666666666666667
    - -0.03333333333333333
    - 0.0
    observation.image.cam_right:
    - -0.13333333333333333
    - -0.1
    - -0.06666666666666667
    - -0.03333333333333333
    - 0.0
    observation.image.cam_wrist:
    - -0.13333333333333333
    - -0.1
    - -0.06666666666666667
    - -0.03333333333333333
    - 0.0
    observation.state:
    - -0.13333333333333333
    - -0.1
    - -0.06666666666666667
    - -0.03333333333333333
    - 0.0
    action:
    - -0.13333333333333333
    - -0.1
    - -0.06666666666666667
    - -0.03333333333333333
    - 0.0
    - 0.03333333333333333
    - 0.06666666666666667
    - 0.1
    - 0.13333333333333333
    - 0.16666666666666666
    - 0.2
    - 0.23333333333333334
    - 0.26666666666666666
    - 0.3
    - 0.3333333333333333
eval:
  n_episodes: 10
  batch_size: 4
  use_async_envs: false
wandb:
  enable: true
  name: ''
  disable_artifact: false
  project: lerobot
  notes: xarmholi
fps: 30
env:
  name: real_world
  task: null
  state_dim: 7
  action_dim: 7
  fps: ${fps}
override_dataset_stats:
  observation.image.cam_left:
    mean:
    - - - 0.485
    - - - 0.456
    - - - 0.406
    std:
    - - - 0.229
    - - - 0.224
    - - - 0.225
  observation.image.cam_right:
    mean:
    - - - 0.485
    - - - 0.456
    - - - 0.406
    std:
    - - - 0.229
    - - - 0.224
    - - - 0.225
  observation.image.cam_wrist:
    mean:
    - - - 0.485
    - - - 0.456
    - - - 0.406
    std:
    - - - 0.229
    - - - 0.224
    - - - 0.225
policy:
  name: vqbet
  n_obs_steps: 5
  n_action_pred_token: 7
  action_chunk_size: 5
  input_shapes:
    observation.image.cam_left:
    - 3
    - 96
    - 96
    observation.image.cam_right:
    - 3
    - 96
    - 96
    observation.image.cam_wrist:
    - 3
    - 96
    - 96
    observation.state:
    - ${env.state_dim}
  output_shapes:
    action:
    - ${env.action_dim}
  input_normalization_modes:
    observation.image.cam_left: mean_std
    observation.image.cam_right: mean_std
    observation.image.cam_wrist: mean_std
    observation.state: mean_std
  output_normalization_modes:
    action: mean_std
  vision_backbone: resnet18
  crop_shape:
  - 84
  - 84
  crop_is_random: true
  pretrained_backbone_weights: null
  use_group_norm: true
  spatial_softmax_num_keypoints: 32
  n_vqvae_training_steps: ${training.n_vqvae_training_steps}
  vqvae_n_embed: 16
  vqvae_embedding_dim: 256
  vqvae_enc_hidden_dim: 128
  gpt_block_size: 500
  gpt_input_dim: 512
  gpt_output_dim: 512
  gpt_n_layer: 8
  gpt_n_head: 8
  gpt_hidden_dim: 512
  dropout: 0.1
  mlp_hidden_dim: 1024
  offset_loss_weight: 10000.0
  primary_code_loss_weight: 5.0
  secondary_code_loss_weight: 0.5
  bet_softmax_temperature: 0.1
  sequentially_select: false