ดาวน์โหลด Cal QL - ดาวน์โหลดซอร์สโค้ด Cal QL

Cal QL

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

แคล-คิวแอล

นี่คือการใช้งานสำหรับเอกสารของเรา Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning in Jax and Flax

ลิงค์กระดาษ: https://arxiv.org/abs/2303.05479
หน้าโครงการ: https://nakamotoo.github.io/projects/Cal-QL/
วิดีโอ: https://youtu.be/r9CCdLeMJTg

โค้ดเบสนี้สร้างขึ้นบนพื้นที่เก็บข้อมูล JaxCQL

หากคุณพบว่าพื้นที่เก็บข้อมูลนี้มีประโยชน์สำหรับการวิจัยของคุณ โปรดอ้างอิง:

 @article{nakamoto2023calql,
  author       = {Mitsuhiko Nakamoto and Yuexiang Zhai and Anikait Singh and Max Sobol Mark and Yi Ma and Chelsea Finn and Aviral Kumar and Sergey Levine},
  title        = {Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning},
  conference   = {arXiv Pre-print},
  year         = {2023},
  url          = {https://arxiv.org/abs/2303.05479},
}

การติดตั้ง

ติดตั้ง MuJoCo

ดาวน์โหลดคีย์ MuJoCo และไบนารี MuJoCo 2.1
แยก mujoco210 และ mjkey.txt ที่ดาวน์โหลดมาลงใน ~/.mujoco/mujoco210 และ ~/.mujoco/mjkey.txt

เพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้ลงใน ~/.bashrc

 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/.mujoco/mujoco210/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia

ติดตั้งและใช้สภาพแวดล้อม Ananconda ที่รวมไว้

 $ conda create -c nvidia -n Cal-QL python=3.8 cuda-nvcc=11.3
$ conda activate Cal-QL
$ pip install -r requirements.txt

ตั้งค่าคีย์ W&B API

โค้ดเบสนี้แสดงภาพบันทึกโดยใช้น้ำหนักและอคติ หากต้องการเปิดใช้งานสิ่งนี้ คุณต้องตั้งค่าคีย์ W&B API ของคุณก่อนโดย:

สร้างไฟล์ชื่อ wandb_config.py ใต้โฟลเดอร์ JaxCQL โดยกรอกข้อมูลต่อไปนี้

 def get_wandb_config():
    return dict (
        WANDB_API_KEY = 'your api key',
        WANDB_EMAIL = 'your email',
        WANDB_USERNAME = 'user'
    )

คุณสามารถคัดลอก JaxCQL/wandb_config_example.py เปลี่ยนชื่อเป็น wandb_config.py และกรอกข้อมูล

เรียกใช้การทดลอง

แอนท์เมซ

คุณสามารถทำการทดลองได้โดยใช้คำสั่งต่อไปนี้:

 $ bash scripts/run_antmaze.sh

โปรดตรวจสอบ scripts/run_antmaze.sh เพื่อดูรายละเอียด ตัวเลือกคำสั่งที่มีอยู่ทั้งหมดสามารถดูได้ใน conservative_sac_main.py และ conservative_sac.py

ไบนารี่ที่เชี่ยวชาญ

ดาวน์โหลดชุดข้อมูลออฟไลน์จากที่นี่ และแตกไฟล์ลงใน /demonstrations/offpolicy_hand_data/*.npy
เราควรติดตั้ง mj_envs จากทางแยกนี้ด้วย

 $ git clone --recursive https://github.com/nakamotoo/mj_envs.git
$ cd mj_envs  
$ git submodule update --remote
$ pip install -e .

ตอนนี้คุณสามารถทำการทดสอบโดยใช้คำสั่งต่อไปนี้:

 $ bash scripts/run_adroit.sh

โปรดตรวจสอบ scripts/run_adroit.sh เพื่อดูรายละเอียด

สภาพแวดล้อมอื่น ๆ

ในขณะนี้ พื้นที่เก็บข้อมูลนี้มีการใช้งาน AntMaze และ Adroit เท่านั้น FrankaKitchen มีแผนที่จะเพิ่มเร็วๆ นี้ แต่หากคุณรีบร้อนหรือต้องการลองงานอื่นๆ (เช่น โดเมนการปรับแต่งภาพในรายงาน) โปรดติดต่อฉันที่ nakamoto[at]berkeley[dot]edu

ตัวอย่างการวิ่งและบันทึก

เพื่อให้ผู้อ่านรายอื่นสามารถจำลองผลลัพธ์ของเราได้อย่างง่ายดาย เราได้ดำเนินการกวาดล้าง Cal-QL และ CQL ในโดเมน AntMaze และ Adroit และเผยแพร่บันทึก W&B ที่เกี่ยวข้องต่อสาธารณะ สามารถดูบันทึกได้ที่นี่: https://wandb.ai/mitsuhiko/Cal-QL--Examples?workspace=user-mitsuhiko

คุณสามารถเลือกสภาพแวดล้อมเพื่อแสดงภาพได้โดยการยื่นไฟล์บน env การรัน Cal-QL จะถูกระบุโดย enable-calql=True และการรัน CQL จะถูกระบุโดย enable-calql=False แต่ละสภาพแวดล้อมมีการเรียกใช้ใน 4 เมล็ด