Python 3.8 dan conda, dapatkan Conda CUDA jika ingin menggunakan Lingkungan GPU
conda create -n $YOUR_PY38_ENV_NAME python=3.8
conda activate $YOUR_PY38_ENV_NAME
pip install -r requirements.txt
Untuk project kita inputnya berupa array dengan bentuk (B, T, C, H, W), dimana setiap frame pada array tersebut memiliki ukuran tetap yaitu 128x128. Jumlah frame pada setiap video adalah 30 sehingga menghasilkan bentuk (B, 30, 3.128, 128). Sebelum menggunakan proyek ini, Anda mungkin perlu melakukan praproses terhadap data video Anda. Dalam kode, kami menyediakan contoh array "city_bonn.npy" dengan bentuk (46, 30, 3, 128, 128). Array ini berisi 46 video dari kota Bonn dalam kumpulan data Cityscape. Di bawah ini adalah contoh perintah.
Anda dapat mengontrol video mana yang akan diproses dengan memilih nilai start_idx dan end_idx. Pastikan rentang yang dipilih tidak melebihi nilai B (jumlah video dalam kumpulan data Anda).
python city_sender.py --data_npy "data_npy/city_bonn.npy" --output_path "your path" --start_idx 0 --end_idx 1
Di bagian Benchmark, kami menyediakan kode untuk menghitung metrik kompresi untuk H.264 dan H.265. Masukan untuk kode ini harus berupa 30 bingkai bingkai gambar berukuran 128x128, sebaiknya diberi nama dalam format "frame%d".
struktur folder kumpulan datanya seperti itu
/your path/
- frame0.png
- frame1.png
- ...
- frame29.png
Untuk project_str, ini hanyalah sebuah string yang digunakan untuk membedakan data Anda. Di sini kami menggunakan "uvg."
python bench.py --dataset "your path" --output_path "your path" --project_str uvg
Mengenai pos pemeriksaan, kami menggunakan dua set pos pemeriksaan. Satu set mencakup "checkpoint_900000.pt", yang digunakan untuk bagian pembuatan video. Set lainnya berisi enam kelompok pos pemeriksaan, dan pos pemeriksaan ini akan digunakan untuk bagian kompresi gambar, sesuai dengan enam kualitas kompresi yang berbeda.
Keenam bobot tersebut perlu dipindahkan ke folder "pos pemeriksaan/jaringan saraf".
| lambda | kualitas |
|---|---|
| 0,45 | Q5 |
| 0,15 | q4 |
| 0,032 | q3 |
| 0,015 | q2 |
| 0,008 | q1 |
| 0,004 | q0 |
Berat individu ini perlu dipindahkan ke folder "pos pemeriksaan/pengirim".
| pos pemeriksaan model difusi |
|---|
| pos pemeriksaan model difusi |
Gambar berikut membandingkan kinerja kompresi model kami dengan standar kompresi video tradisional, H.264 dan H.265. Dapat diamati bahwa model kami mengungguli mereka pada bitrate (bpp) yang rendah. Data ini dihitung pada 24 video pertama dari city_bonn.npy.
