katna

Katna : Alat untuk mengotomatiskan ekstraksi bingkai utama video, kompresi video, Pemotongan Otomatis Gambar, dan tugas pengubahan ukuran gambar cerdas

Sumber daya

• Beranda dan Referensi: https://katna.readthedocs.io/

Keterangan

Katna mengotomatiskan tugas ekstraksi kunci video/bingkai terbaik yang membosankan dan rawan kesalahan, kompresi video, dan tugas manual yang memakan waktu untuk memotong dan mengubah ukuran gambar menggunakan ML.

Singkatnya, Anda mungkin ingin mempertimbangkan untuk menggunakan perpustakaan Katna jika Anda memiliki tugas berikut:

1. Anda memiliki video/video dari siapa Anda ingin mengekstrak keyframe/keyframe. Harap diperhatikan Bingkai utama didefinisikan sebagai bingkai representatif dari streaming video, bingkai yang memberikan ringkasan konten video yang paling akurat dan ringkas. Ambil contoh video ini dan beberapa bingkai utama teratas yang diekstraksi menggunakan Katna.

2. Anda memiliki video/video yang ingin Anda kompres menjadi ukuran yang lebih kecil. (misalnya Anda mempunyai video dengan ukuran katakanlah 1 GB tetapi Anda ingin mengompresnya sekecil mungkin.)

3. Anda memiliki gambar/gambar yang ingin Anda ubah ukurannya secara cerdas ke resolusi target. (misalnya 500x500, 1080p (1920x1080) dll.)

4. Anda memiliki gambar/gambar yang ingin Anda ekstrak potongannya secara cerdas dengan resolusi target. (misal Dapatkan potongan berukuran 500x500 dari gambar berukuran 1920x1080)

5. Anda ingin mengekstrak potongan rasio aspek tertentu misalnya 4:3 dari gambar/gambar masukan Anda. (misalnya Dapatkan potongan rasio aspek 1:1 dari gambar beresolusi 1920x1080 (gambar rasio aspek 16:9))

6. Anda ingin mengubah ukuran video ke rasio aspek tertentu misalnya 16:9 (Lanskap), katakanlah menjadi 1:1 (persegi). Harap dicatat bahwa fitur ini saat ini masih eksperimental dan memerlukan kompilasi dan konfigurasi tambahan perpustakaan Google Mediapipe.

Katna dibagi menjadi dua modul

• Modul video.
• Modul gambar.

Modul Video:

Modul ini menangani tugas ekstraksi bingkai utama dan kompresi video.

Bingkai utama didefinisikan sebagai bingkai representatif dari streaming video, bingkai yang memberikan ringkasan konten video paling akurat dan ringkas.

Ekstraksi bingkai dan kriteria pemilihan untuk ekstraksi bingkai kunci

1. Bingkai yang cukup berbeda dari bingkai sebelumnya menggunakan perbedaan mutlak dalam ruang warna LUV
2. Pemfilteran skor kecerahan bingkai yang diekstraksi
3. Pemfilteran skor entropi/kontras dari bingkai yang diekstraksi
4. K-Means Clustering frame menggunakan histogram gambar
5. Pemilihan frame terbaik dari cluster berdasarkan dan varian laplacian (deteksi keburaman gambar)

Kompresi video ditangani menggunakan perpustakaan ffmpeg. Detailnya dapat dibaca di bagian modul Katna.video_compressor.

Sejak Katna versi 0.8.0 kami memperluas fitur pengubahan ukuran cerdas ke video dengan bantuan proyek Mediapipe Google. Untuk mengetahui lebih lanjut tentang hal ini silakan lihat dokumentasi [Video Smart Resize menggunakan Katna] (https://katna.readthedocs.io/en/latest/understanding_katna.html#katna-video-resize). Harap dicatat bahwa fitur ini adalah fitur eksperimental opsional. Dan mungkin dapat dihapus/dimodifikasi pada versi yang lebih baru. Anda juga perlu menginstal perpustakaan Mediapipe Google, khususnya biner autoflip agar ini berfungsi. Silakan merujuk ke Tautan untuk cara menginstal dan mengkonfigurasi mediapipe untuk digunakan dengan katna.

Modul Gambar:

Modul ini menangani tugas yang terkait dengan pemotongan cerdas dan pengubahan ukuran gambar.

Pemangkasan gambar cerdas dilakukan sedemikian rupa sehingga modul mengidentifikasi bagian atau area terbaik di mana seseorang lebih fokus dan menafsirkan informasi ini saat memotong gambar.

Kriteria ekstraksi dan seleksi tanaman

1. Fitur tepi, arti-penting, dan Deteksi wajah terdeteksi pada gambar masukan
2. Semua tanaman dengan dimensi tertentu diekstraksi dengan perhitungan skor untuk setiap tanaman berdasarkan fitur yang diekstraksi
3. Tanaman akan melewati filter yang ditentukan yang akan menghilangkan tanaman yang ditolak oleh filter

Mirip dengan Pemotongan cerdas, modul gambar Katna mendukung fitur pengubahan ukuran gambar cerdas . Dengan adanya gambar masukan, ia dapat mengubah ukuran gambar ke resolusi target dengan pengubahan ukuran sederhana jika rasio aspek sama untuk gambar masukan dan target. Jika rasio aspek berbeda dari pengubahan ukuran gambar cerdas, pertama-tama akan dilakukan pemotongan kualitas terbaik terbesar dalam resolusi target, lalu mengubah ukuran gambar dalam resolusi target. Hal ini memastikan pengubahan ukuran gambar tanpa membuat gambar masukan menjadi miring. Harap diperhatikan bahwa jika rasio aspek gambar input dan output tidak sama, katna image_resize dapat menyebabkan hilangnya konten gambar

Format file video dan gambar yang didukung ###########################################

Semua format video utama seperti .mp4,.mov,.avi dll dan format gambar seperti .jpg, .png, .jpeg dll didukung.

Fitur pilihan lainnya sedang dalam tahap pengembangan

Bagaimana cara menginstal

Menggunakan pypi

1. Instal Python 3
2. pip instal katna

Instal dari sumber

1. Instal git

2. Instal Anaconda atau Miniconda Python

3. Buka terminalnya

4. Klon repo dari sini https://github.com/keplerlab/Katna.git

5. Ubah direktori ke direktori tempat Anda mengkloning repo Anda

    $cd path_to_the_folder_repo_cloned
   

6. Buat lingkungan anaconda baru jika Anda menggunakan distribusi anaconda python

    conda create --name katna python=3.7
   source activate katna
   

7. Jalankan pengaturan:

    python setup.py install 
   

Penanganan kesalahan dan pembaruan

1. Sejak Katna versi 0.4.0 Modul video Katna dioptimalkan untuk menggunakan multiprosesing menggunakan modul multiprosesor python. Karena keterbatasan multiprosesing di windows, Untuk mengimpor modul utama dengan aman ke sistem windows, pastikan “titik masuk” program dibungkus dengan name == ' main ': sebagai berikut:

    from Katna.video import Video
   if __name__ == "__main__":
       vd = Video()
       # your code
   

   silakan merujuk ke https://docs.python.org/2/library/multiprocessing.html#windows untuk detail lebih lanjut.

2. Jika gambar masukan berukuran sangat besar (lebih besar dari 2000x2000), mungkin memerlukan waktu lama untuk melakukan Pemotongan cerdas otomatis. Jika Anda mengalami masalah ini, pertimbangkan untuk mengubah down_sample_factor dari default 8 ke nilai yang lebih besar (seperti 16 atau 32). Ini akan mengurangi waktu pemrosesan secara signifikan.

3. Jika Anda melihat kesalahan "AttributeError: modul 'cv2.cv2' tidak memiliki atribut 'saliency'". Copot pemasangan opencv-contrib dengan menjalankan perintah "python -m pip uninstall opencv-contrib-python" lalu instal lagi dengan menjalankan perintah

    python -m pip install opencv-contrib-python
   

4. Jika Anda melihat "FileNotFoundError: file frozen_east_text_detection.pb tidak ditemukan". Buka python shell dan ikuti perintah di bawah ini.

    from Katna.image_filters.text_detector import TextDetector
   td = TextDetector()
   td.download()
   

5. Di windows, pastikan anaconda memiliki hak admin jika menginstal dengan anaconda karena gagal dengan izin menulis saat menginstal beberapa modul.

6. Jika Anda mendapatkan "RuntimeError: Tidak ada exe ffmpeg yang dapat ditemukan". Instal ffmpeg di sistem Anda, dan/atau atur variabel lingkungan IMAGEIO_FFMPEG_EXE atau FFMPEG_EXE ke jalur biner ffmpeg Anda. Biasanya ffmpeg diinstal menggunakan paket imageio-ffmpeg, Periksa folder imageio_ffmpeg-*.egg di dalam folder paket situs Anda, harus ada file ffmpeg di dalam folder binari, periksa apakah file ini memiliki izin baca/eksekusi yang tepat dan atur juga jalurnya ke variabel lingkungan.

7. Ada masalah kebocoran memori yang diketahui di Katna versi 0.8.2 dan kurang, saat menjalankan ekstraksi keyframe video massal pada Python versi 3.6 dan 3.7, Ini adalah bug multiproses yang hanya diamati di Python 3.6 dan 3.7. Dan sudah diperbaiki di katna versi 0.9 ke atas. Jika Anda menjalankan kode ekstraksi Keyframe pada sejumlah besar video dan menghadapi masalah memori, minta Anda untuk meningkatkan versi katna Anda ke versi 0.9 atau lebih tinggi. Jika Anda masih ingin menggunakan katna versi lama, pertimbangkan untuk mengupgrade versi python Anda ke 3.8 atau lebih tinggi.

Cara menggunakan Perpustakaan

1. Lihat bagian mulai cepat di Referensi Katna dari https://katna.readthedocs.io/

Pembaruan: katna versi 0.9.0

Kami telah menambahkan kerangka penulis untuk memproses data dari modul Katna Video dan Gambar. Versi ini juga memperbaiki masalah kebocoran memori yang dilaporkan oleh masalah ini dan ini.

Versi ini memperkenalkan perubahan-perubahan berikut pada API perpustakaan:

1. video.extract_video_keyframes dan video.extract_video_keyframes_from_dir memerlukan objek penulis tambahan. Secara default, KeyFrameDiskWriter tersedia untuk digunakan dari modul Katna.writer. Kerangka penulis dapat diperluas berdasarkan kebutuhan.

2. image.crop_image dan image.crop_image_from_dir memerlukan objek penulis tambahan. Secara default, ImageCropDiskWriter tersedia untuk digunakan dari modul Katna.writer. Kerangka penulis dapat diperluas berdasarkan kebutuhan.

Lihat dokumentasi untuk contoh yang diperbarui di sini: Tautan

Pembaruan: katna versi 0.8.2

Versi perbaikan bug ini memperbaiki masalah ini: Tautan

Pembaruan: katna versi 0.8.1

Memperbaiki masalah yang jarang terjadi ketika video dipisahkan menggunakan ffmpeg tidak dapat dibaca dan memunculkan Tautan pengecualian

Pembaruan: katna versi 0.8.0

Menambahkan dukungan eksperimental untuk memotong otomatis/mengubah ukuran video menggunakan contoh kode Autoflip mediapipe Google.

Pembaruan: katna versi 0.7.1

Memperbaiki bug ketika pemotongan spesifikasi yang salah dikembalikan oleh metode image_module crop_image dan crop_image_from_dir.

Pembaruan: katna versi 0.7.0

Menambahkan dukungan untuk kompresi video di modul Katna.video.

Pembaruan: katna versi 0.6.0

Menambahkan dukungan untuk pengubahan ukuran gambar cerdas di modul Katna.image.

Pembaruan: katna versi 0.5.0

Di versi 0.5.0 kami telah mengubah nama beberapa fungsi publik di dalam modul Katna.video yang digunakan untuk ekstraksi keyframe,

1. metode ekstrak_frames_as_images diubah menjadi ekstrak_video_keyframes.
2. metode ekstrak_frames_as_images_from_dir diubah menjadi ekstrak_keyframes_from_videos_dir

Atribusi

1. Kami telah menggunakan kode SAD (Jumlah perbedaan absolut) dari proyek KeyFramesExtraction oleh Amanpreet Walia. Kode dirilis di bawah Lisensi MIT.
2. Kami telah menggunakan proyek smartcrop.js untuk fitur Smart crop di modul Katna Image.
3. Untuk fitur Eksperimental Smartcrop/Resize dalam video kami menggunakan bantuan kerangka Google Mediapipe Autoflip.
4. Ikon Katna dihasilkan oleh ikon proyek kata benda yang dikembangkan oleh ProSymbols, AS, Dalam Koleksi Ikon Glyph Elemen Viking yang dilisensikan sebagai Creative Commons CCBY.