LiTr

ليتر

LITR (وضوحا "LAI-TR") هي أداة تحويل فيديو/صوت خفيفة الوزن تدعم ترميز الفيديو والصوت مع تعديل إطار اختياري.

في تكرارها الحالي يدعم LITR:

• تغيير الدقة و/أو معدل البت في مسار الفيديو (S)
• تغيير معدل أخذ العينات وعدد القناة و/أو معدل البت في مسار صوتي (S)
• تراكب علامة نقطية على مسار الفيديو (S)
• تطبيق تأثيرات مختلفة (السطوع/التباين ، التشبع/اللون ، طمس ، إلخ) على بكسلات الفيديو
• بما في ذلك/استبعاد المسارات ، والتي تسمح بمسارات muxing/demuxing
• تحويل المسارات بشكل فردي (على سبيل المثال ، قم بتطبيق تراكب على مسار فيديو واحد ، ولكن ليس الآخر)
• تحديد موقع إطار الفيديو المصدر بشكل تعسفي على إطار الفيديو المستهدف
• تقليم الفيديو/الصوت
• إنشاء مقطع فيديو "فارغ" أو مقطع فيديو من صورة واحدة
• تسجيل الصوت
• إنشاء معاينة نقطية (مع مرشحات تطبيق) في طابع زمني محدد (S)
• كتابة الصوت الخام إلى حاوية WAV
• سجل الفيديو باستخدام Camera2 API
• استخدم FFMPEG-Muxers (OPT-IN) للكتابة في حاويات MediaCodec لا (حتى الآن) الدعم ، مثل MP4 المجزأة

بشكل افتراضي ، يستخدم LITR مكدس Android MediaCodec للأجهزة المتسارعة فك الارتباط/الترميز و OpenGL لتقديمها. كما أنه يستخدم MediaExtractor و MediaMuxer لقراءة/كتابة الوسائط.

ابدء

ببساطة انتزاع عبر Gradle:

 implementation ' com.linkedin.android.litr:litr:1.5.7 '

... أو Maven:

< dependency >
  < groupId >com.linkedin.android.litr</ groupId >
  < artifactId >litr</ artifactId >
  < version >1.5.7</ version >
</ dependency >

كيفية تحويل الفيديو

أولاً ، قم بتثبيت MediaTransformer مع Context يمكنه الوصول إلى Uri S الذي ستستخدمه في الإدخال والمخرجات. الأكثر شيوعا ، سيكون هذا سياق التطبيق.

 MediaTransformer mediaTransformer = new MediaTransformer ( getApplicationContext ());

ثم ببساطة استدعاء طريقة transform لتحويل الفيديو الخاص بك:

 mediaTransformer . transform ( requestId ,
                           sourceVideoUri ,
                           targetVideoFilePath ,
                           targetVideoFormat ,
                           targetAudioFormat ,
                           videoTransformationListener ,
                           transformationOptions );

القليل من الأشياء البارزة المتعلقة بالتحول:

• تأكد من توفير requestId فريد من نوعه ، سيتم استخدامه عند الاتصال بمستمع ، أو مطلوب عند إلغاء التحول المستمر
• سيتم تطبيق التنسيقات المستهدفة على جميع المسارات من هذا النوع ، سيتم نسخ مسارات الفيديو أو الصوتية "كما هو" كما هي "
• تمرير تنسيق الهدف null يعني أنك لا تريد تعديل المسار (المسارات) من هذا النوع
• يتم إجراء التحول بشكل غير متزامن ، وسيتم استدعاء المستمع مع أي تقدم في التحول أو تغييرات الحالة
• تحدث عمليات الاسترداد الافتراضية للمستمع على موضوع واجهة المستخدم ، من الآمن تحديث واجهة المستخدم في تنفيذ المستمع. من الممكن أيضًا جعلها في مؤشر ترابط تحويل غير UI ، على سبيل المثال ، إذا كان هناك حاجة إلى القيام بأي أعمال "ثقيلة" في تنفيذ المستمع.
• إذا كنت ترغب في تعديل إطارات الفيديو ، فقم بالمرور في قائمة GlFilter في TransformationOptions ، والتي سيتم تطبيقها بالترتيب
• إذا كنت ترغب في تعديل إطارات صوتية ، فقم بالمرور في قائمة من BufferFilter في TransformationOptions ، والتي سيتم تطبيقها بالترتيب
• يمكن للعميل استدعاء transform عدة مرات ، لطلبات تحويل قائمة الانتظار
• سيتم كتابة الفيديو في حاوية MP4 ، نوصي باستخدام H.264 ("الفيديو/AVC" MIME) للتشفير الهدف. إذا تم استخدام نوع MIME VP8 أو VP9 في مسار الفيديو المستهدف ، فسيتم ترميز مسار الصوت باستخدام برنامج ترميز OPUS ، وسيتم كتابة المسارات في حاوية الويب.
• تحديث التحديث الحبيبي هو 100 بشكل افتراضي ، لتتناسب مع النسبة المئوية ، ويمكن تعيينه في TransformationOptions
• يمكن تقليص الوسائط اختياريًا عن طريق تحديد MediaRange في TransformationOptions

يمكن إلغاء التحول المستمر عن طريق الاتصال cancel مع requestId :

 mediaTransformer . cancel ( requestId );

عندما لم تعد بحاجة إلى MediaTransformer ، يرجى إطلاقه. لاحظ أن مثيل MediaTransformer يصبح غير قابل للاستعمال بعد إطلاقه ، سيتعين عليك إنشاء مثيل جديد.

 mediaTransformer . release ();

التعامل مع الأخطاء

عندما يفشل التحول ، لا يتم إلقاء الاستثناء ، بل يتم توفيره في تحويل TransformationListener.onError . تحدد LITR استثناءاتها الخاصة لسيناريوهات مختلفة. بالنسبة إلى API> = 23 ، سيحتوي استثناء LITR أيضًا على MediaCodec.CodecException كسبب.

إحصاءات الإبلاغ

عندما يكون ذلك ممكنًا ، سيتم توفير إحصائيات التحول في عمليات عروض المستمعين. تتضمن الإحصائيات تنسيقات المصدر والاستهداف المسار ، برامج الترميز المستخدمة ونتيجة التحويل ووقت كل مسار.

ما وراء التخلف عن السداد

بشكل افتراضي ، يستخدم LITR مكدس Android MediaCodec للقيام بجميع أعمال الوسائط ، و OpenGL لتقديمه. ولكن هذا لم يتم وضعه في الحجر.

على المستوى العالي ، ينقسم Litr التحول إلى خمس خطوات أساسية:

• قراءة الإطار المشفر من حاوية المصدر
• فك تشفير إطار المصدر
• جعل إطار المصدر على الإطار المستهدف ، وقم بتعديله اختياريا (على سبيل المثال ، تراكب نقطية)
• ترميز الإطار الهدف
• كتابة الإطار المستهدف المشفر في حاوية مستهدفة

يتم تنفيذ كل خطوة تحويل بواسطة مكون. يتم استخلاص كل مكون كواجهة:

• MediaSource
• Decoder
• Renderer
• Encoder
• MediaTarget

عند استخدام تطبيقات المكون الخاصة بك ، تأكد من أن إخراج مكون يتطابق مع الإدخال المتوقع للمكون التالي. على سبيل المثال ، إذا كنت تستخدم Encoder مخصصًا (AV1؟) ، فتأكد من أنه يقبل أي Renderer تنسيق الإطار ينتجه ( GlSurface ، ByteBuffer ) ويخرج ما يتوقعه MediaTarget كمدخل.

يمكن استخدام المكونات المخصصة في TrackTransform S في طريقة تحويل "المستوى المنخفض" أدناه:

 transform ( requestId ,
         List < TrackTransform > trackTransforms ,
         listener ,
         granularity )

تتيح واجهة برمجة التطبيقات هذه تحديد المكونات والمعلمات لكل مسار الوسائط ، مما يسمح للعمليات القائمة على المسار ، مثل مسارات muxing/demuxing ، وتجاوز المسارات المختلفة بشكل مختلف ، وتغيير ترتيب المسار ، إلخ.

باستخدام المرشحات

يمكنك استخدام المرشحات المخصصة لتعديل إطارات الفيديو/الصوت. إذا كنت تكتب مرشح فيديو مخصص ، فقم بتنفيذ واجهة GlFilter لإجراء عمليات رسم OpenGL إضافية. إذا كنت بحاجة إلى تغيير كيفية عرض إطار الفيديو المصدر على إطار فيديو مستهدف ، فقم بتنفيذ واجهة GlFrameRender . لمرشح الصوت ، تنفيذ BufferFilter .

لدى LITR الآن 40 مرشحات فيديو جديدة معالجة GPU تم نقلها من مشاريع MP4COMPOSER-Android و Android-GPUIMAGE. يمكنك أيضًا إنشاء مرشح خاص بك ببساطة عن طريق تكوين videoframerenderfilter مع تظليلك المخصص ، مع عدم وجود ترميز إضافي!

تعيش جميع مرشحات الفيديو/الصوت في مكتبة "Filter Pack" ، والتي تتوفر عبر Gradle:

 implementation ' com.linkedin.android.litr:litr-filters:1.5.7 '

... أو Maven:

< dependency >
    < groupId >com.linkedin.android.litr</ groupId >
    < artifactId >litr-filters</ artifactId >
    < version >1.5.7</ version >
</ dependency >

يمكنك تمرير قائمة المرشحات عند تحويل مقطع فيديو أو مسار صوتي. ضع في اعتبارك أنه سيتم تطبيق المرشحات بالترتيب الذي تكون عليه في القائمة ، لذا فإن طلب الأمور.

باستخدام في الاختبارات

MediaTransformer ليس عن قصد ليس مفردة ، للسماح بسخرية سهلة في اختبارات الوحدة. هناك أيضًا عن MockMediaTransformer لاختبارات واجهة المستخدم ، والتي يمكن أن "تشارك" بشكل متزامن في سلسلة من عمليات الاسترجاعات للمستمع.

الاختبار

منطق الأعمال الأساسي في LITR مغطى جيدًا باختبارات الوحدة. تم تصميم LITR لاستخدام نمط حقن التبعية ، مما يجعل من السهل جدًا كتابة اختبارات JVM مع تبعيات مسيرة. نستخدم إطار عمل Mockito للسخرية.

التطبيق التجريبي

يأتي LITR مع تطبيق تجريبي مفيد جدًا ، والذي يتيح لك نقل مسارات الفيديو/الصوت مع معلمات مختلفة ، بالإضافة إلى توفير رمز عينة.

المساهمة

يرجى قراءة المساهمة.

الإصدار

للحصول على الإصدارات المتاحة ، راجع العلامات الموجودة على هذا المستودع.

لقطات

يمكنك استخدام Snapshot Builds لاختبار أحدث التغييرات التي لم يتم إصدارها. يتم نشر لقطة جديدة بعد كل دمج في الفرع الرئيسي من خلال سير عمل Snapshot Github Action.

فقط أضف مستودع Sonatype Snapshot إلى نصوص Gradle:

 repositories {
    maven {
        url " https://oss.sonatype.org/content/repositories/snapshots/ "
    }
}

يمكنك العثور على أحدث إصدار لقطة لاستخدامها في ملف Gradle.properties.

المؤلفون

• Izzat Bahadirov - العمل الأولي - Litr

انظر أيضًا قائمة المساهمين الذين شاركوا في هذا المشروع.

رخصة

تم ترخيص هذا المشروع بموجب ترخيص BSD 2 -Cause - راجع ملف الترخيص للحصول على التفاصيل

شكر وتقدير

• شكراً جزيلاً لـ Ypresto على عمله الرائد في مشروع Android-Transcoder ، والذي كان مصدر إلهام وتأثير شديد على Litr
• شكر خاص ل Masayukisuda على عمله في مشروع MP4Composer-Android ، الذي الآن مرشحات Power Litr ، وعلى عمله في مشروع ExoplayerFilter الذي كان أساسًا لوظيفة معاينة التصفية في LITR.
• شكر خاص لشركة Android-Gpuimage لمجموعة Filter Amazing ، والتي تم نقلها في Litr
• شكراً خاصًا لـ Iandbird على عمله الهائل على جعل Litr قادرًا على العمل كمسجل فيديو/صوت ، بالإضافة إلى مساهماته المستمرة في Litr
• شكرًا لك على فريق AOSP CTS من Google لكتابة تطبيق عرض السطح في OpenGL ، والذي أصبح أساسًا لـ Glrenderer في Litr
• شكراً لمشروع Google Oboe على تطبيق إعادة تشكيل الصوت عالي الجودة ، والذي أصبح أساسًا لمعالجة الصوت في Litr
• صراخ لزملائي الرائعين أميتا ساهاسرابوهي ، لونغ بينج ، كيرثي كوراني وفاسيلي كولاكوف للمساهمات ومراجعات الكود
• صراخ لزميلي فيديا باندورانغان لتقليص الفيديو النماذج الأولية ، والتي أصبحت الآن ميزة
• يصرخ لمصممنا Mauroof Ahmed لإعطاء Litr هوية بصرية
• صراخ إلى PurpleBooth لقالب ReadMe.md مفيد للغاية
• يصرخ إلى Ma7moudhatem على مساهماته التي لا تقدر بثمن في Litr