LiTr

Litr

O Litr (pronunciado "Lai-Tr") é uma ferramenta leve de transformação de vídeo/áudio que suporta faixas de vídeo e áudio com modificação opcional de quadros.

Em sua iteração atual suporta:

• Mudança de resolução e/ou taxa de bits de uma (s) faixa (s) de vídeo
• Alteração da taxa de amostragem, contagem de canais e/ou taxa de bits de uma (s) faixa (s) de áudio (s)
• sobreposição de bitmap marca d'água nas faixas de vídeo (s)
• Aplicando diferentes efeitos (brilho/contraste, saturação/matiz, desfoque etc.) em pixels de vídeo
• Incluindo/excluindo faixas, o que permite faixas de muxing/desmembramento
• Transformando faixas individualmente (por exemplo, aplique sobreposição a uma faixa de vídeo, mas não a outra)
• Posicionando o quadro de vídeo de origem arbitrariamente no quadro de vídeo alvo
• Aparando em vídeo/áudio
• Criando vídeo "vazio" ou um vídeo a partir de uma única imagem
• gravação de áudio
• Criando bitmap de visualização (s) (com filtros aplicados) em registro de data e hora específicos (ss) (s) (s) (ss) (s)
• Escrevendo áudio bruto em contêiner WAV
• Gravar vídeo usando a API da câmera2
• Use FFMPEG-Muxers (Opt-In) para escrever em contêineres MediaCodec Stack não é o suporte, como MP4 fragmentado

Por padrão, o Litr usa a pilha Android MediaCodec para decodificação/codificação acelerada de hardware e codificação e OpenGL para renderização. Ele também usa o MediaExtractor e o MediaMuxer para ler/gravar mídia.

Começando

Basta agarrar via gradle:

 implementation ' com.linkedin.android.litr:litr:1.5.7 '

... ou maven:

< dependency >
  < groupId >com.linkedin.android.litr</ groupId >
  < artifactId >litr</ artifactId >
  < version >1.5.7</ version >
</ dependency >

Como transformar um vídeo

Primeiro, instancie MediaTransformer com um Context que pode acessar Uri que você usará para entrada e saída. Mais comumente, esse será um contexto de aplicativo.

 MediaTransformer mediaTransformer = new MediaTransformer ( getApplicationContext ());

Em seguida, basta chamar o método transform para transformar seu vídeo:

 mediaTransformer . transform ( requestId ,
                           sourceVideoUri ,
                           targetVideoFilePath ,
                           targetVideoFormat ,
                           targetAudioFormat ,
                           videoTransformationListener ,
                           transformationOptions );

Poucas coisas notáveis ​​relacionadas à transformação:

• Certifique -se de fornecer um requestId único, ele será usado ao ligar de volta para um ouvinte ou necessário ao cancelar uma transformação contínua
• Os formatos de destino serão aplicados a todas as faixas desse tipo, as faixas de vídeo ou áudio serão copiadas "como estão"
• Passar o formato de destino null significa que você não deseja modificar as faixas desse tipo
• A transformação é realizada de forma assíncrona, o ouvinte será chamado com qualquer progresso de transformação ou mudanças de estado
• Por padrão, os retornos de chamada do ouvinte acontecem em um tópico da interface do usuário, é seguro atualizar a interface do usuário na implementação do ouvinte. Também é possível tê-los em um thread de transformação não UI, por exemplo, se houver algum trabalho "pesado" na implementação do ouvinte.
• Se você deseja modificar os quadros de vídeo, passe em uma lista de GlFilter s nas TransformationOptions , que serão aplicadas em ordem
• Se você deseja modificar os quadros de áudio, passe em uma lista de BufferFilter s nas TransformationOptions , que serão aplicadas em ordem
• O cliente pode ligar para transform várias vezes, para fazer a fila de solicitações de transformação
• O vídeo será gravado no contêiner MP4, recomendamos o uso de H.264 ("Video/AVC" do tipo MIME) para codificação de destino. Se o tipo MIME VP8 ou VP9 for usado para faixa de vídeo de destino, a faixa de áudio será codificada usando o Codec Opus e as faixas serão gravadas no contêiner do WebM.
• A atualização do progresso granularidade é 100 por padrão, para corresponder à porcentagem e pode ser definida nas TransformationOptions
• A mídia pode ser opcionalmente aparada especificando uma MediaRange em TransformationOptions

A transformação em andamento pode ser cancelada ligando para cancel com seu requestId :

 mediaTransformer . cancel ( requestId );

Quando você não precisar mais MediaTransformer , libere -o. Observe que a instância MediaTransformer se torna inutilizável depois de lançá -la, você terá que instanciar uma nova.

 mediaTransformer . release ();

Erros de manuseio

Quando a transformação falha, a exceção não é lançada, mas é fornecida no retorno de chamada TransformationListener.onError . A Litr define suas próprias exceções para diferentes cenários. Para API> = 23, a exceção do LITR também conterá MediaCodec.CodecException como causa.

Estatísticas de relatórios

Quando possível, as estatísticas de transformação serão fornecidas nos retornos de chamada do ouvinte. As estatísticas incluem formatos de faixa de origem e destino, codecs usados ​​e resultado de transformação e tempo para cada faixa.

Além dos padrões

Por padrão, o Litr usa a pilha Android MediaCodec para fazer todo o trabalho da mídia e o OpenGL para renderização. Mas isso não é colocado em pedra.

Em alto nível, o Litr divide a transformação em cinco etapas essenciais:

• LEITURA COMENCIDO COMPRIM
• Decodificação de quadro de origem
• Renderizando um quadro de origem no quadro de destino, opcionalmente modificando -o (por exemplo, sobrepondo um bitmap)
• codificação de quadro de destino
• Escrevendo o quadro de destino codificado no contêiner de destino

Cada etapa de transformação é realizada por um componente. Cada componente é abstraído como uma interface:

• MediaSource
• Decoder
• Renderer
• Encoder
• MediaTarget

Ao usar suas próprias implementações de componentes, verifique se a saída de um componente corresponde à entrada esperada de um próximo componente. Por exemplo, se você estiver usando um Encoder personalizado (AV1?), Verifique se ele aceita qualquer Renderer de formato de quadro que produza ( GlSurface , ByteBuffer ) e sai o que MediaTarget espera como uma entrada.

Os componentes personalizados podem ser usados ​​no TrackTransform s abaixo do método de transformação de "baixo nível":

 transform ( requestId ,
         List < TrackTransform > trackTransforms ,
         listener ,
         granularity )

Esta API permite definir componentes e parâmetros por faixa de mídia, permitindo operações baseadas em faixas, como faixas de muxing/desmembamento, transcodificando diferentes faixas de maneira diferente, alterando a ordem de trilha etc.

Usando filtros

Você pode usar filtros personalizados para modificar quadros de vídeo/áudio. Se você estiver escrevendo um filtro de vídeo personalizado, implemente a interface GlFilter para fazer operações extras de desenho do OpenGL. Se você precisar alterar a forma como o quadro de vídeo de origem é renderizado em um quadro de vídeo de destino, implemente a interface GlFrameRender . Para filtro de áudio, implemente BufferFilter .

A Litr agora possui 40 novos filtros de vídeo acelerados da GPU portados dos projetos MP4Composer-Android e Android-Gpuimage. Você também pode criar seu próprio filtro simplesmente configurando o VideoFRameRenderFilter com seu shader personalizado, sem codificação extra!

Todos os filtros de vídeo/áudio ao vivo na biblioteca "Filter Pack", que está disponível via Gradle:

 implementation ' com.linkedin.android.litr:litr-filters:1.5.7 '

... ou maven:

< dependency >
    < groupId >com.linkedin.android.litr</ groupId >
    < artifactId >litr-filters</ artifactId >
    < version >1.5.7</ version >
</ dependency >

Você pode passar em uma lista de filtros ao transformar um vídeo ou faixa de áudio. Lembre -se de que os filtros serão aplicados na ordem em que estão na lista, portanto, ordenar assuntos.

Usando nos testes

MediaTransformer não é muito intencionalmente um singleton, para permitir uma fácil zombaria em testes de unidade. Também há MockMediaTransformer para testes de interface do usuário, que podem "reproduzir" uma sequência de retornos de chamada do ouvinte.

Teste

A lógica de negócios central no LITR é bem coberta por testes de unidade. O LITR foi projetado para usar o padrão de injeção de dependência, o que facilita a gravação de testes de JVM com dependências ridicularizadas. Usamos a estrutura da Mockito para zombar.

Aplicativo de demonstração

O Litr vem com um aplicativo de demonstração bastante útil, que permite transcodificar faixas de vídeo/áudio com diferentes parâmetros, além de fornecer código de amostra.

Contribuindo

Leia contribuindo.md para obter detalhes sobre nosso código de conduta e o processo para enviar solicitações de puxar para nós.

Versão

Para as versões disponíveis, consulte as tags neste repositório.

Instantâneos

Você pode usar as compilações no instantâneo para testar as mais recentes alterações não lançadas. Um novo instantâneo é publicado após cada mesclagem para a filial principal pelo fluxo de trabalho de ação do Implant Snapshot Github.

Basta adicionar o repositório Sonatype Snapshot aos seus scripts gradle:

 repositories {
    maven {
        url " https://oss.sonatype.org/content/repositories/snapshots/ "
    }
}

Você pode encontrar a versão mais recente do instantâneo a ser usada no arquivo gradle.properties.

Autores

• Izzat Bahadirov - Trabalho inicial - Litr

Veja também a lista de colaboradores que participaram deste projeto.

Licença

Este projeto está licenciado sob a licença BSD 2 -cláusulas - consulte o arquivo de licença para obter detalhes

Agradecimentos

• Um enorme agradecimento a Ypresto por seu trabalho pioneiro no projeto Android-Transcoder, que foi uma inspiração e influência pesada no Litr
• Um agradecimento especial a Masayukisuda por seu trabalho no MP4Composer-Android Project, cujos filtros agora alimentam o Litr, e por seu trabalho no Projeto Exoplayerfilter, que era uma base para a funcionalidade de visualização de filtro em Litr.
• Um agradecimento especial ao projeto Android-Gpuimage para uma incrível coleção de filtros, que foram portados para Litr
• Um agradecimento especial a Iandbird por seu trabalho fenomenal em tornar o Litr capaz de trabalhar como gravador de vídeo/áudio, bem como suas contribuições contínuas para o Litr
• Agradecemos à equipe do AOSP CTS do Google por escrever a implementação da superfície da superfície em OpenGL, que se tornou uma base para Glrenderer em Litr
• Agradecemos ao Google OBOE Project pela implementação de reamostragem de áudio de alta qualidade, que se tornou uma base de processamento de áudio em Litr
• Um grito para meus incríveis colegas Amita Sahasrabudhe, Long Peng, Keerthi Korrapati e Vasiliy Kulakov para contribuições e críticas de código
• Um grito ao meu colega Vidhya Pandurangan para o corte de vídeo prototipando, que agora se tornou um recurso
• Um grito para o nosso designer Mauroof Ahmed por dar à Litr uma identidade visual
• Um grito para o Purplebooth para um modelo muito útil readme.md
• Um grito para Ma7moudhatem por suas contribuições inestimáveis ​​para o Litr