Downcodes의 편집자는 Ultralight-Digital-Human이라는 오픈 소스 프로젝트가 GitHub에서 열띤 토론을 일으키고 있다는 사실을 알게 되었습니다! 본 프로젝트는 디지털 휴먼 기술을 모바일 단말기에 배치하는 문제를 해결하는 데 획기적인 성과를 거두었고, 일반 스마트폰에서 디지털 휴먼 애플리케이션을 원활하게 실행할 수 있게 했으며, 디지털 휴먼 기술의 적용 문턱을 크게 낮추고, 전례 없는 대중화 기회를 가져왔습니다. 이는 모바일 애플리케이션 개발은 물론 AR/VR 및 기타 분야에 지대한 영향을 미칠 것입니다.
최근 Ultralight-Digital-Human이라는 오픈 소스 프로젝트가 개발자 커뮤니티에서 광범위한 관심을 끌었습니다. 본 프로젝트는 디지털 휴먼 기술을 모바일 단말에 탑재하는 문제를 성공적으로 해결하여 일반 스마트폰에서 디지털 휴먼 애플리케이션을 실시간으로 실행할 수 있도록 하여 관련 기술의 대중화에 새로운 가능성을 제시했습니다.
이 초경량 디지털 휴먼 모델은 혁신적인 딥러닝 기술을 사용하고, 알고리즘 최적화와 모델 압축을 통해 거대한 디지털 휴먼 시스템을 모바일 기기에서 원활하게 실행할 수 있을 정도로 슬림화하는 데 성공했습니다. 이 시스템은 비디오 및 오디오 입력의 실시간 처리를 지원하며 신속한 응답과 원활한 작동으로 디지털 인간 이미지를 빠르게 합성할 수 있습니다.
기술 구현 측면에서 이 프로젝트는 Wenet과 Hubert라는 두 가지 오디오 기능 추출 솔루션을 통합하며 개발자는 특정 애플리케이션 시나리오에 따라 유연하게 선택할 수 있습니다. 동시에 동기화 네트워크(싱크넷) 기술 도입을 통해 디지털휴먼의 립싱크 효과도 대폭 향상됐다. 모바일 장치에서 원활한 작동을 보장하기 위해 개발 팀은 교육 및 배포 프로세스 중에 매개변수 가지치기 기술을 채택하여 컴퓨팅 리소스 요구 사항을 효과적으로 줄였습니다.
이 프로젝트의 또 다른 하이라이트는 교육 과정에 대한 완전한 문서화입니다. 개발자는 3~5분 분량의 고품질 얼굴 비디오만 준비하고 지침에 따라 디지털 인간 모델 훈련을 시작하면 됩니다. 시스템의 비디오 요구 사항도 매우 명확합니다. Wenet 모드에는 20fps의 프레임 속도가 필요하고 Hubert 모드에는 25fps가 필요합니다.
훈련 효과를 보장하기 위해 프로젝트 팀은 개발자에게 다음과 같은 주요 링크에 주의를 기울일 것을 구체적으로 상기시킵니다: 기본으로 훈련 데이터의 품질을 보장하고 훈련 매개변수를 조정합니다. 적시에. 이러한 세부 사항은 최종 디지털 휴먼 효과에 직접적인 영향을 미칩니다.
현재 이 오픈소스 프로젝트는 소셜 애플리케이션, 모바일 게임, 가상현실 등의 분야에서 큰 잠재력을 보여주고 있습니다. 기존 디지털 휴먼 기술에 비해 하드웨어 임계값을 낮출 뿐만 아니라 크로스 플랫폼 호환성을 달성하고 모든 유형의 스마트폰에서 안정적으로 실행할 수 있습니다.
프로젝트 주소: https://github.com/anliyuan/Ultralight-Digital-Human
Ultralight-Digital-Human 프로젝트는 의심할 여지 없이 디지털 휴먼 기술 개발의 이정표이며, 오픈 소스 특성으로 인해 더 많은 개발자에게 배우고 혁신할 수 있는 기회도 제공됩니다. 앞으로 이 프로젝트를 기반으로 하는 더 혁신적인 애플리케이션이 나올 것이라고 믿습니다. 기다려 보겠습니다!