Adobe Research는 Northwestern University와 협력하여 Sketch2Sound라는 인공 지능 시스템을 개발했습니다. 이 AI 도구는 사운드 디자인 분야에 혁명을 일으킬 것으로 예상됩니다. 이를 통해 사용자는 허밍, 음성 모방 또는 간단한 텍스트 설명만으로 전문적인 사운드 효과와 주변 사운드를 만들 수 있으므로 사운드 디자인 프로세스가 크게 단순화되고 효율성이 향상됩니다. Sketch2Sound는 텍스트 설명과 결합하여 사용자 입력의 음량, 음색, 피치를 분석하여 사용자가 모방한 새소리를 식별하고 이를 "숲 분위기" 음향 효과에 통합하는 등 필요한 사운드를 지능적으로 생성합니다.
최근 Adobe Research는 Northwestern University와 협력하여 Sketch2Sound라는 인공 지능 시스템을 개발했습니다. 이 도구는 사운드 디자이너의 작업 방식을 완전히 바꿀 것으로 예상됩니다. Sketch2Sound를 사용하면 사용자는 허밍, 소리 모방, 간단한 텍스트 설명을 사용하여 전문적인 사운드 효과와 분위기를 만들 수 있습니다.
시스템은 사용자의 음성 입력의 세 가지 주요 요소, 즉 볼륨, 음색(소리의 밝기 또는 어두움 정도를 결정) 및 음조를 분석합니다. 그런 다음 이러한 기능을 사용자의 텍스트 설명과 결합하여 원하는 사운드를 생성합니다. 예를 들어, 사용자가 '숲속 분위기'에 들어가서 짧은 소리를 내면 시스템은 특별한 지시 없이 자동으로 이 소리를 새소리로 인식합니다.
Sketch2Sound의 또 다른 장점은 맥락을 이해하는 능력입니다. 음악을 만들 때 사용자는 "베이스 드럼, 스네어 드럼"을 입력하고 리듬을 흥얼거릴 수 있습니다. 이 시스템은 지능적으로 베이스 드럼을 낮은 음에 배치하고 스네어 드럼을 높은 음에 배치합니다. 이러한 지능형 처리는 사운드 디자인 프로세스를 크게 단순화합니다.
전문가의 요구를 충족하기 위해 연구팀은 특수 필터링 기술도 내장하여 사용자가 필요에 따라 생성되는 소리의 정확성을 조정할 수 있도록 했습니다. 사운드 디자이너는 매우 정밀한 제어 또는 보다 편안하고 대략적인 접근 방식 중에서 선택할 수 있으며 이러한 유연성으로 인해 Sketch2Sound는 Foley 아티스트에게 특히 인기를 끌 수 있습니다. 이 도구를 사용하면 영화 및 TV 프로그램의 음향 효과를 만드는 전문가는 소리를 만들기 위해 물리적 개체를 조작할 필요 없이 소리와 텍스트 설명을 사용하여 효과를 더 빠르게 만들 수 있습니다.
연구원들은 입력 녹음의 공간 오디오 특성이 때때로 결과 사운드에 부정적인 영향을 미칠 수 있다는 점을 지적하면서 이 문제를 해결하기 위해 노력하고 있습니다. 현재 Adobe는 Sketch2Sound가 상용 제품으로 출시될지, 언제 출시될지 발표하지 않았습니다.
프로젝트 입구: https://hugofloresgarcia.art/sketch2sound/
가장 밝은 부분:
Sketch2Sound는 허밍과 텍스트 설명을 통해 음향 효과를 생성하는 새로 개발된 AI 도구입니다.
시스템은 볼륨, 음색, 피치를 분석하고 사용자의 음성 입력을 텍스트와 결합하여 타겟 사운드 효과를 생성합니다.
특히 폴리 아티스트에게 적합한 이 제품은 영화 및 TV 음향 효과를 신속하게 생성하고 작업 효율성을 향상시킬 수 있습니다.
전체적으로 지능성과 편의성을 갖춘 Sketch2Sound는 사운드 디자이너와 폴리 아티스트를 위한 강력한 보조자가 되어 작업 효율성을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다. 아직은 연구개발 단계지만 앞으로의 발전이 기대된다. 관심 있는 사용자가 자세히 알아볼 수 있도록 프로젝트 링크가 제공되었습니다.