대중가요 노래 자동자막 달기 어느노부부 이야기 딥러닝 기술 구글 허밍노래검색 Google의 ‘Hum to Search Wav2Vec

노래가사 자동으로 입힌다고?

요새 챗GPT  AI가 모든 것을 해결하는 세상입니다.

유튜브영상은 물론이고 모든 부분에서 AI 챗GPT 신드롬이 일고 있다. 그런데 필자는 노래를 부르면서 내가 발음하는 노래가사를 AI가 적어 준다면 좋을 것 같아서 시도를 해보았습니다. 쉽지는 않지만 도전은 해봐야 할 것 아닌가.

 

노래의 자동 자막 생성은 일반적인 영상 자막 생성보다 훨씬 더 어려운 작업입니다. 이는 노래의 음성 신호가 음악, 배경 소음, 다양한 음색 등으로 복잡하게 섞여 있기 때문입니다. 하지만 몇 가지 방법으로 이 문제를 보완할 수 있습니다:

음원 분리 기술: 노래에서 보컬과 배경 음악을 분리하는 기술을 사용하면 자막 생성의 정확도를 높일 수 있습니다. 예를 들어, Demucs와 같은 도구를 사용하여 보컬을 분리할 수 있습니다.

딥러닝 기반 음성 인식: 노래의 가사를 인식하기 위해 딥러닝 모델을 사용할 수 있습니다. Wav2 Vec와 같은 모델은 음성 인식에 뛰어난 성능을 보이며, 이를 노래 가사 인식에 적용할 수 있습니다.

음성-텍스트 변환 모델: Google의 ‘Hum to Search’ 기능처럼, 사용자가 노래를 흥얼거리거나 부르면 이를 텍스트로 변환하는 모델을 사용할 수 있습니다.
현재 AI 기술은 노래의 가사를 완벽하게 인식하는 데 한계가 있지만, 위의 방법들을 통해 점차 개선되고 있습니다. 앞으로 더 발전된 기술이 나오면 노래의 자동 자막 생성도 더욱 정확해질 것입니다.

구글허밍노래검색

 

구글의 “허밍으로 노래 검색” 기능은 사용자가 노래의 제목이나 가사를 모르더라도 멜로디를 흥얼거리거나 휘파람을 불면 노래를 찾아주는 기능입니다. 이 기능은 다음과 같은 방식으로 작동합니다:

구글 앱 열기: 최신 버전의 구글 앱을 열고 마이크 아이콘을 탭 합니다. 또는 구글 검색 위젯에서 “노래 검색” 버튼을 클릭합니다
멜로디 흥얼거리기: "이 노래 뭐야?"라고 말하거나 “노래 검색” 버튼을 클릭한 후, 10-15초 동안 멜로디를 흥얼거리거나 휘파람을 붑니다.

노래 매칭: 구글의 머신러닝 알고리즘이 사용자가 흥얼거린 멜로디를 분석하여 잠재적인 노래 매칭 결과를 제공합니다. 이 결과는 노래의 고유한 멜로디 "지문"을 기반으로 합니다.

결과 확인: 가장 유사한 노래를 선택하고, 해당 노래와 아티스트에 대한 정보를 탐색하거나, 음악 비디오를 시청하거나, 가사를 확인할 수 있습니다.

 

Vrew 노래 자동자막

 

상세한 것은 아래 영상을 보시면 잘 나와  있습니다.