AI의 음성받아쓰기의 기능이 오작동하는 한 원인

Posted on

이경우에는 어느 코드가 문제인지는 미확인이더라도 어떤 말뭉치 체계를 택했는지에 따라 달라지는 출력결과 같은 생각도 듭니다. 문법적으로 지향적인 말뭉치 체계를 따르면, 재생하는 영상에 나온 말과 분위기를 완전히 안따르고 자막을 보여주듯이 되기도 하네요. 이 경우에도 개발자들도 아는 결과지만, 서비스 사용자나 비지니스의 측면에서 복잡한 문제가 겹치면 개발자들도 불만을 가지기도 하네요. 이를 알아주는 것이 저의 기본 관점인데, 이경우에는 개발자가 의도한 것인지 아닌지는 일단 문제는 아닌 듯합니다. 코드를 기반한 라이브러리의 말뭉치 체계가 문제가 아닐까 싶네요.

때로는 개발 지향점이 웹이나 AI등의 악용을 막는다는 것이면 환각 현상도 필요한 경우가 있지만, 윈도우의 네트워크 관련 서비스 프로세스가 인터넷에 반드시 필요해도 끄면 인터넷이 안되듯이 이런 경향도 있으니 유의점 같애요.

그래서 문법을 너무 따지는 경우에 구명해줄때 화용론적인 방법으로 도와주듯이, 음성받아쓰기에서 쓰이는 AI 기술에서 오작동하는 것 (이 주제에서는 그대로 안받아적게 나오고 AI적인 환각 현상이 나타나는 것) 을 개선하려는 의지가 중요한데, 이게 기술외적인 요인도 있으니 힘든 문제입니다. 환각으로 실재 피해본 사례가 있으면요.

제가 목격한 영상 자막 체계의 경우, 자동생성 자막이 위와 같은 작동을 보이던데요. 특수한 이름이 잘못 인식되는 것은 어쩔 수 없더라도, 영상속의 화자가 말한 것과 반대로 이해되는 최종의미적인 자막도 뜨기도 하고 음악도 안나오는데 [MUSIC]이라고 나오는 부분의 의미가 영상을 폄하하게 하는 측면이 있는 자막도 떠서 문제인데 그래도 분별력이 있는 경우는 큰 문제가 없다고 상정하고 실시되는게 현실 세계의 문법 강조 실천과 같아서 피해받은 경우도 있을 것입니다.

이경우에는 말뭉치 관련 처리 (자연언어처리에서 연구하는 주제) 인데 세부를 더 보기전에 추론한 것으로 일리가 있는 의견입니다. 물론 연쇄 작동이면 말뭉치와 직접 통하는 코드가 아닐 수 있는데 이경우에도 자막이나 음성받아쓰기의 경우에는 음성인식에 쓰이는 원리가 말뭉치 처리와도 연관될 수 있다는데서 제시했습니다.


전 기본적으로 구명적인 입장이라, 업체 옹호도 고객 옹호도 아닌 관점에서 본문을 썼네요. 개선이 되어야 한다는 것이 분명한 사실이라 제 글의 의의가 있네요.

비판하기전에 업체에 대한 것을 강하게 말하지 못하는 일들이 있었는데, 이게 또 다른 분들의 이해 관계와 맞물려서 저와 친분이 있어가던 순수한 분들과의 관계에도 영향을 주네요 ㅎㅎ


본문에 이어서 쓰자면 그래서 자막이나 음성 처리에 대해 정책적으로 상정만 하고 넘어가는 경우가 있습니다. 문법적인 말뭉치더라도 분별력이 있으면 좋은 것으로 상정하고 이를 서비스에 채택하는데, 분별력이나 상황에 따라 다른 것이라는 구현적인 전제 조건이 실재로는 그냥 말뿐인 경우도 많습니다. 개발자들도 검토했고 사용자도 권리가 있는데, 말뭉치의 특성에 의해 영향을 준다는 것이죠. 물론 개발자가 이런 말하면 같은 업계를 퇴보하게 한다는 의미도 있는데 이런 것이 문법적 지향이 강한 말뭉치와 현실 세계의 문법성이 동연적이 되는 이유네요. 이런 이유로 비판자도 옹호자도 각자의 조건에서 제한이 오는데 업체에서 의도한게 아니더라도 이에 의해 끼이기도 합니다.

이에 대해 피해 사실에 대해 말하게 하는 것도 중요하고, 이를 개선하는 것도 중요합니다.

규범이나 규제가 이와 같은 사안이 되는 것은 음성인식에 의한 언어 생성이 기반하는 말뭉치 처리가 실재로 현실 세계에서 존재하는 특정 인식을 이끌어내는 효과가 있어서이구요. 제가 목격한 현상은 그 업체 서비스명은 안말할 것이지만, 구명적(rescue)인 입장으로 말씀하시는 교수님의 말이 자막으로 나올때 위에 제가 보고한 자막으로 뜨는게 발견이 되었습니다.

이게 AI의 환각 개선에 중요한 이유가 됩니다. 한 언어 표현이 가진 힘은 미래를 결정하는 근거가 된다는 것이고, 문법을 중요하게 여기는 말뭉치 처리의 경우에도 AI의 환각이라는 현상 내용이 되기도 하네요.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다