콜백문자서비스 '교착어의 비애'넘어설 한국형 AI모델 개발 정책,기술 고도화가 필요한 시점[디지털데일리 이건한기자] 정부는 올해 한국의 AI 3대 강국 도약을 위한 여러 공격적인 정책을 펼쳤다. 특히 AI 주권 확보가 중요한 과제로 떠오르며 '독자 AI 파운데이션 모델 프로젝트' 같은 국가적 AI 개발 사업도 진행 중이다. 해당 프로젝트의 주요 목표 중 하나는 최상급 외산 모델과 비교해 최소 95%의 성능을 발휘하는 K-AI 모델 개발이다. 하지만 일각에서는 '한국어' 자체가 고성능 K-AI 개발의 걸림돌이 될 수 있다는 우려도 나온다. 이에 업계 전문가들은 고품질 한국어 데이터 관리 정책과 정제 기술 개발이 더 중요해지고 있다는 지적이다.◆ 소설 한권 규모 한국어에 '멍해진' AI'한국어가 AI 학습에 불리하다'는 주장은 최근 마이크로소프트(MS)와 메릴랜드대(UMD) 연구진이 공개한 '다국어 장문 컨텍스트 언어 모델의 벤치마킹(One ruler to measure them all: Benchmarking multilingual long-context language models)' 논문에서 두드러진다. 해당 논문은 AI 모델이 긴 글을 얼마나 정확하고 효율적으로 처리할 수 있는지 26개 언어를 대상으로 실험한 결과를 담고 있다.한국어는 주요 AI 모델 내 언어처리 능력 실험에서 26개 언어 중 22위에 그쳤다. [사진= 논문 발췌]논문에 따르면 한국어는 오픈AI의 'o3-mini', 구글 '제미나이 1.5', 메타 '라마 3'와 같은 유명 모델을 이용한 실험에서 22위에 그쳤다. 한국어보다 비효율적인 언어는 타밀어, 스와힐리어, 베트남어 뿐이었다. 특히 가장 두드러진 결과는 '교차 언어' 실험에서 나왔다. 해당 실험은 AI가 특정 언어로 작성된 문서를 읽도록 하고, 명령문은 다른 언어로 입력한 뒤 결과물의 정확도를 확인하는 방식으로 이뤄진다.일례로 연구진이 영어로 된 64K 토큰(소설책 반권 규모) 자료를 AI에게 입력하고 '한국어로 질문'하자 평균 정확도는 영어로 질문할 때의 91%보다 대폭'교착어의 비애'넘어설 한국형 AI모델 개발 정책,기술 고도화가 필요한 시점[디지털데일리 이건한기자] 정부는 올해 한국의 AI 3대 강국 도약을 위한 여러 공격적인 정책을 펼쳤다. 특히 AI 주권 확보가 중요한 과제로 떠오르며 '독자 AI 파운데이션 모델 프로젝트' 같은 국가적 AI 개발 사업도 진행 중이다. 해당 프로젝트의 주요 목표 중 하나는 최상급 외산 모델과 비교해 최소 95%의 성능을 발휘하는 K-AI 모델 개발이다. 하지만 일각에서는 '한국어' 자체가 고성능 K-AI 개발의 걸림돌이 될 수 있다는 우려도 나온다. 이에 업계 전문가들은 고품질 한국어 데이터 관리 정책과 정제 기술 개발이 더 중요해지고 있다는 지적이다.◆ 소설 한권 규모 한국어에 '멍해진' AI'한국어가 AI 학습에 불리하다'는 주장은 최근 마이크로소프트(MS)와 메릴랜드대(UMD) 연구진이 공개한 '다국어 장문 컨텍스트 언어 모델의 벤치마킹(One ruler to measure them all: Benchmarking multilingual long-context language models)' 논문에서 두드러진다. 해당 논문은 AI 모델이 긴 글을 얼마나 정확하고 효율적으로 처리할 수 있는지 26개 언어를 대상으로 실험한 결과를 담고 있다.한국어는 주요 AI 모델 내 언어처리 능력 실험에서 26개 언어 중 22위에 그쳤다. [사진= 논문 발췌]논문에 따르면 한국어는 오픈AI의 'o3-mini', 구글 '제미나이 1.5', 메타 '라마 3'와 같은 유명 모델을 이용한 실험에서 22위에 그쳤다. 한국어보다 비효율적인 언어는 타밀어, 스와힐리어, 베트남어 뿐이었다. 특히 가장 두드러진 결과는 '교차 언어' 실험에서 나왔다. 해당 실험은 AI가 특정 언어로 작성된 문서를 읽도록 하고, 명령문은 다른 언어로 입력한 뒤 결과물의 정확도를 확인하는 방식으로 이뤄진다.일례로 연구진이 영어로 된 64K 토큰(소설책 반권 규모) 자료를 AI에게 입력하고 '한국어로 질문'하자 평균 정확도는 영어로 질문할 때의 91%보다 대폭 하락된 71%로 나타났다. 그보다 큰 128K 토큰 규모의 한국어 문서에서도 한국어 질문에 대한 정확도는 61%에 불과했다. 반면 영어로 질문하자 정확도는 오히려 77%로 더 높아졌다. 이는 현재 AI 모델들이 한국어 지시 사항을 이해하거나 한국어로 추론해 답변을 생성하는 능력이 영어권 언어와 비교해 상 콜백문자서비스