사내 문화를 바꾸는 악성메일 신고센터

생성형 AI 구축을 위해서는 기업 내 양질의 데이터, 나아가 비정형 형태의 문서가 가장 중요하다는 것을 이야기 했습니다.
하지만 기업에서 중요한 자산인 문서를 생성형 AI의 학습 데이터로 활용하기 위해 준비하는 과정은 많은 노력이 들어갑니다.
학습 데이터를 준비함에 있어 중요한 애로 사항에 대해 알아보도록 하겠습니다.

첫째, 개인들이 작성한 문서를 빠짐없이 다 모아서 DB화 해야 됩니다. 온라인상에 저장되어 있는 DB화된 데이터는 관리가 잘되어 활용이 쉬울 수 있지만 직원 개인이 작성한 문서의 관리가 되어 있지 않으면 학습 데이터로 활용하기 위해 수집하는데 상당한 시간과 비용이 발생할 수 밖에 없습니다.

둘째, 문서에 대한 접근 권한이 다르기 때문에 사용자에 따른 권한에 따라 접근이 관리되어야 합니다. 특정 사용자에게 접근이 허용되지 않은 문서가 노출될 경우에는 보안에 위협이 될 수 있기 때문에 권한 관리 또한 중요한 포인트입니다. 그리고 예전 데이터를 학습하여 잘못 보여 주면 안되기 때문에 최신 버전의 문서를 학습하여 답을 할 수 있도록 하여야 합니다.

셋째, 회사 내에 중복 데이터가 관리가 안되고 많을 경우 학습한 내용을 반복적으로 학습하게 되어 학습 효율이 저하될 수 있고, 모델 성능 저하, 중복 데이터가 많은 경우 AI 모델은 실제 데이터에 대한 적응력이 떨어져 모델 성능이 저하됩니다.

마지막으로 중복 데이터가 많은 경우 AI 모델은 실제 데이터의 편향을 반영한 결과를 생성할 수 있습니다.