소리잇다소개
우리 팀은 청각장애인과 비장애인 모두가 불편함 없이 소통하는 화상회의 환경을 통해 소통의 틈을 줄이는 기술을 개발하고자 모였습니다.
- 해결하고자 하는 문제청각장애인이 화상회의를 할 경우, 실시간 자막의 품질이 안 좋고 비언어적 표현이나 수화 번역 서비스를 제공하지 않아 정확한 소통에 어려움을 겪고 있습니다.
- 그 문제가 중요한 이유원활한 의사소통이 보장되지 않으면 청각장애인은 학업·직장·사회 활동에서 배제되어 정보 격차와 불평등이 심화하기 때문입니다.
- 활용하고 있는 핵심 기술음성 신호를 처리하는 딥러닝 기반 음성 분석과 문맥 기반 감정 분석 모델을 활용하였고, 추후에 수화 번역 서비스와 입 모양 분석 기술을 추가할 예정입니다.
- 기대하는 사회적 임팩트청각장애인이 화상회의에서 자막과 수어 지원을 통해 원활히 소통함으로써 사회적 참여와 정보 접근권이 확대되는 긍정적 변화를 기대할 수 있습니다.
프로젝트는 '누구'의 '어떤' 문제를 '왜', '어떻게' 해결하나요?
- 누구의 청각장애인뿐만 아니라 원격 협업에 참여하는 모든 사람의
- 어떤 문제를 실시간 대화 속 맥락과 비언어적 표현 누락, 발화자의 음성과 정확히 매치되지 않아 혼란을 주는 자막, 회의 후 기록 부재로 인한 협업 비효율 문제를
- 왜
- 어떻게 기록/요약 제공 기능을 포함한 LipSee의 AI 기반 실시간 정확한 자막과 감정 인식 모델을 접목한 화상회의 플랫폼을 통해 해결합니다.
프로젝트를 시작하게 된 계기....
코로나 이후 화상회의와 온라인 수업이 일상화되면서, 청각장애인들이 자막 오류나 수화 서비스 부재로 인해 큰 불편을 겪고 있다는 사실을 기사와 자료를 통해 접하게 되었습니다. 이를 통해 기본적인 소통조차 원활히 이루어지지 않는 현실에 문제의식을 느끼게 되었고, 누구나 차별 없이 회의에 참여할 수 있는 환경을 만들고자 프로젝트를 시작하게 되었습니다.
LipSee는 청각장애인과 비장애인 모두가 동등하게 소통할 수 있도록, 비언어적 요소까지 포함한 실시간 정확한 자막, 회의 기록·요약 기능까지 제공하는 올인원 화상회의 앱입니다.
사용자는 별도의 프로그램 설치나 복잡한 세팅 없이 LipSee 앱 하나로 회의에 참여할 수 있고 발화 내용을 AI 기반 실시간 자막으로 확인할 수 있습니다. 자막에는 화자의 어조와 감정이 함께 표시되어 단순 정보 전달을 넘어 대화의 뉘앙스까지 파악할 수 있습니다. 또한 회의가 끝난 후 대화 기록을 저장하여 회의 조회 페이지에서 자동 생성된 회의 요약본과 함께 확인할 수 있습니다.
LipSee는 회의 참여, 기록 저장, 이전 회의 재조회, 요약 확인까지 협업 전 과정이 한 플랫폼에서 이루어지기 때문에, 타 화상회의 플랫폼이 주지 못한 새로운 경험을 제공합니다. 추후 수어 기반 자막 변환 기능을 추가해 수어를 사용하는 청각장애인들의 메시지도 실시간 텍스트로 변환 예정입니다.