Side Impact

round02 ai

SignGPT

수어와 세상을 연결하는 AI 솔루션
#청각장애인 #정보접근성 #LLM, CV

디알랩스(D-ALabs)소개
디알랩스는 디지털 기술을 현대의 연금술로 삼아 사람들에게 도움을 주는 제품을 개발하는 팀 입니다.
  • 해결하고자 하는 문제
    청각장애인이 일상에서 실시간으로 의사소통하기 어렵고, 정보 접근에 제한을 받는 문제를 해결하고자 합니다.
  • 그 문제가 중요한 이유
    의사소통의 단절은 교육, 고용, 사회 참여 전반에 걸쳐 청각장애인의 삶의 질을 심각하게 저하시키고, 인권을 보장하지 않는 것입니다.
  • 활용하고 있는 핵심 기술
    수어 영상 인식 딥러닝과 LLM 기반 자연어 생성·요약을 결합한 양방향 실시간 통역 기술을 제공합니다.
  • 기대하는 사회적 임팩트
    청각장애인의 실시간 소통 장벽을 낮춰 교육·고용 참여를 확대하고 정보격차를 완화 하고자 합니다.

프로젝트는 '누구'의 '어떤' 문제를 '왜', '어떻게' 해결하나요?
  • 누구의 청각장애인과 그 가족, 동료 등 수어가 필요한 모든 사람들의
  • 어떤 문제를 실시간 의사소통 부재와 정보 접근 제한으로 인한 사회적 고립 문제를
  • 어떻게 AI 기반 실시간 수어 통역 서비스 제공으로 의사소통 및 정보 격차를 해소하고자 합니다.
프로젝트를 시작하게 된 계기....
ChatGPT를 사용하던 중 중학생 때 보던 수어책이 눈에 띄며 청각장애인의 최신 기술 활용이 궁금해졌습니다. 조사 과정에서 ‘청각장애인 고용차별 및 고용개선방안 실태조사’를 접하였고, 그 안에서 통역 인력 부족, 업무 지시 전달 어려움, 정보 접근 격차 문제를 확인해 이를 해결할 AI 기반 실시간 수어 통역 프로젝트 SignGPT를 시작하게 되었습니다.

Sign GPT는 실시간 수어 통역과 자연어 처리를 기반으로 한 AI 서비스입니다. 기존의 수어 통역 서비스는 제한된 통역 인력, 높은 비용, 그리고 시간적 제약으로 인해 실시간 대응에 어려움이 있었습니다.

Sign GPT는 카메라로 입력된 수어 영상을 AI 모델이 단어 단위로 인식하고, 이를 LLM을 통해 문장으로 변환하여 자연스러운 음성이나 텍스트로 제공합니다. 또한, 음성이나 텍스트를 다시 수어 영상으로 변환하는 기능을 지원해 양방향 소통을 가능하게 합니다.

특히, 수어만으로도 ChatGPT와 같은 챗봇과 직접 대화할 수 있어, 청각장애인 사용자가 수어를 통해 질문하고 답변을 실시간으로 수어로 받을 수 있는 혁신적인 대화 경험을 제공합니다.

더 나아가, 사용자 친화적인 웹·모바일 인터페이스를 통해 비전문가도 쉽게 활용할 수 있는 실시간 통역 환경을 제공하여 청각장애인의 일상, 교육, 업무 등 다양한 영역에서 의사소통 격차를 줄이는 것을 목표로 합니다.