캠퍼스 메이트: 시각 장애 학우와 학습 도우미를 위한 학습 보조 프로그램

CCD 1조 뎁코(DevCode)

CampusMate는 시각장애 학우와 학습 도우미를 위한 AI 기반 학습 보조 플랫폼입니다.

OCR 및 레이아웃 기반 멀티모달 문서 구조 분석, 교안 페이지 실시간 동기화, 코드/수식 정규화 및 TTS 전처리 등 멀티모달 AI 기술을 활용하여, 시각장애 학우가 강의 자료를 실시간으로 이해하고 학습할 수 있도록 지원합니다.

기존 강의 환경에서는 시각장애 학우가 강의 자료를 실시간으로 접근하기 어렵습니다.

CampusMate는 아래 문제를 해결하고자 합니다:

• 시각장애 학우의 실시간 강의 자료 접근성 부족
• OCR 기반 자료 분석의 문맥 손실, 읽기 순서 손상 문제
• 코드·수식·이미지·표 등 멀티모달 자료의 TTS 변환 및 이해도 저하
• 교수 발화와 교안의 직접적 연결 정보 부재로 인한 학습 흐름 단절

1. 교안 페이지 실시간 동기화

   학습 도우미의 페이지 정보를 수신받아 시각장애 학우 단말기에 교안 페이지를 실시간으로 동기화

2. 멀티모달 문서 구조 분석

   교안·시험·추가 자료 등 비정형 문서 내 텍스트, 이미지, 표/그래프, 코드/수식 등을 교안 전체 흐름을 이해한 의미 단위로 구조화

3. 레이아웃 기반 읽기 순서 정렬

   OCR 수행 후 추출되는 텍스트 박스의 좌표를 계산하여 상→하→좌→우로 읽기 순서 정렬

4. 코드/수식 접근성 제공

   텍스트 내 코드 및 수식을 태그로 구분하여 TTS 읽기용으로 전처리

1. 교안 업로드 및 분석(비동기)

   PDF로 된 강의 교안을 업로드 후 AI Vision 분석을 비동기로 처리

   텍스트, 이미지, 표/그래프, 코드/수식이 교안 문맥을 유지하며 의미 단위로 구조화

   제목, 본문(코드/수식 구조화), 이미지 설명 레이아웃으로 재구성

2. 교안 페이지 실시간 동기화

   수업 중 학습 도우미가 교안 페이지를 넘기면 시각장애 학우 화면이 자동으로 실시간 동기화되어 페이지 전환

3. 추가 자료 업로드 및 분석

   이미지로 업로드 된 비정형 문서를 OCR 분석 후 레이아웃 기반 읽기 순서 알고리즘을 적용해 정렬

   업로드 된 이미지는 두 단말기 간 실시간 동기화 제공

4. 교수 발화 STT 변환(비동기)

   페이지 전환 이벤트 발생 시 자동으로 해당 페이지에 녹음된 교수 발화가 STT 변환

   비동기로 처리되어 페이지 이동이 바로 될 수 있도록 응답

   기록된 북마크와 대조하여 매칭되는 텍스트 및 음성 재생 시간 정합

5. 요약문 제공

   페이지별 요약문은 요청 시 제공하는 방식으로 API 호출 요금 감소

   발화 요약문은 하나의 교안으로 여러 번 학습해도 쌓이는 방식으로 관리

6. 시험 이미지 업로드 및 분석

   이미지로 업로드 된 비정형 문서를 YOLO11 모델로 검출한 모든 객체에 대해 좌표 계산하여 영역 분할

   시험 응시 보안과 저작권 보호를 위해 시험 종료 후 모든 데이터 파기

7. 코드/수식 특화 TTS

   문서 내 추출된 모든 텍스트에서 코드/수식을 구분할 수 있도록 태그로 정규화

   태그 내 코드/수식을 TTS 읽기용으로 전처리

   • 수식: LaTex → MathML + SRE
   • 코드: 특수문자, 들여쓰기, 줄바꿈 텍스트화

Frontend

• React
• TypeScript
• Vite

Backend

• Django
• Celery
• Redis
• SQLite3

AI

• OpenAI GPT Vision & LLM
• Google Cloud STT & TTS
• YOLO11, PaddleOCR, RapidOCR
• MathJax, SRE

Infra

• GitHub
• EC2 & S3