도깨비봇은 '도와주고 깨워주는 공부 비서 로봇'의 줄임말로, 시간과 장소의 제약 없이 혼자 있는 공간에서도 효율적으로 공부할 수 있도록 도와주는 웹IoT 서비스입니다.

• 도깨비봇(라즈베리파이)이 카메라로 현재 상태 분석
• 웹사이트에 업데이트 된 공부 분석 차트 확인
• 여러 사람과 함께하는 비대면 온라인 스터디 플랫폼

• Mediapipe 얼굴인식 인공지능 모델 활용하여 Face mesh data로 Empty, Sleep, Studying 상태 판단
• Mediapipe pose landmark detection으로 추출한 data와 사이킷런을 활용한 자세 판별 모델 생성
• PICO voice porcupine 음성인식 모델 활용 및 Wake word detection 기술 사용
• MQTT를 활용한 Web - IoT 통신

• Spring Boot를 활용한 REST기반 어플리케이션 개발
• MQTT를 활용한 Web-IoT 통신
• Stomp를 활용한 실시간 채팅 구현
• Stomp를 활용한 실시간 유저 접속 여부, 접속 시간 구현
• Stomp, MQTT를 활용한 IoT-Backend-Frontend 간 실시간 통신 구현- aws s3를 활용한 이미지 저장 관리
• JWT를 활용한 로그인 구현 및 구글, 카카오 로그인 api 구현

• React 와 Scss 를 활용한 웹 어플리케이션 개발(SPA)
• state 관리 및 데이터 전달 활용을 위한 React-redux 사용
• TypeScript 를 활용한 타입 오류 및 가독성 관리
• Chart.js 를 활용한 데이터 시각화 그래프 구현
• Stomp를 활용한 웹 소켓 구현

제작 기간 : 2023. 07.04 ~ 2023. 08. 18 (7주)
참여 인원 : 6인

• Spring Boot
• JPA
• Jwt
• Stomp
• MQTT
• aws s3
• Mysql
• webSocket

• Node.js
• typescript 4.9.5
• React 18.2.0
• React-redux 8.1.1
• Sass(Scss) 8.0.0
• chart.js 4.3.3
• Stomp 7.0.0

• Python
• OpenCV
• MQTT
• Scikit learn
• Mediapipe
• PicoVoice
• Google Cloud Speech API(STT)
• YOLOv3-tiny
• coco dataset

• Jenkins
• Gitlab Webhooks
• Docker
• Docker-compose

• Nginx
• Mosquitto
• Docker