Skip to content

동글 (Team 조나단)

동글 URL : https://dongle-books.web.app/

사용설명서 : https://github.com/Dongle06/.github/blob/main/ReleaseNote.md

Introduction

아이들의 창의력 증진과 집중력 및 활동성 향상을 위한 모션, 표정, 음성 인식 기반 참여형 웹 동화 서비스


UI

주요 장면 영상: https://drive.google.com/file/d/1vA_0iu8mc7oFnzggOMLFLDHkaWK4ORjZ/view?usp=sharing

포스터 및 시연 영상: https://youtu.be/R2qC4EqBpCc


System Architecture

image

프론트는 리액트 라이브러리를 사용하고, 백엔드의 경우 Django를 이용하여 api 서버를 구축하였습니다. 모션인식의 경우 poseNet으로 유저의 자세를 실시간으로 인식하도록 하였습니다. 표정인식은 텐서플로우를 사용해 표정을 학습하고, tensorflow.js로 변환하여 실시간 인식을 하고 있습니다. 음성인식의 경우 web speech api 중 리액트 라이브러리인 react-speech-kit를 사용하여 음성을 인식하고 인식 결과 데이터를 처리하였습니다. 배포는 aws 클라우드 서버를 이용해 진행하였으며, docker와 github actions으로 ci/cd를 적용하였습니다.

System flow

image

로그인을 마친 사용자는 원하는 책을 선택하여 서비스를 시작합니다. 애니메이션이 진행되는 도중 등장하는 미션에서 웹캠을 통해 유저의 모습을 실시간 input으로 받으면, 표정인식과 모션인식에서 각각 모델을 거쳐 결과를 반환하게 됩니다. 음성인식의 경우 마이크를 통해 유저의 음성을 받아, 이를 인식하여 결과를 반환합니다. 반환된 결과를 바탕으로 동화가 진행되고 중간 종료 시, 데이터베이스에 종료 시 페이지 정보를 저장합니다.

Contributor

맹수연 김윤지 안예린 이진경
Backend AI/DevOps Frontend AI

Poster

Dongle

Pinned Loading

  1. AI-Emotion AI-Emotion Public

    JavaScript

  2. Backend Backend Public

    Python

  3. Frontend Frontend Public

    JavaScript 1

  4. AI-Pose AI-Pose Public

    JavaScript

Repositories

Showing 5 of 5 repositories
  • .github Public
    Dongle06/.github’s past year of commit activity
    0 0 0 0 Updated Jun 7, 2022
  • Dongle06/AI-Emotion’s past year of commit activity
    JavaScript 0 0 0 0 Updated May 28, 2022
  • AI-Pose Public
    Dongle06/AI-Pose’s past year of commit activity
    JavaScript 0 0 0 0 Updated May 26, 2022
  • Frontend Public
    Dongle06/Frontend’s past year of commit activity
    JavaScript 0 1 0 0 Updated May 26, 2022
  • Backend Public
    Dongle06/Backend’s past year of commit activity
    Python 0 0 0 0 Updated May 26, 2022

Top languages

Loading…

Most used topics

Loading…