Vision AI와 실시간 원격 제어 기술을 결합하여
감염 위험으로 고립된 소아암 환아를 세상과 다시 연결하는 휴머노이드 케어 로봇입니다.
프리 버퍼링(Pre-buffering) 기술로 아이의 놓치기 쉬운 웃음의 맥락까지 포착하여 소중한 순간을 기록하고,
양방향 체조 인터랙션을 통해 아이들의 신체 및 정서적 건강을 지원합니다.
불안정한 네트워크 환경에서도 지연 없는(Low-latency) 소통을 보장하여,
물리적 거리를 넘어 마음까지 이어주는 진정한 친구가 되어줍니다.
- 📅 개발 기간 : 2025.10.14 ~ 2025.11.23 (6주)
- 💻 플랫폼 : Web / Mobile / Robotics
- 👨👩👦👦 개발 인원 : 6명
- 🏢 주관 : 삼성 청년 SW·AI 아카데미 13기
이혜원 (팀장) |
김민규 |
임성룡 |
|
- 인프라 및 CI/CD 파이프라인 구축·운영 - 하드웨어 3D 모델링 및 CAD 설계 - 아두이노 기반 목/척추 제어 및 MQTT 통신 로직 설계 |
- ROS, MoveIT, Rviz, Isaac Sim, Isaac Lab 활용 제어 시뮬레이션(R&D) - Python 기반 로봇팔 제어 및 MQTT 통신 로직 설계 - 3D 모델 슬라이싱 및 출력 |
- 라즈베리파이 카메라 OpenVidu 서버 송출 환경 구축 - 미소 탐지, 체조 탐지 AI 모델 개발 - STT, TTS 모델 개발 및 S3 영상/썸네일 저장 로직 구현 |
조우영 |
남다현 |
천광민 |
|
- 서비스 기획 및 프로젝트 관리 - Oauth2 기반 소셜 로그인 구현 - ERD 설계 및 REST API 구현(S3 연동, 회원 관리 등) - 실시간 로봇 데이터 통신 트래픽 관리 |
- Three.js 기반 실시간 3D Monitoring Dashboard 개발 - MQTT/WebSocket 활용 로봇-대시보드 상태 동기화 - OpenVidu 기반 실시간 스트리밍 FE 연동 - 프로젝트 메인 발표 |
- 모바일 UI/UX 설계 및 구현 - OpenVidu 기반 실시간 스트리밍 모바일 연동 - 발표 자료 제작 |
| 구분 | 사용 기술 |
|---|---|
| Language | C/C++, Python |
| Development Tools | Visual Studio Code, Arduino IDE, Isaac Sim, Isaac Lab |
| Microcontroller | STM32 (Cortex-M), ESP32 (Dual-core Xtensa LX6, WiFi 802.11 b/g/n) |
| SBC | Raspberry Pi (Python 3.11, Python 3.13, Picamera2, libcamera) |
| Hardware & Robotics | DOFBOT 6-DOF Robot Arm x2, Servo Motors (ESP32Servo, PWM Control) |
| Arduino Libs | FastLED, PubSubClient, ArduinoJson, ESP32Servo |
| Python Libs | OpenCV, Arm_Lib, PySerial |
| Communication | MQTT over WiFi (JSON payload), Serial (UART/USB) |
| Features | Servo Control, LED Facial Expression, Dual Robot Arm Control, Face Tracking |
| 구분 | 사용 기술 |
|---|---|
| PID Controller | Face Tracking Servo Control, Stable Position Control |
| Easing Functions | Smooth Motion Animation, Natural Movement |
| State Machine | JRobot Action Flow Control, Command Preemption |
| Async Processing | Python asyncio, aiomqtt, Threading, Subprocess |
| 구분 | 사용 기술 |
|---|---|
| Language | Python 3.12 |
| Vision | OpenCV (cv2), MediaPipe |
| AI API | OpenAI Whisper (STT), OpenAI TTS, Porcupine (Wake Word Detection) |
| Video Processing | aiortc (WebRTC), PyAV (FFmpeg Binding) |
| Detection | Haar Cascade Face Detection, MediaPipe Face Landmarker, Gesture Recognition |
| Features | Real-time Face Tracking, Gesture Recognition, Speech-to-Text, Text-to-Speech, Wake Word Detection |
| Runpod |
|
| 구분 | 사용 기술 |
|---|---|
| Protocols | HTTP/HTTPS, WebSocket, MQTT (QoS 0), WebRTC |
| Data Formats | JSON, Base64, JPEG, MP4/WebM |
| Security | JWT, OAuth 2.0, CORS, TLS/HTTPS |
| 구분 | 사용 기술 |
|---|---|
| Language | Python 3.12 |
| IDE | Visual Studio Code 1.106.2 |
| Framework | FastAPI 0.120.3 |
| Library | Pydantic, SQLAlchemy, PyJWT, dependency-injector, aiomqtt, boto3, OpenAI |
| Runtime | Uvicorn (ASGI Server) |
| Features | STT/TTS (OpenAI Whisper), MQTT Messaging, S3 File Management, JWT Auth |
| 구분 | 사용 기술 |
|---|---|
| Language | Java 17 |
| IDE | IntelliJ IDEA 2025.2.4 (Ultimate Edition) |
| Framework | Spring Boot 3.5.6 |
| Library | Spring Security, Spring Data JPA, OAuth2, JWT |
| Build Tool | Gradle |
| Feature | Member Management, OAuth2 Social Login, Channel & Media Management, JWT Auth |
| 구분 | 사용 기술 |
|---|---|
| Language | TypeScript v5 |
| Runtime Environment | Node.js v22 |
| IDE | Visual Studio Code 1.106.2, WebStorm 2025.2.4 |
| Framework | React v18/19 |
| Library | React Router DOM, React Three Fiber, @react-three/drei, MQTT.js, @stomp/stompjs, Axios, JWT-decode, @lottiefiles/dotlottie-react |
| Build Tool | Vite v5 |
| Styling | TailwindCSS v4 |
| 3D Graphics | Three.js, React Three Fiber, Postprocessing |
| PWA | vite-plugin-pwa, Workbox |
| Features | Mobile PWA App, 3D Robot Visualization Dashboard, Real-time MQTT/WebSocket Communication |
| ✅ Jenkins Pipeline Success | ❌ Jenkins Pipeline Failure |
 |
 |
| 🔀 Merge Request Notification | ✍️ AI Code Analysis |
 |
 |
| 📺 실시간 영상 스트리밍 | 📸 스마일 앨범 (자동 포착) |
|---|---|
|
|
| 📊 실시간 데이터/영상 관제 | 🧊 3D Digital Twin (실시간 동기화) |
|
|
| 🧘♀️ AI 기반 체조 | 🗣️ STT & TTS 음성 대화 |
|
|
| 🤗 상호작용 감정 표현 | 🌱 생동감 있는 대기 모드 |
|
|
※ "AI 기반 체조", "STT & TTS 음성 대화" 의 경우 이미지를 클릭하면 상세 영상 파일 경로로 이동합니다.
※ 각 산출물의 이미지를 클릭하면 상세 노션 페이지 및 연계 사이트로 이동합니다.
