본문으로 이동
Kim Jongwon
Projects

프로토타입 · 수상 프로토타입 · 2024.06 - 2024.09

Hearing-Assist Headset Prototype

STT 기반 착용형 알림 프로토타입

STT 기반 착용형 알림 프로토타입에서 디바이스 입력, 앱 알림, 진동 피드백을 구현했습니다.

Input

STT

생활 소리 입력을 텍스트로 변환

Logic

keyword

중요도 분류와 alert 조건

Output

app/vibration

앱 알림과 진동 피드백

헤드셋 내부에 장착된 음성 입력 모듈과 배선
헤드셋 내부 프로토타입

알림 동작

소리 입력부터 알림까지

생활 소리 입력을 STT → keyword 분류 → 앱/진동 알림으로 전달하는 동작 프로토타입이 필요했습니다.

작업 파트

  • 소프트웨어 동작 설계와 장치-앱 연동을 담당했습니다.
  • STT 처리 로직, keyword 기반 중요도 분류, 장치와 앱 사이 전달 방식을 맡았습니다.
  • 마이크 입력 장치와 처리 보드 구성을 점검하고 Android 앱 연동을 맞췄습니다.

핵심 결과

  • 창업경진대회 수상 및 전시
  • 생활 소리 입력 → STT → 중요도 분류 → 앱/진동 알림 로직 구현
  • 헤드셋 내부에 음성 입력/처리 모듈을 배치한 프로토타입

소리에서 알림까지

STT-to-alert 동작

생활 소리 입력부터 앱/진동 알림까지 도달하는 프로토타입 동작 순서입니다.

01

소리 입력

02

STT 변환

03

Keyword lookup

04

중요도 분류

05

앱/진동 알림

  • 생활 소리 입력 → STT 변환 → keyword lookup → 중요도 분류 → 앱/진동 알림을 단계별 동작 경로로 잡았습니다.
  • ReSpeaker Mic Array와 Raspberry Pi Pico 계열 모듈을 헤드셋 내부에 배치해 입력과 처리를 통합했습니다.
  • 앱 연동과 장치 간 통신을 맞추며 Android 동작 경로를 구현했습니다.
  • 수상 상장, 전시 부스, 발표 패널, 시연 영상, 내부 하드웨어 사진으로 결과를 제시했습니다.
STTKeyword ClassificationRaspberry Pi PicoAndroidDevice Communication

프로토타입 기록

전시와 프로토타입 시연

전시 부스, 발표 패널, 내부 구성, 시연 영상으로 STT-to-alert 동작을 제시합니다.

창업경진대회 전시 부스에 표시된 헤드셋형 알림 프로젝트명
창업경진대회 전시 부스
시연 영상에 담긴 헤드셋형 알림 프로토타입
시연 영상 프레임
ReSpeaker Mic Array 기반 내부 구성 사진
ReSpeaker Mic Array 내부 구성
Raspberry Pi Pico 기반 내부 구성 사진
Pico 모듈 내부 구성
프로토타입 시연 영상
2024 창업경진대회 수상 상장
창업경진대회 수상 이미지

동작 문서

알림 동작 정의

문서화된 STT, keyword, alert 순서를 구조화한 발췌입니다.

STT-to-alert flow definition

docs/03_system_design.md

input:
  source: 생활 소리
  device: 음성인식 모듈

processing:
  - stt: 음성을 텍스트로 변환
  - keyword_lookup: DB/keyword 기준으로 중요 정보 판별
  - priority: 중요도에 따라 알림 조건 결정

output:
  app: 판별 결과 전송
  vibration: 사용자에게 즉시 알림

시연 기록

수상·전시·구현 근거

STT 처리, 중요도 분류, 장치-앱 알림 결과를 동작 정의와 시연으로 검증했습니다.

입력-분류-알림 연결

  • STT 처리, keyword 분류, 앱 알림, 진동 피드백을 하나의 동작 경로로 구현했습니다.
  • 소프트웨어 동작 설계, STT/keyword 분류 로직, 장치-앱 연동 구현이 개인 기여 범위입니다.