작성일: 2025.11.27
첫 포스팅으로 졸업 프로젝트에 관한 글을 올리게 되었다.
먼저 우리 팀의 주제는
대학생 개발자 팀의 효율적인 협업을 위한 회의록 기반의 지능형 진척 관리 및 피드백 시스템
이다.
팀 프로젝트 협업 환경에서 가장 반복되는 작업 중 하나는 회의록 작성이다.
하지만 회의 내용을 모두 사람이 기록하고 정리하는 것은 시간이 오래 걸리고, 중요한 논의가 누락되거나 주관적 해석이 개입된다는 문제가 있다. 특히, 개발 프로젝트에 있어 대학생들은 익숙지 않고, 어려움을 겪기에 그에 대한 고민을 해결해줄 수 있는 방안이 뭐가 있을까 고민하다가 나온 주제다. 이를 위해 우리 사이트에서 회의록을 녹음 후 이를 자동 텍스트화 및 요약을 진행하고, 이를 액션 아이템, 즉 To-Do 화를 시키는 것이 프로젝트 주요 기능을 위한 제일 우선이 되어야 하는 흐름에 대한 부분이다.
이번 글에서는 우리가 졸업 프로젝트에서 직접 구현 중인 회의록 자동 생성 및 요약과 관련된 기술 파이프라인과 해당 기술을 위해 활용될 여러 STT 서비스들에 대해 말해보고자 한다.
회의록 자동 생성 및 요약 기술 파이프라인
1. 서비스 내 녹음 기능(Recording)
우리 서비스는 사용자가 별도 녹음 파일을 업로드할 필요가 없다.
회의 화면에서 바로 녹음 버튼을 누르면 음성이 수집되며, 회의가 끝나면 자동으로 서버에 저장된다.
- React.js 기반 프론트엔드에서 MediaRecorder를 활용해 녹음
- 녹음된 Blob 데이터를 Spring Boot 백엔드로 전송
- 백엔드는 파일을 임시 저장한 후 STT 처리 단계로 넘김
이 구조는 우리가 정의했던 문제 중 “회의 기록이 여러 툴로 흩어지는 문제”를 해결하는 첫 단계다.
녹음–전환–정리까지 모든 과정이 하나의 서비스에서 처리된다.
2. STT(Speech-to-Text) 변환 단계
(현재 STT 엔진은 비교 후 선정 예정)
녹음된 음성은 STT 엔진을 통해 텍스트로 변환된다.
우리는 현재 NHN, CLOVA 같은 국내 엔진부터 Google Cloud, Daglo까지
성능·가격·한국어 최적화 등 여러 기준으로 테스트 중이며,
최종적으로 하나의 엔진을 서비스에 탑재할 예정이다.
Spring Boot 백엔드에서는 다음 흐름으로 진행된다.
- 전송된 음성을 일시 저장
- STT API에 요청
- 회의 원문 텍스트 수신
- 텍스트를 DB(MySQL)에 저장
STT 품질은 이후 단계(요약·To-do 생성·진척 분석)에 크게 영향을 주기 때문에
정확한 한국어 인식이 가능한 엔진을 선정하는 것을 목표로 한다.
3. 텍스트 전처리(Text Preprocessing)
STT 결과는 바로 LLM에 넣기 어렵기 때문에
Spring Boot에서 텍스트 전처리 로직을 수행한다.
전처리 주요 기능은 다음과 같다.
- 구두점 복원 및 띄어쓰기 보정
- 불필요한 발화 제거(“음…”, “아…” 등)
- 문장 단위 재구성
- LLM 입력 길이(Limit)를 고려한 Chunk 분할
- 필요 시 화자 정보 구조화
이 단계는 전처리가 잘 될수록 요약 및 To-do 생성의 품질이 비약적으로 향상된다.
4. 회의 요약(Summarization)
전처리된 텍스트는 OpenAI API를 이용해 자동 요약된다.
우리 시스템은 다음 세 가지 형태의 요약을 생성한다.
- 전체 회의 요약
- 핵심 논의 정리(Key Points)
- 결정된 사항(Decisions Made)
이 구조는 페르소나가 원했던
“회의 내용을 한눈에 파악할 수 있는 기능”을 충족한다.
팀원들은 더 이상 긴 회의록 처음부터 끝까지 읽을 필요 없이, 혹은 회의들을 기억해내지 않아도
요약된 정보만 보고도 팀 상황을 쉽게 파악할 수 있다.
프롬프트 설계에는 역할 기반 프롬프트 + 조건 기반 구조화 요청이 사용되며,
이는 요약 품질의 안정성과 일관성을 유지하는 데 효과적이다.
5. Action Item(To-do) 자동 생성
요약 결과를 바탕으로
회의에서 나온 할 일(Action Item)을 자동으로 추출한다.
OpenAI API를 사용해 다음 항목을 발굴한다.
- 해야 할 업무(Task title)
- 담당자(owner)
- 데드라인(due_date)
- 우선순위(priority)
- 관련 논의 출처
이 정보는 JSON 형태로 구조화되어 저장되며, React.js UI에서 직관적인 To-do 리스트 형태로 확인할 수 있다.
이 기능은 우리가 정의했던 Pain Point 중
“회의 피드백이 문서에만 머물고 실행으로 이어지지 않는다” 는 문제를 해결하기 위한 핵심 기능이다.
또한 팀장 혹은 일부 팀원이 직접 정리하고 분배하던 업무를 시스템이 자동으로 제안해줘 관리 부담을 줄여준다.
6. 피드백 & 진척 관리 연계
To-do가 생성되면 Spring Boot 백엔드에서는 다음의 추가 로직을 수행하여 진척도를 계산하고 피드백을 생성한다.
- To-do 완료 여부 체크 (진척도 반영)
- 완료 속도 / 난이도 분석
- 일정 동기화 (Google Calendar API 이용)
- 성실도 기반 간단 피드백 생성(OpenAI API 연계)
“직관적인 진행 상황 확인”을 가능하게 한다.
또한 일정은 Google Calendar API와 동기화되면서 팀/개인 일정 관리의 단절 문제도 해결된다.
전체 파이프라인 요약
- 서비스 내 녹음 → React.js + 번들 저장
- STT 변환 → Spring Boot에서 API 요청 (엔진 미선정 상태)
- 텍스트 전처리 → 구두점·띄어쓰기·불필요 발화 제거
- 회의 요약 → OpenAI API 기반 자동 Summarization
- Action Item 생성 → 구조화된 To-do 자동 추출
- 진척 분석 & 일정 연계 → Google Calendar API + 진행률 분석
이 모든 데이터는 MySQL에 저장되며, React UI에서 가볍고 직관적인 형태로 확인할 수 있다.
Docker 및 vercel을 활용해 전체 서비스는 컨테이너 기반으로 배포될 예정이다.
다음으로는 현존하는 STT 서비스들의 특징 비교를 통해 우리팀이 최종적으로 사용할 수 있을 후보들을 리스트업 해보겠다.
STT 비교 분석
1) NHN Cloud Speech-to-Text
NHN Cloud는 한국어 최적화된 STT 엔진을 제공하는 대표적인 국내 클라우드 서비스다. 음성 파일 업로드 방식과 실시간 스트리밍 방식 모두 지원하며, 짧은 음성(싱크 방식)과 긴 음성(비동기 방식)을 구분해서 처리한다.
가격은 600초(10분)까지 무료, 이후에는 15초당 약 4원으로 비교적 저렴한 편이다.
성능은 자연스러운 대화·발화 위주의 음성에서 안정된 수준이며, 발음이 조금 빠르거나 잡음이 섞인 환경에서는 오류율이 다소 증가할 수 있다. 그래도 “한국어 특화 + 매우 저렴한 요금제”라는 장점 덕분에, 국내 사용자 중심의 서비스라면 도입 비용 부담이 거의 없다.
2) Naver CLOVA Speech
Naver CLOVA Speech는 국내에서 가장 널리 사용되는 상업용 한국어 STT 중 하나다. 네이버 검색 및 지도 사업에서 활용되는 음성 처리 기술을 기반으로 하고 있어, 한국어 정확도는 국내 서비스 중 최상위권으로 평가된다.
가격은 모델 종류에 따라 달라지지만 보통 15초 단위 과금으로 제공되며, NHN과 비슷하거나 조금 높은 수준이다. 화자 분리, 오디오/영상 자동 처리, 긴 음성 처리 기능이 모두 지원되어 범용성이 높다.
실제 벤치마크에서도 한국어 CER(문자 오류율)이 매우 낮은 편으로, 회의록 생성, 유튜브 자막, 서비스형 음성봇 등에서 많이 활용된다. 다만 가격이 아주 저렴한 편은 아니라서 대규모 음성을 장기간 처리해야 한다면 비용 부담이 생길 수 있다.
3) Google Cloud Speech-to-Text
Google Cloud Speech-to-Text는 전 세계적으로 가장 많이 사용되는 STT 서비스 중 하나로, 가장 다양한 언어와 포맷을 지원한다. 자동 구두점, 단어 레벨 타임스탬프, 화자 분리, 실시간 스트리밍 지원 등 기능적 완성도가 매우 높다.
가격은 분당 약 $0.016(표준 모델 기준)으로 중간 수준이지만, 대규모로 사용하면 할인되는 구조다.
한국어 인식률은 우수하지만, 한국어에 완전히 특화된 모델은 아니기 때문에 NHN, CLOVA처럼 한국어 환경에서 최상위 성능을 보이진 않는다.
그럼에도 불구하고, “한국어 + 영어 + 일본어 + 중국어 등 다양한 언어가 혼재된 환경”, “글로벌 인프라 기반 서비스”를 구축해야 한다면 가장 안정적인 선택지다.
4) Amazon Transcribe
Amazon Transcribe는 AWS 생태계와 자연스럽게 연동되는 STT 서비스로, 긴 음성 처리 및 기업용 기능(Compliance 기능, Medical 모델 등)이 잘 갖추어져 있다. 가격은 사용량 기반 과금으로, Google Cloud와 유사한 레벨이다.
한국어 성능은 글로벌 서비스 중에서는 준수한 편이며, 특히 긴 회의 음성에서 안정적인 결과를 낸다는 평가를 받는다. 다만 한국어 특화 모델이 있는 것은 아니기 때문에, 전문용어가 많거나 발음이 빠른 음성에서는 정확도가 낮아질 수 있다.
AWS 기반 인프라를 이미 사용하고 있다면 통합 관리 측면에서 장점이 크다.
5) Daglo STT
Daglo(다글로)는 최근 한국 개발자들 사이에서 주목받는 한국어 특화 STT 서비스다. 글로벌 STT 대비 한국어 발음 처리, 억양, 자모 변환 등에 최적화되어 있으며, 실사용 후기가 좋은 편이다.
가격은 초기 1시간 무료, 이후 시간당 과금 구조로 제공된다. 구체적인 비용이 NHN/CLOVA보다 높은 경우도 있지만, 한국어 정확도가 중요한 프로젝트에서는 좋은 선택지가 된다.
특히 Daglo는 짧은 문장·대화체·일상 발화에서 안정적이며, 빠른 처리 속도와 한국어 모델의 최적화가 장점이다. 아직 Google/AWS만큼의 대규모 기능(화자 분리, 대형 파일 처리 등)은 부족한 면이 있지만, 한국어 정확도 + 간결한 요금 구조 때문에 회의록 자동화, 인터뷰 전사, 학습용 데이터셋 제작 등에서 많이 사용된다.
정리해보자면
- 가격이 가장 중요한 국내 프로젝트
→ NHN Cloud (가장 저렴 + 한국어 무난) - 한국어 인식률 최우선 + 안정적인 STT 엔진
→ Naver CLOVA Speech - 글로벌 환경 + 여러 언어 + 대규모 서비스 구축
→ Google Cloud Speech-to-Text - AWS 기반 인프라 사용 / 긴 음성 처리 중요
→ Amazon Transcribe - 한국어 발화 정확도 + 빠른 처리 속도 + 개발 편의성
→ Daglo
팀원들과 더 얘기를 해서 최종 확정을 지어야겠지만 총 정리를 해보자면,
한국어 대화를 주로 하되, 영어로 된 용어로 소통이 잦은 "개발" 도메인이라는 점을 상기시켜 해당 특징을 잘 고려해 정해봐야 할 것 같다.