About audiomix

가사와 스타일 프롬프트로 한국어 풀송을 만드는 AI 작곡 서비스. 사이드 프로젝트로 만들어진 ACE-Step 기반 데모입니다.

프로젝트 개요

오픈소스 음악 생성 모델 ACE-Step의 한국어 특화 버전을 만들기 위해 시작된 사이드 프로젝트입니다. 한국어 음원 데이터셋을 직접 수집/전처리하고, LoRA 파인튜닝으로 한국어 발음과 K-스타일 장르를 학습시켰습니다.

어떻게 동작하나요

  1. 1

    가사 자동 작성

    주제 + 스타일을 받아 로컬 LLM(Ollama)이 한국어 가사를 작성합니다.

  2. 2

    ACE-Step 추론

    가사 + 스타일 프롬프트를 ACE-Step에 넘기고, 한국어 LoRA를 적용해 풀송 wav를 생성합니다.

  3. 3

    저장 + 스트리밍

    생성된 wav는 객체 스토리지에 업로드되고, 브라우저에서 바로 재생할 수 있는 URL이 반환됩니다.

기술 스택

음악 모델

ACE-Step + Korean LoRA

가사 LLM

Ollama (qwen2.5)

추론 호스팅

Google Colab (A100)

백엔드 API

FastAPI + RQ + Redis

저장소

PostgreSQL + MinIO/S3

프론트엔드

Next.js 15 + Tailwind v4

데이터 + 학습

한국 음원 100여 곡 (발라드, K-pop, 인디 포크, R&B 등)에서 보컬을 분리하고(demucs) 가사를 자동 추출한 뒤(faster-whisper) 학습 데이터셋으로 변환했습니다.

ACE-Step 베이스 모델을 LoRA(rank 256)로 파인튜닝, A100에서 약 1시간 학습. 추론 시 LoRA weight를 0~1.5 범위로 조절해 한국어 색채 강도를 튜닝할 수 있습니다.

참고 / 크레딧

상용 음원으로 학습된 비공개 PoC로, 일반 공개 / 상업 배포 의도가 없습니다.