Công cụ MMAudio hỗ trợ tạo âm thanh từ các nguồn: video, image, text.
Yêu cầu môi trường, phần cứng:
- Phần cứng: Cần có card đồ hoạ có tối thiểu 6GB Vram trở lên
- Phần mềm: conda, pip, python (Link download và cài đặt conda https://www.anaconda.com/download/success)
- Ổ đĩa lưu trữ: tối thiểu 10GB trống
Các bước cài đặt
Từ cửa sổ command line, chạy lần lượt các lệnh sau:
- conda create –name mmaudio python=3.9
- conda activate mmaudio
- pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118 –upgrade
- git clone https://github.com/hkchengrex/MMAudio.git
- cd MMAudio
- pip install -e .
- python gradio_demo.py
Sử dụng
- Prompt ví dụ đối với các video tương ứng trong tài liệu hướng dẫn (https://drive.google.com/drive/folders/1xXZ2RhDCPYn8_KpNcuVjG_9xhK54y67w?usp=drive_link)
- sound of knife cutting vegetables on wooden cutting board (Tiếng dao cắt rau trên thớt gỗ)
- The sizzling sound of food when stir-frying on a gas stove (âm thanh xèo xèo của thức ăn khi xào đồ ăn trên bếp ga)
Từ lần chạy tiếp theo, chạy các lệnh sau từ cửa sổ cmd tại vị trí thư mục MMAudio trên máy
- cd MMAudio
- conda activate mmaudio
- python gradio_demo.py
Chi tiết hướng dẫn trong video:
HMT*