GGUF_CONVERSION_INSTRUCTIONS.md

GGUF 변환 안내

이 모델의 GGUF 버전을 생성하려면 다음 단계를 따르세요:

자동 변환 실패

자동 GGUF 변환이 실패했습니다. 수동으로 변환해주세요.

방법 1: llama.cpp 사용

# llama.cpp 설치
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_CUBLAS=ON
cmake --build . --config Release

# 변환 실행
cd ..
python convert_hf_to_gguf.py ./models/agent2_safetensor --outdir ./gguf_output

방법 2: Python 스크립트만 사용

# 필요한 패키지 설치
pip install gguf numpy torch

# 스크립트 다운로드
wget https://raw.githubusercontent.com/ggerganov/llama.cpp/master/convert_hf_to_gguf.py

# 변환 실행
python convert_hf_to_gguf.py ./models/agent2_safetensor --outdir ./gguf_output

원본 모델 경로

SafeTensor 버전: ./models/agent2_safetensor

변환 완료 후 이 폴더의 내용을 GGUF 파일로 교체해주세요.