나의 로컬 LLM은?사실 첫번째엔 Gemma3를 쓰고자 하였습니다.근데 AI가 Gemma3 보다는 qwen을 추천한데요... 저보다 똑똑한 AI가 하는 말을 믿고 모델을 변경하였습니다. 와 동시에 vLLM에서 Ollama로 프레임워크를 변경하였습니다.사유는 vLLM으로 동일 모델을 Windows 환경에서 구동하기 위해서는 WSL Linux에서 구동하거나 Docker를 이용하는 것이었습니다. 하지만 Docker로 구동을 하니 GPU 액셀러레이션을 제대로 활용하지 못해 속도가 굉장히 느렸습니다. (Linux OS 였다면 vLLM으로 했을 것입니다) 최종적으로 Ollama를 사용해서 Qwen3 14B 모델을 로컬 서버에서 실행합니다.ollama run qwen3:14b 응답 속도는 0.5초 이하, 비용은 전기..