문제 1: LLM이 JSON 대신 마크다운을 뱉어버렸다AI 분석이 간혹 가다 실패하기 시작했습니다. JSON을 달라고 했는데 마크다운으로 답변하고 있었습니다.원인 분석Qwen3 14B 모델은 "thinking 모드"를 지원합니다. 사고 과정을 ... 태그 안에 쓰고, 그 다음에 JSON 응답을 줍니다. 그런데 간헐적으로 JSON 대신 마크다운으로 응답하는 경우가 생겼습니다.해결: 정규표현식 폴백 파서JSON 파싱 실패 시 마크다운에서 직접 데이터를 추출하는 폴백 로직을 추가했습니다. 정규표현식으로 "추천: BUY", "신뢰도: 75%" 같은 패턴을 찾아서 JSON으로 변환합니다.JSON 파싱 성공률이 82% → 98%로 올라갔습니다.문제 2: LLM 환각으로 감시 종목 절반을 매칭해버림"반도체 업황 호조..

AI가 과거를 기억하지 못한다초기 시스템의 치명적인 약점이 있었습니다. AI가 실시간으로 들어오는 정보만 보고 판단한다는 거예요.예를 들어 텔레그램 채널에서 이런 메시지들이 왔다고 가정해봅시다:월요일 오전: "삼성전자 분석 - 반도체 업황 회복 조짐, 목표가 85,000원"월요일 오후: "삼성전자 실적 발표 예정, 컨센서스 상회 전망"화요일 오전: "삼성전자 추가 매수 의견, 기술적 지지선 돌파"수요일: "삼성전자" (단 3글자만) AI는 수요일 메시지를 볼 때 이전 3일간의 맥락을 전혀 모릅니다. 단순히 "삼성전자"라는 키워드만 보고 분석하죠. 당연히 정확도가 떨어질 수밖에 없습니다.RAG 구축RAG는 간단히 말하면 "관련 있는 과거 정보를 찾아서 AI에게 함께 제공하는 기술"입니다. 이를 위해선 벡터..

나의 로컬 LLM은?사실 첫번째엔 Gemma3를 쓰고자 하였습니다.근데 AI가 Gemma3 보다는 qwen을 추천한데요... 저보다 똑똑한 AI가 하는 말을 믿고 모델을 변경하였습니다. 와 동시에 vLLM에서 Ollama로 프레임워크를 변경하였습니다.사유는 vLLM으로 동일 모델을 Windows 환경에서 구동하기 위해서는 WSL Linux에서 구동하거나 Docker를 이용하는 것이었습니다. 하지만 Docker로 구동을 하니 GPU 액셀러레이션을 제대로 활용하지 못해 속도가 굉장히 느렸습니다. (Linux OS 였다면 vLLM으로 했을 것입니다) 최종적으로 Ollama를 사용해서 Qwen3 14B 모델을 로컬 서버에서 실행합니다.ollama run qwen3:14b 응답 속도는 0.5초 이하, 비용은 전기..