htlee
e797beaac6
- Ollama Docker(14b/32b) + Redis 컨텍스트 캐싱 + 대화 히스토리 - Python SSE 채팅 엔드포인트 + 사전 쿼리 + Tool Calling - 도메인 지식(해양법/어업협정/알고리즘) + DB 스키마 가이드 - Frontend SSE 스트리밍 + 타이머 + thinking 접기 + 확장 UI
22 lines
487 B
YAML
22 lines
487 B
YAML
services:
|
|
ollama:
|
|
image: ollama/ollama:latest
|
|
container_name: kcg-ollama
|
|
restart: unless-stopped
|
|
ports:
|
|
- "11434:11434"
|
|
volumes:
|
|
- /home/kcg-ollama/data:/root/.ollama
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
memory: 64G
|
|
reservations:
|
|
memory: 40G
|
|
environment:
|
|
- OLLAMA_NUM_PARALLEL=4
|
|
- OLLAMA_MAX_LOADED_MODELS=1
|
|
- OLLAMA_KEEP_ALIVE=24h
|
|
- OLLAMA_FLASH_ATTENTION=1
|
|
- OLLAMA_NUM_THREADS=48
|