커밋 그래프

24 커밋

작성자 SHA1 메시지 날짜
8f784de358 feat(batch): 비정상 궤적 포함 저장 플래그 추가 — 강화학습 데이터 수집용
GPS 스푸핑 등 비정상 운항 패턴의 강화학습 분류기 고도화를 위해,
비정상 궤적을 정상 테이블(5min/hourly/daily)과 캐시(L1/L2)에도
포함 저장하는 설정 플래그 추가.

- vessel.batch.track.include-abnormal-in-tracks 플래그 (기본 false)
- 5min: isAbnormal 시에도 filteredTracks에 포함 (플래그 true)
- Hourly/Daily: correctedTrack null 시에도 originalTrack 포함 (플래그 true)
- 비정상 검출 + t_abnormal_tracks 기록은 플래그와 무관하게 항상 유지
- prod 환경 true 설정 (강화학습 데이터 수집)

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-27 08:06:29 +09:00
971f7bae11 chore: AIS API 접속 계정 변경
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-19 07:46:56 +09:00
7d320b24a8 fix: AIS API 계정 롤백 — 신규 계정 응답 없음 (#107) 2026-03-17 09:29:18 +09:00
27515e6452 chore: prod AIS API 접속 계정 변경 (#105) 2026-03-17 08:41:16 +09:00
9ffaf35aeb chore: 운영 로그 레벨 정리 + daily 파티션 영구 보존
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-09 06:05:10 +09:00
0a0109fa7e feat: L3 Daily 캐시 DP 사전 간소화 + 14일 확대
- CacheTrackSimplifier: simplifyDpOnly() (DP-only 간소화), recalculateSpeeds() (Haversine 속도 재계산) 추가
- DailyTrackCacheManager: loadDay() 시 DP 사전 간소화 적용 (tolerance=0.001, ~100m)
- Daily 캐시 retention 7→14일, maxMemory 6→10GB
- Query/Batch DataSource: work_mem 256MB, synchronous_commit off 세션 튜닝

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-08 09:21:00 +09:00
322b04b309 feat: 캐시 O(1) 조회 + 메모리 예산 관리 + L2 블록 간소화 포팅
Phase 1: L1/L2/L3 캐시 키 기반 직접 O(1) 조회 (전체 스캔 대체)
Phase 2: 64GB JVM 메모리 예산 논리적 파티셔닝 (캐시 35GB/쿼리 20GB)
Phase 3: L2 HourlyTrackCache 6시간 경과 엔트리 Nth-point 간소화

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-02 00:07:31 +09:00
8a5e77ab80 fix: 캐시 maxSize 설정 경로 수정 — application.yml이 실제 소스
application-prod.yml의 five-min-track/hourly-track가 app.ais-api 아래에
잘못 중첩되어 적용되지 않았음. application.yml의 app.cache 아래가 실제
@Value가 읽는 경로이므로 해당 파일을 수정.

- L1: 700K→1.5M, L2: 1.4M→3.5M (application.yml)
- application-prod.yml: 잘못된 중첩 제거

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 20:52:55 +09:00
9774a75988 fix: L1/L2 캐시 maxSize 상향 + AisTarget hitRate 타입 수정
- L1(5분): 700K→1.5M (실측 612K, 87% 포화 → 41%)
- L2(시간): 1.4M→3.5M (실측 1.27M, 91% 포화 → 36%)
- AisTarget hitRate: String("64.41%") → double(64.41)
  프론트엔드 .toFixed() 호출 시 타입 에러 수정

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 20:47:14 +09:00
4b8b48e494 perf: L1/L2 캐시 maxSize 상향 (실측 기반)
- L1 FiveMinTrackCache: 500K→700K (실측 504K, 30% 여유)
- L2 HourlyTrackCache: 780K→1.4M (실측 1.08M, 30% 여유)
- 기존 산정: 30K MMSI × 버킷 → 실측: 190K MMSI (6.3배 과소 산정)
- L2 메모리 영향: +1.5GB (총 8.6GB, 힙 20~24GB 기준 36~43%)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 19:09:29 +09:00
61d68bb57b chore: AIS API 인증 정보 추가 (prod)
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 18:08:26 +09:00
dd694bdcbb feat: React 19 SPA Dashboard Phase 1 + 안전 배포 시스템
## React SPA Dashboard
- React 19 + Vite 7 + Tailwind CSS 4 + Recharts 2 SPA 구축
- Dashboard (배치현황/시스템메트릭/캐시/처리량) + JobMonitor (이력조회/Step상세)
- i18n 다국어(ko/en) 시스템, Light/Dark 테마 CSS 토큰 전환
- frontend-maven-plugin 1.15.1 (mvn package 시 자동 빌드)
- WebViewController SPA forward + context-path /signal-batch
- 레거시 HTML 48개 파일 전체 삭제

## 안전 배포
- VesselBatchScheduler @PreDestroy: 신규 Job 차단 + 실행 중 Job 완료 대기
- server.shutdown=graceful, timeout-per-shutdown-phase=3m
- deploy.yml: 활성 Job 3초 연속 확인 후 stop → 교체 → start
- signal-batch.service TimeoutStopSec 60→180
- scripts/deploy.sh: 수동 배포용 안전 스크립트

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 17:05:38 +09:00
2838af323b ci: Gitea Actions CI/CD 파이프라인 + systemd 서비스 구성
- .gitea/workflows/deploy.yml: main push → 빌드 → SSH 배포 → 헬스체크
  - JDK 17 + Maven 빌드, JAR 원자적 교체, 백업 5세대 유지
  - 90초 startup 대기 (64GB 힙 AlwaysPreTouch)
- deploy/signal-batch.service: systemd 유닛 파일
  - 64GB 힙, G1GC 24 병렬스레드, GC 로그 5×100MB 로테이션
  - on-failure 자동 재시작, graceful shutdown (SIGTERM 60s)
- application-prod.yml: 64코어/250GB 서버 최적화 (파티션 32, 커넥션 풀 정리)
- 미사용 프로필 삭제: application-dev.yml, application-prod-mpr.yml, application-query.yml

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 14:30:02 +09:00
cf48cc94c7 feat: 다계층 인메모리 캐시(L1/L2/L3) 조회 통합 + CACHE-MONITOR 로그
L1(5min) + L2(hourly, 신규) + L3(daily) 3계층 캐시로 오늘 범위 조회를
DB 쿼리 대신 인메모리 캐시에서 처리하도록 전환.

신규:
- HourlyTrackCache: Caffeine L2 캐시 (TTL 26h, 780K entries)
- CacheWarmupService: L1/L2/L3 통합 비동기 워밍업
- VesselTrackToCompactConverter: VesselTrack → CompactVesselTrack 변환

변경:
- GisServiceV2: todayRange → hourlyRange(L2) + fiveMinRange(L1) 캐시 우선 조회
- DailyTrackCacheManager: SplitQueryResult에 hourlyRange/fiveMinRange 분리
- CompositeTrackWriter: hourly 저장 시 L2 캐시 동시 적재
- HourlyAggregationJobConfig: hourly 완료 → L1 cleanup 리스너
- DailyAggregationJobConfig: daily 완료 → L2 cleanup 리스너
- AsyncConfig: cacheWarmupExecutor 전용 스레드 풀 추가
- [CACHE-MONITOR] 임시 모니터링 로그 9개 파일 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 13:29:06 +09:00
2e9361ee58 refactor: SNP API 전환 및 레거시 코드 전면 정리
- CollectDB 다중 신호 수집 → S&P Global AIS API 단일 수집으로 전환
- sig_src_cd + target_id 이중 식별자 → mmsi(VARCHAR) 단일 식별자
- t_vessel_latest_position → t_ais_position 테이블 전환
- 레거시 배치/유틸 ~30개 클래스 삭제 (VesselAggregationJobConfig, ShipKindCodeConverter 등)
- AisTargetCacheManager 기반 캐시 이중 구조 (최신위치 + 트랙 버퍼)
- CacheBasedVesselTrackDataReader + CacheBasedTrackJobListener 신규 추가
- VesselStaticStepConfig: 정적정보 CDC 변경 검출 + hourly job 편승
- SignalKindCode enum: vesselType/extraInfo 기반 선종 자동 분류
- WebSocket/STOMP 전체 mmsi 전환 (StompTrackStreamingService ~40곳)
- 모니터링/성능 최적화 코드 mmsi 기반 전환
- DataSource 설정 통합 (snpdb 단일 DB)
- AreaBoundaryCache Polygon→Geometry 캐스트 수정 (MULTIPOLYGON 지원)
- ConcurrentHashMap 적용 (VesselTrackStepConfig 동시성 버그 수정)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-19 09:59:49 +09:00
LHT
28e6887379 fix: WebSocket OOM 방지 — 버퍼 256MB→2MB + 힙 기반 Admission Control
근본 원인: maxTextMessageBufferSize=256MB가 세션당 Humongous 객체 유발
- 100세션 × 256MB = 25.6GB G1GC 회수 불가 Humongous 리전 누적 → OOM

변경 내역:
- WebSocketStompConfig: 컨테이너 버퍼 256MB→2MB, SockJS stream 100MB→5MB
- WebSocketProperties: sendBuffer 256→50MB, outboundQueue 5000→200, msgLimit 50→2MB
- YAML(prod/prod-mpr/query): websocket.transport 섹션 명시적 추가
- ActiveQueryManager: 힙 사용률 85% 초과 시 쿼리 대기열 전환
- ChunkedTrackStreamingService: 중간 컬렉션 clear()/null 즉시 해제
- GisServiceV2: 캐시 원본 보호 toBuilder().build() + 중간 컬렉션 해제
- StompTrackController: activeSessions COMPLETED/ERROR 시 자동 제거
- AsyncConfig: 스레드풀 core 40→15, max 120→30

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-12 16:37:48 +09:00
LHT
1480990f4f feat: REST V2 캐시 우선 조회 + Semaphore 부하 제어 + 응답 포인트 상한
- POST /api/v2/tracks/vessels: DailyTrackCacheManager 캐시-DB 분리 조회
- 모든 V2 항적 엔드포인트에 ActiveQueryManager 공유 Semaphore 적용
- 포인트 버짓: 총 포인트 초과 시 비율 기반 균등 분배 간소화
- prod/prod-mpr/query 프로파일에 rest.v2.query 설정 추가
- 원격 DB 필요 테스트 @Disabled 처리, Maven Wrapper/gitattributes 정비

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-11 06:43:02 +09:00
121a7b7d01 fix: 배치 Job 0건 처리 버그 수정 (메모리 최적화가 배치 데이터 삭제)
PerformanceOptimizationManager.performMemoryOptimization()에서
vesselDataHolder.clear()를 제거하여 배치 실행 중 로드된 데이터 보호.
DailyTrackCache 4.3GB 상주로 메모리 83% → 70% 임계값에서 매번 트리거되어
방금 로드한 24K건 배치 데이터가 GC로 소실되던 문제 해결.

변경사항:
- performMemoryOptimization(): vesselDataHolder/vesselTrackDataHolder.clear() 제거
- beforeJob 메모리 임계값: 70% → 90%
- afterChunk 긴급 최적화 임계값: 85% → 95%
- 캐시 메모리 한도: 5GB → 6GB (일 평균 ~720MB × 7일 = ~5GB)
- .gitignore에 *.log 추가, 로그 파일 트래킹 제거

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-07 09:37:16 +09:00
e729316edf feat: IntegrationVessel 전용 DataSource 지원 및 프로파일 호환성 보장
- IntegrationVesselService에 전용 DataSource 자체 생성/관리 추가
  - vessel.integration.datasource.* 설정으로 별도 DB 연결 가능
  - @PostConstruct에서 경량 HikariDataSource 생성 (max 3, min 1)
  - 미설정 시 queryDataSource 자동 폴백 (기존 동작 유지)
- prod: 별도 DB (mdadb2 gis.t_ship_integration_sub) → 전용 DataSource
- dev/prod-mpr: queryDB signal 스키마 → queryDataSource 폴백
- 기존 DataSourceConfig 4개 파일 수정 없이 프로파일 완벽 호환

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-07 07:23:44 +09:00
7bd7bf556e feat: 대기열 기반 쿼리 관리 및 타임아웃 최적화 (Phase 5)
- 거부 대신 대기열 순번 안내: QUEUED 상태 2초 간격 전송 (최대 2분)
- QueryStatusUpdate에 queuePosition, totalInQueue 필드 추가
- ActiveQueryManager: ConcurrentLinkedQueue 기반 대기열 추적
- WebSocketProperties에 SessionProperties 추가 (타임아웃/하트비트 설정)
- WebSocketStompConfig: 하드코딩 → Properties 주입으로 전환
- application-prod.yml: Query풀 180, global 60, idle 15s, heartbeat 5s
- AsyncConfig: core 40, max 120, queue 100 (대기열 수용)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-06 15:34:02 +09:00
122a247faf perf: DB 커넥션 풀 재분배 (총 250개, prod 환경)
Phase 1.4: DB 서버 500개 중 250개를 보수적으로 할당
- Query: 60 → 120 (min 20) — WebSocket 스트리밍 + REST API 주 사용 (48%)
- Collect: 20 → 80 (min 15) — 배치 Reader, 신호 수집 조회 (32%)
- Batch: 20 → 30 (min 5) — Spring Batch 메타데이터 (12%)
- 예비: 20개 (8%) — 운영 여유분

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-06 13:38:15 +09:00
78ff307785 feat: 글로벌 동시 쿼리 제한(Semaphore) 및 쿼리 완료 시 리소스 반환 보장
Phase 1.1 + 1.2: WebSocket 리플레이 요청 동시 부하 제어
- ActiveQueryManager에 Fair Semaphore 기반 글로벌 동시 쿼리 제한 추가 (기본 30개)
- @Async 스트리밍 메서드 내에서 슬롯 획득 (인바운드 채널 블로킹 방지)
- 쿼리 완료/실패/취소 시 finally 블록에서 반드시 리소스 반환
  - 글로벌 Semaphore 슬롯 반환
  - 세션별 쿼리 카운트 감소 (기존 누락 수정)
  - ActiveQueryManager 쿼리 정리
- TrackQueryInterceptor 세션 제한값 외부 설정화 (@Value)
- application-prod.yml에 websocket.query 설정 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-06 13:36:10 +09:00
89482d854f feat: Add V2 REST API with WebSocket-compatible responses
- Add GisControllerV2/GisServiceV2 for CompactVesselTrack responses
- Add nationalCode and shipKindCode fields to REST API responses
- Add flexible DateTime parsing support (multiple formats)
- Add TrackConverter utility for track data conversion
- Update SwaggerConfig with V2 API endpoints and unified tags
- Update ProdDataSourceConfig for prod-mpr profile support
- Enhance Swagger documentation for all DTOs
2026-01-20 13:38:31 +09:00
2a708b3318 Initial commit 2025-11-19 16:03:16 +09:00