커밋 그래프

41 커밋

작성자 SHA1 메시지 날짜
875ef2b7bc refactor: AIS 수집 및 서비스 API 제거 (#99)
- aistarget, aistargetdbsync 패키지 전체 삭제 (34개 파일)
- Kafka, JTS 의존성 제거
- API URL 환경별 중복 제거 (application.yml 공통 관리)
- 프론트엔드 AIS 필터 버튼 제거

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-25 16:55:11 +09:00
b7d71d4220 feat(log-cleanup): 배치 로그 관리 정책 수립 및 정리 배치 작업 개발
- LogCleanupJob: 보존 기간 초과 배치 로그 삭제 Tasklet Job
- 대상: batch_api_log(30일), Spring Batch 메타(90일),
  batch_failed_record/RESOLVED(90일), batch_recollection_history(90일)
- application.yml에서 테이블별 보존 기간 설정 가능

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-25 16:07:20 +09:00
7474882aa9 feat(risk): RiskRangeImportJob API URL 변경 및 저장 테이블 통합
- API: UpdatedRiskList → UpdatedRiskWithNarrativesList
- Writer: RiskDataWriter → RiskDetailDataWriter (tb_ship_risk_detail_info)
- risk-compliance-001 테이블 변경, risk-detail-001 제거
- Service WebClient 버퍼 256MB 확장 + 타임아웃 추가
2026-03-24 14:20:40 +09:00
757eb2617d feat(imometa): IMO Meta Table 관리 배치 작업 개발
Step 1: GetAllIMONumbers API → tb_ship_default_info UPSERT (17만건)
Step 2: GetAllIMONumbersToDelete API → umnged_ship_flag = 'Y' UPDATE

Closes #80

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-24 12:50:51 +09:00
324d20f874 feat(risk): Risk 상세 데이터 수집 배치 프로세스 추가 (RisksByImos API)
tb_ship_risk_info에서 전체 IMO 조회 → 파티션 병렬 처리로
RisksByImos API 호출 → tb_ship_risk_detail_info에 INSERT

Closes #65

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-24 11:01:32 +09:00
59ecdd851e feat(shipdetail): 선박제원정보 배치 작업 병렬화 (Partitioned Step)
- IMO 목록을 N개 파티션으로 분할하여 병렬 API 호출
- ImoFetchTasklet으로 IMO 조회 단계 분리
- sourceStepExecutionId → sourceJobExecutionId 마이그레이션
- afterFetch 중복 실행 방지 플래그 추가
- partition-count 설정 외부화 (dev:2, prod:4)
2026-03-20 16:15:05 +09:00
3f0548e5e4 refactor(config): API 인증정보 공통화 및 미사용 설정 제거 (#59)
- ship-api.username/password → api-auth.username/password 공통 설정으로 이동
- 환경별 파일(dev/prod)에서 중복 인증정보 제거
- 미사용 app.batch.api.url/timeout 설정 제거
- MDA 전용 설정파일(application-qa.yml) 삭제
2026-03-17 16:19:28 +09:00
c2ea331b20 fix(스케줄러): Quartz JDBC Store 미적용 수정 — RAMJobStore에서 JDBC Store로 전환 (#12)
- QuartzConfig에 DataSource/QuartzProperties 명시적 주입 (커스텀 빈이 auto-config을 비활성화하는 문제)
- initialize-schema를 never로 변경 (수동 DDL 관리)
- std_snp_data 스키마용 Quartz DDL 스크립트 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-16 17:49:50 +09:00
4bed98dbc8 feat: 스키마명 변경 (t_std_snp_data → std_snp_data, t_std_snp_svc → std_snp_svc)
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-05 11:09:56 +09:00
7ffb8b70ae feat: 선박 AIS 마지막 위치 업데이트 대상 변경
* new_snp.core20 -> t_std_snp_svc.tb_ship_main_info
2026-02-27 18:35:50 +09:00
351dbdbae7 feat: application_yml 환경변수 추가 2026-02-27 18:14:52 +09:00
a4d3fab926 feat: 재수집 실패건 재시도 프로세스 추가 및 선박제원정보 수집 최적화 2026-02-26 16:59:57 +09:00
c880b749c4 feat: Ship Last Postion Update Job Modify 2026-02-23 17:24:13 +09:00
71d95bd6fa feat: 중국 허가선박 전용 API 및 DB Sync 동적 범위 개선
- ChnPrmShip 전용 캐시/API 구현 (GET /api/ais-target/chnprmship)
  - ChnPrmShipCacheManager: Caffeine 캐시 (TTL 2일, 최대 2000건)
  - ChnPrmShipCacheWarmer: 기동 시 DB에서 최근 2일 데이터 워밍업
  - ChnPrmShipProperties: MMSI 목록 리소스 파일 로딩 (1,402척)
  - AisTargetDataWriter: 배치 수집 시 대상 MMSI 캐시 연동
- AisTargetRepositoryImpl: int8→Integer 안전 변환 (toInt/toLong)
- AisTargetRepository: findLatestByMmsiInSince 시간 범위 필터 추가
- DbSyncTasklet: 마지막 성공 시각 기반 동적 범위 + 최대 60분 캡
- 캐시 진단용 SQL 쿼리 파일 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-16 11:14:18 +09:00
ce9244ca0a feat: Swagger 문서 보강, Kafka 조건부 설정, AIS 응답 DTO 개선
- Swagger @Operation/@Schema 상세 설명 추가 (검색, 필터, 폴리곤 API)
- Kafka 조건부 활성화 (KafkaAutoConfiguration exclude + @ConditionalOnProperty)
- kafka.enabled=false일 때 Kafka 빈 미생성 (@Nullable 처리)
- AisTargetResponseDto에 classType, core20Mmsi 필드 및 @Schema 추가
- ApiResponse에 @Schema 어노테이션 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-16 10:40:24 +09:00
290933f94f chore: Kafka topic명 변경 및 SignalKind 수집 스크립트 추가
- tp_SNP_AIS_Signal → tp_Global_AIS_Signal (3개 프로파일)
- scripts/collect_signalkind_candidates.sh 추가

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-14 21:52:50 +09:00
LHT
178ac506bf feat: add AIS target Kafka producer pipeline 2026-02-13 03:10:38 +09:00
07368f18cb 🔥 application.yml 설정 변경 2026-02-12 10:41:27 +09:00
a93942d4d6
🔀 용어 표준화 반영 (AIS 제외) (#6)
* 🔧 Schema/Table 하드코딩 제거

* 🔥 BatchSchemaProperties.java 제거 및 @Value Schema 설정 방식 통일

* 🗃️ 용어 표준화

- Facility Port 
- Common Code
- Risk&Compliance
- Movement 
- Event 
- PSC 
- 선박제원정보
2026-02-12 10:27:22 +09:00
f53648290c
🔀 데이터 값 검증 컬럼 추가 (#4)
* 🗃️ PSC : 값 검증 컬럼 추가

* 🗃️ Facility : 값 검증 컬럼 추가

* 🔊 Facility : API Request 로그 추가

* 🗃️ Event : 값 검증 컬럼 추가

* 🗃️ Movement : 값 검증 컬럼 추가

* 🗃️ 공통코드 : 값 검증 컬럼 추가, API 로그 서비스 추가

* 🗃️ IMO 메타 수집 : 값 검증 컬럼 추가, API 로그 서비스 추가

* 🗃️ Risk&Compliance : 값 검증 컬럼 추가

* 🗃️ 선박제원정보 : 값 검증 컬럼 추가, 해시값 비교 프로세스 제거

* 🗃️ schema change : snp_data -> t_snp_data
2026-02-05 18:49:27 +09:00
cbb53fd9f1 🗃️ Core 캐시 대상 변경 2026-01-09 14:59:20 +09:00
49d2de1965 AIS Target DB Sync Job 분리 (캐시→DB 15분 주기)
- AisTargetDataWriter: DB 저장 제거, 캐시 업데이트만 수행
- AisTargetDbSyncJob 신규 생성: 15분 주기 캐시→DB 동기화
- AisTargetDbSyncTasklet: 캐시에서 최근 15분 데이터 조회 후 UPSERT
- application.yml: ais-target-db-sync 설정 추가

데이터 흐름 변경:
- 기존: API(1분) → 캐시 + DB (매분 33K 건 저장)
- 변경: API(1분) → 캐시만, DB는 15분마다 MMSI별 최신 1건 저장

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
2026-01-09 14:25:27 +09:00
Kim JiMyeung
63e9253d7f Movement Method Range형식으로 변경 2025-12-19 13:37:35 +09:00
1c491de9e2 🗃️ application.xml 수정 2025-12-12 15:34:02 +09:00
2a0a80098d Merge branch 'develop' into dev_ship_movement 2025-12-10 12:33:57 +09:00
eb81be5f21 🗃️ application.xml 정리 2025-12-10 10:54:44 +09:00
2e509560de Merge branch 'ais/ship_position' into develop 2025-12-10 08:54:42 +09:00
3dde3d0167 [추가]
- 실시간 선박 위치 조회 API Classtype 구분 파라미터 추가 (core20 테이블 imo 유무로 ClassA, ClassB 분류)
 - html PUT,DELETE, PATCH 메소드 제거 및 POST 메소드 사용 변경 (보안이슈)
2025-12-10 08:14:28 +09:00
Kim JiMyeung
18ab11068a 빈 배열 처리 로직추가 2025-12-08 13:33:57 +09:00
Kim JiMyeung
7941396d62 ais/ship_position into dev_ship_movement 2025-12-05 11:00:28 +09:00
Kim JiMyeung
248e9c2c46 /snp-asi url추가 2025-12-05 10:17:08 +09:00
1b7fa47dbd Merge branch 'ais/ship_position' into develop 2025-12-05 09:33:59 +09:00
55d4dd5886 [수정]
- 파티션 관리 job 추가 (+3일 미리 생성, 14일 이전 파티션 자동drop 설정)
- (임시) GPU 운영 포트 9000번 변경
- ais_target 테이블 일일 파티션구조로 변경 (1일 데이터 약 20GB)
2025-12-04 13:05:00 +09:00
c842e982c8 Merge branch 'dev_ship_movement' into dev_ship_detail
# Conflicts:
#	src/main/java/com/snp/batch/global/config/MaritimeApiWebClientConfig.java
2025-12-02 19:11:29 +09:00
44ae82e2fa Merge branch 'ais/ship_position' into dev_ship_detail
# Conflicts:
#	src/main/java/com/snp/batch/jobs/sanction/batch/reader/ComplianceDataReader.java
#	src/main/resources/application.yml
2025-12-02 19:10:15 +09:00
6af2fccbf0 [신규 기능]
- aisTargetImportJob: S&P Global AIS API 연동 (매 분 15초)
- AIS Target 조회 API (MMSI/시간/공간/폴리곤/WKT 검색)
- 항해 조건 필터 검색 API (SOG/COG/Heading/Destination/Status)
- Caffeine 캐시 적용 (TTL 120분, 최대 30만건)
- partitionManagerJob: 매일 1회 일별,월별 파티션 자동 생성

[개선]
- API context-path: /snp-api로 변경 (다른 API 서비스의 Proxy 설정 충돌 방지)
- BaseApiReader 상태 초기화 로직 추가 (재실행 시 0건 버그 수정)
- logback-spring.xml: 로그 파일 분리 및 롤링 정책 적용
2025-12-02 16:24:57 +09:00
Kim JiMyeung
c99b6993a7 빈 배열 처리 로직추가 2025-12-02 12:53:17 +09:00
b3cb4f6f19 🗃️ JPA 스키마 지정 (snp_data) 2025-12-02 12:26:49 +09:00
906611c9b8 Risk&Compliance Data Import Job 개발 2025-11-27 21:55:46 +09:00
f84361dc52 🔀 S&P 선박제원정보 증분데이터 수집JOB (Squash)
- Core20, OwnerHistory
2025-11-20 16:56:49 +09:00
c88b8a926b Initial commit 2025-10-22 13:50:04 +09:00