gc/kcg-ai-monitoring
7
0
포크 0
코드 이슈 풀 리퀘스트 Actions 위키 활동

fix(prediction): FUZZY 정규화를 공백/대소문자만으로 축소 + name_en 전용 (A-2 후속)

소스 검색 
버그 원인: 초기 정규화가 선박번호(suffix)까지 제거 → '浙岭渔20865' → '浙岭渔' 로
축약 → 동명이 수십 개 발생 → len(unassigned)>1 조건에 전부 탈락 → FUZZY=0건.

중국/한국 어선명은 업체명+선박번호가 고유 식별자이므로 숫자 자체는 보존해야 함.
정규화는 공백/구두점/대소문자/'NO.' 마커만 통일:
  'ZHE LING YU 20865' ↔ 'zhelingyu20865' ↔ 'ZHE-LING-YU-20865' 모두 일치

FUZZY 매칭 key 는 name_en 만 등록 (AIS 보고 이름이 영문이 주류).
This commit is contained in:
htlee 2026-04-16 10:13:35 +09:00
부모 37ae1bfa48
커밋 535704707b
1개의 변경된 파일과 9개의 추가작업 그리고 16개의 파일을 삭제
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

25
prediction/fleet_tracker.py
파일 보기

@ -23,16 +23,11 @@ GEAR_IDENTITY_LOG = qualified_table('gear_identity_log')
GEAR_CORRELATION_SCORES = qualified_table('gear_correlation_scores') GEAR_CORRELATION_SCORES = qualified_table('gear_correlation_scores')
FLEET_TRACKING_SNAPSHOT = qualified_table('fleet_tracking_snapshot') FLEET_TRACKING_SNAPSHOT = qualified_table('fleet_tracking_snapshot')
# 선박명 정규화: 공백/구두점 제거, 선박번호 suffix 제거, upper() 통일. # 선박명 정규화 (중국/한국 어선 식별자 보존):
# AIS 이름과 fishery_permit_cn 이름 간 suffix/공백 차이로 NAME_EXACT 매칭률 8.7% → 정규화 기반 매칭으로 회복. # - 중국 어선명 = 업체명(浙岭渔) + 선박번호(20865) 로 고유 식별. 번호 제거 시 동명이 수십 개 발생 → 번호 유지
_NAME_STRIP_SUFFIX = re.compile( # - 통일 대상: 공백/구두점, 대소문자, NO./No. prefix
r'(?:' _NAME_STRIP_CHARS = re.compile(r'[\s\-_./,()\[\]·•\u3000#＃]+')
r'[\s_]*(?:NO\.?|#|＃)?[\s_]*\d+\s*(?:호|號|号)?' # 123 / No.123 / #123 / 123호 / 12号 _NAME_STRIP_PREFIX_NUMBER_MARKER = re.compile(r'\bNO\.?\s*', re.IGNORECASE)
r'|[\s_]*(?:호|號|号)' # 말미 호/號/号 단독
r')\s*$',
re.IGNORECASE,
)
_NAME_STRIP_CHARS = re.compile(r'[\s\-_./,()\[\]·•\u3000]+')
_PERIOD_RANGE_PATTERN = re.compile( _PERIOD_RANGE_PATTERN = re.compile(
@ -65,13 +60,13 @@ def _normalize_vessel_name(name: Optional[str]) -> str:
"""선박명을 매칭용으로 정규화. """선박명을 매칭용으로 정규화.
1. upper() + strip 1. upper() + strip
2. 말미 선박번호 패턴 제거 (호/號/号, No.N, #N, 공백숫자) 2. 'No.123' / 'NO 123' 의 번호 마커만 제거 (숫자 자체는 고유 식별자로 유지)
3. 남은 공백/구두점 제거 3. 공백/구두점/중간점/전각공백/#/＃ 제거
""" """
if not name: if not name:
return '' return ''
s = name.strip().upper() s = name.strip().upper()
s = _NAME_STRIP_SUFFIX.sub('', s) s = _NAME_STRIP_PREFIX_NUMBER_MARKER.sub('', s)
s = _NAME_STRIP_CHARS.sub('', s) s = _NAME_STRIP_CHARS.sub('', s)
return s return s
@ -128,11 +123,9 @@ class FleetTracker:
self._vessels[vid] = v self._vessels[vid] = v
if r[3]: if r[3]:
self._name_cn_map[r[3]] = vid self._name_cn_map[r[3]] = vid
key_cn = _normalize_vessel_name(r[3])
if key_cn:
self._name_fuzzy_map.setdefault(key_cn, []).append(vid)
if r[4]: if r[4]:
self._name_en_map[r[4].lower().strip()] = vid self._name_en_map[r[4].lower().strip()] = vid
# FUZZY 매칭은 name_en 만 대상 (AIS 가 보고하는 이름은 영문이 주류)
key_en = _normalize_vessel_name(r[4]) key_en = _normalize_vessel_name(r[4])
if key_en: if key_en:
self._name_fuzzy_map.setdefault(key_en, []).append(vid) self._name_fuzzy_map.setdefault(key_en, []).append(vid)