코드로 검증하는 공공데이터: API·CSV·정책 목표의 갭을 파헤치다

안녕하세요~ 오카무입니다! 오늘은 정부·지자체가 공개하는 데이터와 시스템을 엔지니어링 관점에서 파헤쳐보려고 해요. 코드로 말하는 매니페스토, 시작합니다!

• 이 글 3줄 요약

- 공개 데이터는 존재하지만 형식·메타데이터가 들쭉날쭉해서 재활용 비용이 크다

- API 카탈로그(e-Gov)나 도쿄 오픈데이터 API는 좋은 출발이나 표준화·품질 관리가 필요하다 (https://www.e-gov.go.jp/digital-government/api, https://portal.data.metro.tokyo.lg.jp/opendata-api/)

- 엔지니어적으로 해결 가능한 구체적 개선안(OpenAPI, DCAT, 데이터 계약, CI 등)을 제안한다

結論

엔지니어적 관점에서 말하자면, 정책의 의도(투명성·효율성)는 데이터 인프라로 연결돼야 합니다. 현재는 데이터가 ‘있다’ 수준에 머물러 있어서 실제 활용·검증은 개발자·연구자 몫으로 남아 있어요. 要するに, 머신리더블·스키마 명시·버전 관리가 정책 성공의 핵심입니다.

레포트 본문

현황: 어떤 데이터가 공개돼 있나

이거 보세요: 중앙의 API 카탈로그(https://www.e-gov.go.jp/digital-government/api)와 지자체 오픈데이터 포탈(예: 도쿄 https://portal.data.metro.tokyo.lg.jp/opendata-api/)은 API를 목록화하고 있어요. 또한 긴급 공지 같은 경우 CSV 파일로 공개된 사례(https://notice.go.jp/docs/status_notice.csv)도 눈에 띕니다. 근데 문제는 포맷이 들쭉날쭉하다는 점!

문제점(엔지니어적 관점)

• 포맷 다양성: CSV, PDF, HTML 테이블이 혼재. PDF 속 표는 기계가 바로 읽기 어렵다. 要するに 자동화가 깨진다는 의미입니다.
• 메타데이터 부족: DCAT 같은 표준 카탈로그 정보가 없으면 데이터 검색·재사용이 어려움
• API 품질 문제: 스펙(스키마), 페이지네이션, 인증, CORS, 에러 코드 규약 등이 명확하지 않은 경우가 많음
• 데이터 품질·신선도 지표 부재: 업데이트 주기·欠損率·정합성 지표가 공개되어 있지 않음

정책 목표 vs 실적의 갭

많은 지자체가 ‘오픈데이터 확산’을 목표로 삼지만, 목표(데이터 수·API 제공률 등)와 실제 활용(민간 서비스 연계·재사용 사례)은 괴리가 큽니다. 예를 들어 미야기(みやぎ)의 지역포인트나 앱 연계(https://www.pref.miyagi.jp/soshiki/jyoho/miyapo.html)는 오픈데이터를 잘 활용한 사례지만, 전국적 확산을 위해선 표준화가 필요하죠.

코드로 할 수 있는 검증 방법(예시)

• 먼저 원시 CSV를 가져와서 스키마를 추론·검증하는 파이썬 스니펫:

import pandas as pd
url = 'https://notice.go.jp/docs/status_notice.csv'
df = pd.read_csv(url)
print(df.dtypes)
print(df.isna().sum())

• API가 있다면 OpenAPI 스펙으로 문서화하고, swagger나 postman으로 자동 테스트 작성
• 데이터 계약(Data Contracts): 스키마를 JSON Schema로 정의하고 CI에서 great_expectations 등으로 품질 검사

개선 제안(구체적)

중앙 레지스트리 강화: 모든 데이터셋에 DCAT 메타데이터와 라이선스 표기

OpenAPI 의무화: API 제공 시 최소한의 스펙(요청/응답 스키마, 페이징, 오류 코드)을 공개

머신리더블 우선 정책: PDF 내 표는 원천 금지 또는 동반 CSV/JSON 제공

데이터 CI 파이프라인: 스키마 검증, 신선도 모니터링, 자동화된 리포트(대시보드)

샘플 코드·SDK 제공: curl/JavaScript/Python 예제와 CORS 설정 가이드

실적 지표 공개: 데이터별 재사용 수, 에러율, 업데이트 지연 시간 등

예상 효과

• 민간 서비스와의 결합이 쉬워져 사회적 가치 창출 가속
• 정책 성패를 데이터로 재현·검증할 수 있어 정책 투명성 증대
• 데이터 재활용 비용 하락으로 혁신 생태계 활성화

まとめ

• 데이터가 "있다"는 것만으론 부족하고, 쓰기 쉬운 API·명확한 스키마·품질 관리는 필수
• 기술적으로 해결 가능한 과제가 많으니 정부·지자체의 작은 구조 개선만으로도 재사용성이 크게 올라감
• PDF→CSV, 비정형→정형, 문서형 카탈로그→머신리더블 레지스트리 전환을 권함

おかむーから一言

테크로 사회를 바꾼다는 말, 진짜 가능하다고 생각해요! 작은 표준 하나가 서비스 수백 개를 낳습니다. 같이 만들어봅시다!