코드로 검증하는 오픈데이터: 지방자치단체 데이터, PDF에서 API까지

• 이 글은 지방자치단체의 공개데이터 현황을 기술 관점에서 점검합니다
• PDF에 갇힌 통계표, 기계 판독성 규칙과 API 부재가 핵심 문제예요
• 실무적 개선안(CSV/JSON 우선, DCAT-AP-JP 메타, 단일 API 등)을 코드 예제와 함께 제안합니다

結論

지방자치단체의 오픈데이터는 '있다'가 아니라 '쓸 수 있다'가 목표입니다. 지금은 여전히 PDF·스캔 문서가 많아 재사용이 제한적이고, 표준 메타데이터와 안정적 API가 부족합니다. 엔지니어 관점에서는 파일 포맷 표준화(CSV/JSON), DCAT 기반 메타데이터, 그리고 배포용 REST/GraphQL API 한 줄로 해결될 문제들이 많습니다.

레포트本文

현재 상태: 뭐가 문제인지

これ見てくださいよ、総務省·デジタル庁의 가이드라인(参照: soumu.go.jp, digital.go.jp)은 기계판독성·오픈데이터 추진을 권고하고 있지만 실제로는 다음 패턴이 반복됩니다。

• PDF 중심의 공개: 통계표나 보고서가 PDF로만 배포되어 표 추출이 필요함（参照: 総務省 統計表の統一ルール）
• 메타데이터 부재: DCAT-AP나ス키ーマが統一されておらず、検索·연계가 어려움
• API 미흡: 일부 대형 도시(예: GovTech東京)는 대시보드·API를 제공하지만 전국의 지방자치체는 아직 점진적

요약하면, 데이터가 '공개'됐다고 해도 '재사용 가능'한 상태가 아닐 때가 많다는 것입니다.

기술적으로 따져보기

エンジニア的に言うと、이건 데이터 파이프라인 설계의 문제예요。

1) 파일 포맷

• 우선순위: CSV/NDJSON/GeoJSON → JSON-LD/CSVW. PDF는 최후 수단
• 要するに: 기계가 바로 읽을 수 있어야 한다는 뜻입니다

2) 메타데이터와 카탈로그

• DCAT-AP-JP를 사용해 데이터셋 수준의 메타데이터를 제공하면 자동 수집·상호운용이 쉬움
• 데이터 버전,更新日時、ライセンス(오픈ライセンス) を明示すること

3) API 설계

• 단순한 REST/GET + JSON 반환, CORS 허용, 페이징과 필터 지원
• OpenAPI 명세 제공으로 개발자 경험(UX) 개선

4) 기계 판독성 규칙(参照: digital.go.jp의ドラフト)

• 단계별 레벨(Level 1~)을 도입해 우선순위 개선 가능: Level1은 CSV 제공, Level2는 스키마 포함 등

코드 예제: PDF에서 CSV로(간단한 실무 스니펫)

# requests + tabula-py로 PDF 테이블 추출 후 CSV로 저장
import requests
from tabula import read_pdf

url = "https://www.example.go.jp/report.pdf"
open('report.pdf','wb').write(requests.get(url).content)
tables = read_pdf('report.pdf', pages='all', multiple_tables=True)
for i, t in enumerate(tables):
t.to_csv(f'table_{i}.csv', index=False)

요약하면: 자동화 가능한 파이프라인을 구축하면 사람이 수작업으로 표를 긁어모으는 일이 사라집니다!

API 한 줄로 해결하는 예시

• 목표: 동일한 데이터에 대해 /api/v1/statistics?year=2024&pref=tokyo 형식으로 접근
• OpenAPI와 함께 배포하면, 프런트·연구자·스타트업이 바로 쓸 수 있어요。

정책 목표 vs 실적의 갭 분석

• デジタル庁·総務省의 목표는 명확: 오픈데이터 촉진·機械可読化
• 하지만 실제 공개방식(특히 중小自治体)은 레거시 문서(PDF)·사내 엑셀유통에 머물러 있음
• 결과적으로 민간 재사용·서비스 창출이 제한되고,データ駆動型政策評価が進まない

개선 제안(実務的なロードマップ)

단기(3~6개월): 핵심 데이터셋을 CSV/JSON으로 재배포, DCAT-AP-JP 메타데이터 추가

중기(6~12개월): OpenAPI 엔드포인트 1개(統計/施設/防災)를 전市区町村에テンプレート로配布

장기(1~2年): 중앙-지방 연계 데이터カタログ 구축,データ品質指標(バリデーション)導入

구체적 기술 스택 제안

• 저장: S3 + 버전 관리
• API: FastAPI 또는 Hasura(GraphQL)로 빠른 프로토타이핑
• 메타: DCAT-AP-JP + schema.org(JSON-LD)
• CI: 데이터 라인 테스트(pandas-validator, GoodTables) 실행

まとめ

• 지방자치단체의 오픈데이터, 지금은 '公開'에서 '利活用'으로 전환할 때
• 핵심은 포맷 표준화(CSV/JSON), 메타데이터(DCAT), 안정적 API와バリデーション
• エンジニア的に言うと、API一本とメタデータで世界が変わるんですよ！

おかむーから一言

오카무~입니다! テクノロジーで公務をアップデートするのは難しくない、やり方を標準化して自動化すればいいだけだと思ってます。エンジニアと行政が手を取り合えば、もっと速く、もっと公平なサービスが作れますよ！