コードで語るマニフェスト：政府データとシステムをエンジニア視点で検証する

안녕하세요~ 오카무입니다! 오늘은 정부·지자체 데이터와 시스템을 엔지니어 관점에서 풀어보는 시간이에요. 코드로 말하면 더 명확해지는 부분들만 골라서 설명합니다!

• 정부 데이터는 공개는 되어 있지만 기계가 읽기 좋은 형태로 나오지 않는 경우가 많다
• CSV/API/메타데이터 표준이 있으면 정책 평가가 훨씬 쉬워진다
• 실무적으로는 OpenAPI, JSON-LD, CSVW, 검증 파이프라인이 효과적이다

結論

지금 필요한 건 문서(PDF)가 아니라 신뢰 가능한 기계판독 데이터 파이프라인입니다. 단순히 파일을 올리는 수준에서 벗어나면, 정책 목표와 실적의 격차를 정량적으로 추적할 수 있고 국민·연구자가 재활용하기 쉬워져요.

레포트本文

현황: 공개 형식과 접근성

이건 직접 봐야 이해가 쉬운데, 예시로 go.jp 계열의 CSV 파일들이 이미 존재합니다: notice.go.jp의 status_nicter.csv, mhlw.go.jp의 몇몇 CSV(예: content/001429362.csv) 등은 기계 판독 가능 데이터로 잘 공개된 사례예요. 반면 많은 행정문서는 여전히 PDF에 갇혀있죠. 이 데이터, CSV로 공개해줬으면...! 라고 느낀 경험 다들 있으실 겁니다.

이렇게 정리할 수 있어요:

• 좋은 편: 정기적으로 갱신되는 CSV/JSON 파일 (예: 환경성의 CSV 공개 등)
• 아쉬운 편: PDF에 표가 박혀있거나, 파일명·컬ラム 설명이 불충분한 경우

요약하면, "데이터가 있다"와 "데이터로 정책을 검증할 수 있다"는 다른 문제입니다. 에ンジニア적으로 말하면, API 하나로 끝낼 수 있는 일을 반복 수작업으로 하고 있는 거죠.

기계가 읽기 쉬운 공개를 위한 기술적 체크리스트

• 메타데이터: DCAT/JSON-LD로 데이터셋의 스키마와更新日時を明示
• 형식: CSV는 UTF-8, BOM 없음, 명확한ヘッダ、日付はISO 8601
• スキーマ: JSON Schema / CSVW로 컬럼 타입·제약 정의
• API: OpenAPI로 엔드ポイント·認証·レート制限 명세
• バージョン管理: 데이터셋 버전·差分を提供（パッチで差分取得可能）
• ライセンス: CC-BYなど明確な再利用許諾

코드 예시 — CSV를 API처럼 다루기 (간단한 파이썬)

import requests
import pandas as pd
url = 'https://www.jinji.go.jp/content/900024615.csv'
r = requests.get(url)
r.encoding = 'utf-8'
df = pd.read_csv(pd.compat.StringIO(r.text))
print(df.head())

이렇게 받아서 판다스로 바로 검증하는 파이프라인을 배치로 돌리면 됩니다. 데이터 품질 체크는 Great Expectations 같은 툴을 쓰면 자동화 가능해요.

정책目標と実績のギャップをどう見るか

多くの政策は「数値目標（例: 〇年までに○％）」を掲げるけど、評価に必要な時系列データがない場合があります。解決策は次の通り：

• KPIごとに計測用APIを作る（時系列端点: /kpi/{id}/timeseries）
• データ取得日時・測定方法をメタデータ化して比較可能にする
• 監査ログと変更履歴を公開して後追い検証できるようにする

要するに、目標と実績を照らし合わせるためには「いつ、誰が、どの方法で測ったか」が必須です。

実装のための現実的なステップ（自治体向け）

データカタログ導入（GovTech Tokyoの取り組み参考: データ利活用の体系化）

まずは重要KPIのCSV化＋OpenAPIでの公開

CIでスキーマ検証、CDでデータ配信（S3 + CloudFrontなど）

利用者向けのサンプルコードとJupyter Notebookを同梱

技術的にはS3にクロックインされたCSVをCloudFrontで配信し、OpenAPIでメタ데이터を管理、ETLはAirflowかCloud Functionsで回す構成がシンプルで堅牢です。

まとめ

これ見てくださいよ、データがあるのに使えないってもったいない！PDFに閉じたデータをCSV/JSONにして、スキーマとAPIで公開すれば再現性のある政策評価が可能になります。要するに、データを"公開"から"運用"のフェーズに移すのがゴールです。

おかむーから一言

기술로 사회를 바꾸는 건 결국 실행력입니다. 작은 CSV 하나 공개하는 것부터 시작하면, 다음 선거 때까지 더 투명하고 재현 가능한 정책 논쟁을 만들 수 있어요. 함께 합시다!