コードで語るマニフェスト：日本の公共データと自治体システムをエンジニア視点で検証する

안녕하세요~ 오카무입니다! 오늘은 "코드로 말하는 매니페스토"라는 콘셉트로 일본 정부·지자체의 공개 데이터와 시스템을 기술적으로 뜯어볼게요. 엔지니어적 관점에서 정책 수치가 어떻게 공개되고 검증될 수 있는지, 그리고 개선 포인트를 실무적으로 제안합니다!

• 이 글 3줄 요약

- 정부·지자체 문서에 KPI는 있지만 기계 판독 가능한 공개는 부족하다(대부분 PDF)

- e-Stat, Japan Dashboard 등 API/대시보드는 존재하나 연결성과 표준성이 약함

- CSV/API 우선 공개, OpenAPI/JSON Schema 도입, KPI 실적 추적 자동화가 핵심 개선안

結論

정책은 수치로 말해야 하고, 그 수치는 기계가 읽을 수 있어야 한다. PDF 중심 배포를 CSV/API로 바꾸고, 표준화된 데이터 모델과 지속적 모니터링 파이프라인을 도입하면 정책 검증 가능성이 급격히 올라간다!

レポート本文

現状のスナップショット

これ見てくださいよ：デジタル庁（https://www.digital.go.jp/）やJapan Dashboard（https://www.digital.go.jp/resources/japandashboard）、e-Stat（https://dashboard.e-stat.go.jp/）は存在するんですけど、現場の政策資料（例：デジタル田園都市国家構想交付金のKPIガイドラインや山口県の実績PDF）を見ると、KPIはPDFで配布されていることが多いんです。

• 問題点

- PDF中心：人が読むには良いが機械処理が難しい

- 分断されたデータソース：政府中央と地方でフォーマット非統一

- APIはあるがデータモデルが統一されていない（e-Stat APIは便利だが、地方の交付金実績はPDF）

要するに、データが“見える”けど“使えない”ということです。

技術的検証（API・フォーマット・品質）

• APIの有無：e-StatはAPI提供。Japan Dashboardは可視化を集約してるが、各自治体のKPIはPDFで散らばる
• フォーマット品質：CSV/JSONとPDFが混在。PDFはテーブルが画像化される場合もありOCRやtabulaが必要
• メタデータ：データセットに永続ID・更新日時・スキーマが欠ける例が多い

エンジニア的に言うと、これAPI一本で解決する話なんですよね。例えば、KPIテーブルがCSVであれば、次のようにPythonで取り込めます：

import requests
import pandas as pd
url = 'https://example.gov.jp/kpi/denen.csv'
df = pd.read_csv(url)
print(df.head())

PDFしかない場合はtabula或いはcamelotで抽出する必要があって手間が増える。要するに、最初から機械可読で公開してくれたらめちゃくちゃ楽なんですよ！

政策の数値目標と実績ギャップ分析のやり方

データ取得：中央(e-Stat, Japan Dashboard) + 各自治体(lg.jp PDFs → CSV変換)

正規化：共通スキーマ（例：policy_id, kpi_id, target_value, period, achieved_value, source_url）にマッピング

集計と差分計算：SQLやPandasでtarget - achievedを算出

簡単なSQL例：

SELECT policy_id, period, SUM(achieved_value) AS achieved, SUM(target_value) AS target,
SUM(achieved_value)-SUM(target_value) AS gap
FROM kpi_table
GROUP BY policy_id, period;

これで政策単位・年度単位のギャップがすぐ見える。

改善提案（技術スタックと運用）

• 公開フォーマットはCSV/JSONを原則、PDFは人向けビューとして副次的に残す
• OpenAPI仕様＋JSON SchemaでAPIを標準化。サンプル：/api/v1/kpis
• メタデータ必須：更新日時、ライセンス、永続URL、スキーマ
• CI/CDでデータ検証（型チェック、NULLチェック、閾値監視）を導入
• ダッシュボードはJapan Dashboardと連携。ETLをAirflow等で自動化
• 小規模自治体向けに"データ公開テンプレート"とOSSツール（Dockerイメージ）を提供

実践例：地方交付金のKPIを毎月自動で収集→正規化→差分計算→Japan Dashboardへ自動反映するパイプライン

実装の注意点

• 認証・署名：個人情報はAPIで返さない。集計値に限定するか、認証ありで詳細アクセス
• 互換性：既存の自治体基幹系（地方公共団体情報システムの標準化に関する法律）に合わせたマッピング
• ライフサイクル：データ公開は"公開→廃止"の履歴を保持

まとめ

ポイントはシンプル：政策のKPIを人間だけでなく機械も消費できる形で公開しよう、ということです。PDFで配るのは説明資料としてはOKだけど、検証や再利用のためにはCSV/JSON/APIが必須。OpenAPI/JSON Schema、CIによるデータ品質チェック、そして中央ダッシュボードとの自動連携があれば、政策の透明性と実行可能性は格段に上がります。

おかむーから一言

テクノロジーで社会をアップデートするって口にするなら、まずはデータをエンジニアが使える形にすることから始めようぜ！小さなAPI一本が大きな信頼につながるんですよ。