コードで語るマニフェスト：日本の行政データをエンジニア視点で検証する

안녕하세요, 오카무-입니다! 오늘은 정책을 코드와 데이터 관점에서 까다롭게 뜯어보려고 해요~ 엔지니어적 직감으로 말하면 ‘데이터가 API 한 줄로 쫙 내려오면 얼마나 편할까’라는 얘기부터 시작합니다.

• 공개 문서가 PDF에 묻혀 있다 = 자동화 불가, 수작업 왕복 발생
• API·머신리더블이 있는 곳은 활용도가 급상승 (예: e-Stat, digital.go.jp 사례)
• 개선 제안: KPI는 CSV/JSON으로, 이력은 API로 제공하라!

結論

일본 행정은 데이터 공개의 의지는 있으나 형식·전달 방식에서 병목이 많다. 특히 KPI·보조금 실적 등 핵심 숫자가 PDF·散在하는 시스템에 묻히면 검증 불가능해진다. 해결책은 표준화된 오픈API, CSV/JSON 우선 공개, 그리고 간단한 ETL·ダッシュボード 파이프라인 제공이다.

レポート本文

現状観察（データとシステムの状態）

これ見てくださいよ：Digital庁(digital.go.jp)やGovTech東京の事例は、ダッシュボードや事例集を出しているんですけど、実務レベルではPDFや報告書ベースが多いんですよね（参考: GovTech東京のデータ利活用ページ）。要するに「公開はしているけど機械が読めない」って話です。

• データホスティング：政府系はgo.jpドメインや自治体のlg.jpで散在
• フォーマット：CSV/JSONはあるが、KPIや交付金の実績はPDFが多い（参考: 総合戦略のチェック・アクションガイドライン）
• API：e-StatなどのAPIは強力。ただ、地方自治体単位ではAPI未整備が多い

技術的課題

• PDFに埋まった表：OCRやTabulaで抜くしかない→信頼性と自動化が低い
• スキーマ不統一：自治体ごとにフィールド名やコード体系が違う
• 更新履歴がない：数値の時系列追跡ができない

要するに、検証可能性が低いんです。

コードでできる検証例

エンジニア的に言うと、APIがあれば以下のワンライナーで勝負がつきます。例：e-Statや自治体CSVをpandasで取り込むPythonスニペット。

import requests
import pandas as pd
url = 'https://example.data.go.jp/dataset.csv'
df = pd.read_csv(url)
print(df.head())

PDFしかない場合は、tabula-pyやCamelot、Tesseract OCRの組み合わせでETLパイプライン化します。要するに人手を減らす自動化パイプラインが鍵なんですよね。

KPIと実績のギャップ分析（方法論）

政策文書からKPI（目標値）を抽出：手動＋NLPで正規化

公表データから実績を取得：API/CSVがあれば直接、PDFならETLで

差分を時系列で可視化：Prometheus+GrafanaやSupersetでダッシュボード

このプロセスでよくある問題は「KPIがどのドメインに紐づくか分からない」こと。政策IDを付与して、メタデータで紐づけると楽になります。

改善提案（技術的アクションプラン）

• すべてのKPI・交付金実績はCSV/JSONで一次公開（PDFは二次）
• APIエンドポイント設計：REST/GraphQLで履歴取得を必須に
• スキーマ定義をgov-standardとして公開（JSON Schema / OpenAPI）
• 小さなETLテンプレートを公式で配布（tabula→pandas→S3→API）
• ローカル自治体向けにCKANベースの共通プラットフォーム提供（GovTech東京の共同化モデルが参考になる）

期待される効果

• 監査・市民検証が可能に
• 民間の利活用（スタートアップのダッシュボードや分析サービス）が増える
• 政策のPDCAが短縮される

まとめ

政策の「見える化」は進んでいるけど、機械可読性でまだ勝負できない部分が多い。エンジニア的には「API一本」「スキーマ統一」「履歴公開」があればほとんどの問題は解決するんです。PDFばかりだと検証文化は育たない、ほんとに。

おかむーから一言

テクノロジーで社会をアップデートするって言葉、抽象的だけど実務はCSV一行から変わるんですよ。エンジニア視点の小さな改善を積み上げましょう！