どうも〜 오카무~입니다! 오늘은 조금 엔지니어스러운 시선으로 정부·지자체의 데이터와 시스템을 파헤쳐볼게요〜

• 이 글 3줄 요약

- 정부·지자체는 API·CSV보다 PDF 중심 공개가 여전히 많다. 데이터 접근성이 떨어져 정책 검증이 어렵다.これ見てくださいよ

- e-Gov API나 오픈데이터 포털(예: Saitama 오픈데이터, GovTech 東京)은 존재하지만 실무 적용과 품질 확보가 과제

- 해결책은 기계가 읽을 수 있는 포맷, 명세(OpenAPI), 버전·メタ데ータ 관리, 간단한 ETL 파이프라인

結論

결론부터 말하면, 정책의実効性(실효성)은 데이터의可用性(가용성)과機械可読性(기계 판독성)에 거의 비례해요. 에ンジニア的に言うと, API 한 줄과 CSV 한 파일이 있으면 검증과 추적이 가능해지고, 시민·개발자 생태계가 살아납니다!

レポート本文

現状観察：公開フォーマットとAPIの有無

まず、これ見てくださいよ。国は e-Gov のAPIカタログを整備している（https://www.e-gov.go.jp/digital-government/api）し、自治体もオープンデータポータルを作っている例がある（埼玉県の開発者向けAPIページや GovTech東京のデータ利活用サービスなど）。

しかし実務では次がボトルネックになっている:

• PDFに埋め込まれた報告書が多い（表は画像化、OCR前提）
• CSV/JSONはあるがスキーマが不安定でメタデータ欠如
• APIは存在するがCORS設定・認証・レート制限で使いにくい

要するに、データは "ある" が "使える" とは限らないということです。

データ品質と政策検証のギャップ

政策マニフェストに「X年までにY%削減」と数値目標がある場合、検証には時系列データと集計ルールが必要です。けれども:

• 出所がPDFで年次別の計算式が不明だと再現不能
• 指標定義が自治体ごとに違う（母数や除外条件の差）

エンジニア的に言うと、これを計測可能にするには“メトリクス定義（schema）+実績時系列（CSV/JSON）+API”が必要なんですよね。

具体的な技術検証例（コード例あり）

まずは e-Gov のAPIカタログからメタデータを取ってくる簡単な例。curl と Python(pandas)での流れを示します。

# メタデータ取得（例）
curl -s "https://www.e-gov.go.jp/digital-government/api/catalog.json" -o catalog.json

PythonでCSVに変換（疑似コード）
import json, pandas as pd
with open('catalog.json') as f:
catalog = json.load(f)
必要項目を抽出してDataFrameに
rows = []
for item in catalog['datasets']:
rows.append({
'id': item.get('id'),
'title': item.get('title'),
'format': item.get('format'),
'access_url': item.get('accessURL')
})
df = pd.DataFrame(rows)
df.to_csv('datasets.csv', index=False)

これ要するに、「まずメタデータをまともなテーブルにしておく」ところから始めると楽ですよね！

改善提案：実践的で現実的なステップ

機械可読性を最優先にする

- PDFを第一公開物にしない。CSV/JSON・Parquetを公開。APIsはOpenAPIで仕様書を公開。

メタデータとスキーマ管理

- DCATやJSON Schemaを使って列ごとの意味を明示。例：label、unit、date_format、missing_code。

互換性とバージョニング

- スキーマ変更はバージョンを上げて互換性を保つ。利用者にbreaking change通知をする。

APIの運用品質

- CORS対応、認証方式はOAuth2/トークン、SLAとレート制限を明文化。

市民参加と監査用ダッシュボード

- GitHubでデータパイプライン定義（GitOps）を公開し、Issueで差分・疑義を議論できるように。

技術的投資の優先順は「フォーマット→スキーマ→API運用→CI/CD＆監査」、これが現場で効く順番です。

具体導入例：自治体での最小構成（15分で動く）

• S3(or 公的クラウド) に CSV/Parquet を置く
• Cloud FunctionでCSV→Parquet変換＋Schema検証
• API Gateway + Lambda (or equivalent) で REST API を提供
• OpenAPI仕様を /openapi.json で公開
• CIでメタデータチェック（欠損値割合、時間粒度チェック）

これで市民も研究者もボランティアもすぐにテーブルを拾える！

まとめ

• 政策検証を可能にするには「データの機械可読性」と「明確なスキーマ」が必須
• e-Govや自治体のオープンデータは基盤が整いつつあるが、フォーマットや運用で改善余地あり
• 小さく始めてスキーマとAPIを堅牢にすれば、マニフェストの数値目標も検証可能になる

おかむーから一言

テクノロジーで社会をアップデートするって言ってるんで、まずはデータをちゃんと開いてください！エンジニアならAPI一本で議論が変わるのを知ってます。ジレンマは設計で解けますよ～