コードで語るマニフェスト：自治体データを疑って、直して、活かす方法

どうも〜おかむーです！今日はちょっとエンジニアっぽい話をしますよ〜

• 3行要約

- 地方・国の施策データは公開されているが、機械可読性やAPI整備がまだ課題だよ！

- PDFに閉じた報告やKPI未達の記録は解析のコストを上げている。CSV/API化で再現性を上げよう！

- 技術的には「スキーマ」「CI」「API」「メタデータ」でほとんど解決するんですよね。

結論

政府・自治体のデータ公開は進んでるけど、実務で使えるレベルにするにはまだエンジニアリング投資が必要。要するに「出力を人向けPDFから機械向けCSV/APIに変える」だけで再利用性が劇的に上がるということです。具体的にはメタデータ標準化、CSV優先、公開API、データ品質CIを導入しよう！

レポート本文

まず現状確認。東京都のオープンデータカタログ（https://portal.data.metro.tokyo.lg.jp/）や各県のポータル（例：埼玉 https://opendata.pref.saitama.lg.jp/）を見ると、CSVやJSONで公開されているデータも増えているんですけど、PDFやExcelでしか出していないレポートも根強く残ってます。

これ見てくださいよ：デジタル田園都市国家構想交付金のKPIに関するガイドラインや地方の実績報告（例：https://www.chisou.go.jp/sousei/pdf/r5_guideline-checkaction.pdf、山口県の実績PDF https://www.pref.yamaguchi.lg.jp/uploaded/attachment/160746.pdf）はKPIや達成状況が書かれてるものの、機械で取れる形式がない。要するに解析が面倒くさいんです！

技術的課題を箇条書きで整理します：

• PDFネイティブな報告書：テーブル抽出に手間、OCRやTabulaが必要
• 欠損・フォーマット不統一：日付形式や単位表記がバラバラ
• APIの有無：自治体によってAPI提供の有無や仕様が違う
• メタデータ不足：スキーマや更新頻度が明記されていない

エンジニア的に言うと、これAPI一本で解決する話なんですよね。具体的にどうするか技術的提案をします。

技術的改善案（優先度順）

CSVファーストとスキーマ公開

- 全てのテーブルはCSVで公開。併せてJSON SchemaまたはDataPackageで列の型／単位を宣言。

逐次更新API（RESTful＋OpenAPI）

- /datasets/:id/data を返すシンプルなGET。フィルタ／ページングを備える。

データ品質のCI

- データが更新されるたびにスキーマ検査と基本統計チェック（欠損率、異常値）を自動実行。GitHub Actionsで実現可能。

PDFはアーカイブとして保持、データは機械可読で公開

- 元の報告PDFは人向け、表は機械向けとして別出力。

メタデータ＋カタログの統合（CKAN/Dataverse）

- 発見性を上げるためにカタログ化。ライセンスと更新履歴を必須項目に。

簡単なコード例（Python）

以下は東京都オープンデータからCSVを取って簡単に集計する例。コード書く人ならわかると思うんですけど、こういうスニペットがあると使い始めが楽になりますよね。

import requests
import pandas as pd

url = 'https://example.data.metro.tokyo.lg.jp/dataset/xxx.csv'
resp = requests.get(url)
resp.encoding = 'utf-8'
open('data.csv','wb').write(resp.content)

df = pd.read_csv('data.csv')
print(df.dtypes)
print(df.isna().sum())

要するに、このAPI一本でKPIの時系列や地域別の比較ができるんです。PDFからスクレイピングして解析する手間がなくなります。

KPIと実績のギャップ検証

交付金や施策はKPIを掲げるけど、実績は散在していて追いにくい。例えば山口県の実績報告（PDF）を機械化して年次KPIと突き合わせれば、どの事業が達成率が低いか定量的に示せます。こうやって証拠を出すと政策改善の議論が実データで回せるんですよね。

オープンデータ活用の可能性

• 住民向けダッシュボードやアラート（達成率低下を自動通知）
• 民間サービスとの連携（旅行・地域経済分析）
• 学術研究や市民の監視（ガバナンス向上）

まとめ

技術的には難しいことはほぼなくて、方針と運用を変えればデータガバナンスは改善できる。CSV + API + スキーマ + CIの組み合わせで、行政データはぐっと使いやすくなる。PDFは保存物として残しつつ、機械可読データを第一に公開するだけで再利用のハードルは下がるんですよ！

おかむーから一言

テクノロジーで社会をアップデートするの、マジで面白いんですよね。小さなエンジニアリング投資が、住民の利便性と政策の説明力を一気に上げるって信じてます！