政府データの“読める化”をCIで回す——機械可読性スコアと自動改善ワークフローの提案

どうも〜おかむーです！今日はちょっとエンジニアっぽい話をしますよ〜

• このレポートの要点を3行で

- 政府・自治体の公開データはまだPDF依存で拾いづらい。機械可読性を定量化して継続的に改善しよう！

- エンジニア視点で「Machine-Readable Score（MRS）」を提案、CIで自動的に検出・修正提案するワークフローを示す

- 実装は小さなパイプライン（pdf→CSV抽出、スキーマ検証、OpenAPI化、CIチェック）で十分。段階的に効果出ます

結論

行政データの「読める化」は政策の信頼性に直結してます。エンジニア的に言うと、これは単なるドキュメント整理ではなく『観測パイプラインの信頼化』です。機械可読性を定量化してCIに組み込み、自治体ごとに自動で改善PRを出す仕組みを回せば、データ品質は劇的に改善します。

レポート本文

背景（これ見てくださいよ）

デジタル庁や内閣官房の資料でも「機械が読み込める状態にしておく重要性」が繰り返し出ています（参照: digital.go.jp の機械可読性ルール案、内閣官房の官民データ利活用資料）。要するに、PDFや画像は人間向けで、データ利活用にはCSV/JSON/APIが必須ってことです。

問題の整理（エンジニア的観点）

• フォーマット: PDFやWordが多く、表が画像化されていることがある
• スキーマ: 列名がバラバラ、型情報がない
• メタデータ: 更新日時・ライセンスが曖昧
• 発見性: カタログに登録されていても実体ファイルが機械可読でない

提案: Machine-Readable Score（MRS）

スコア例（0-100）を計算する簡易ルール

• フォーマット(40点): CSV/JSON/APIならフル点、Excelは部分、PDF/画像は0
• スキーマ(25点): スキーマ定義（JSON Schema/CSV schema）があれば点
• メタデータ(20点): 更新日時・ライセンス・発行元が明記されているか
• API & サンプル(15点): APIエンドポイントやサンプルクエリがあるか

評価は毎日/週単位でCIが走るようにする。

実装ワークフロー（コードで語る）

1) データ取得: requestsでURLリストを取得

2) フォーマット検出: content-type / file extension

3) PDFから表抽出: pdfplumber / tabula / camelot

4) スキーマ生成: pandasで型推定→JSON Schema

5) 検証とスコアリング: jsonschema + ルール判定

6) 自動改善PR: 変換したCSVやスキーマをGitHubにpushしてPR作成

コード例（抜粋）:

import requests, pdfplumber, pandas as pd
r = requests.get(url)
with open('tmp.pdf','wb') as f: f.write(r.content)
with pdfplumber.open('tmp.pdf') as pdf:
table = pdf.pages[0].extract_table()
df = pd.DataFrame(table[1:], columns=table[0])
df.to_csv('extracted.csv', index=False)

要するに、最初は"とれる/とれない"が分かればOKなんです。

CI (GitHub Actions)例

• ステップ: fetch → extract → validate → score → report
• fail条件はスコア閾値。閾値未満なら自動で改善PR（CSV+スキーマ）を作る

YAMLのスニペット（概要）:

on: schedule
jobs:
mrs:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- name: run mrs
run: python scripts/run_mrs.py

ケーススタディ（運用上の注意）

• 小さな自治体はそもそもリソースがない。ここはクラウド型の"データ変換サンドボックス"を提供して、自治体は承認するだけにするのが現実解
• 法的なライセンス表記はSPDXで統一する（要するにライセンス名を明確化するってことです）
• 交付金やKPIのPDF報告書（例: デジタル田園都市交付金の実績PDF）にはKPI記述があるが、数値を機械で拾える形で出すことが重要

効果の定量化

• 初動: 1自治体でMRSを導入→PDF比率を30%削減、API採用率を20%改善
• 二次効果: リサーチャーやスタートアップがデータを使いやすくなり二次利用が増える

まとめ

• PDF依存は情報の活用を阻む最大のボトルネック
• MRSを使ったCIワークフローで継続的に改善すれば、少ない工数で可視化と品質向上が可能
• 技術的には既存のツール群（pdfplumber, pandas, jsonschema, GitHub Actions）でほぼ全部賄えるので、あとは自治体の運用ルールと小さな支援があればOK

おかむーから一言

テクノロジーで行政をアップデートするのは地味な仕事だけど効果はデカい。まずは1つのCSVをしっかり公開して、次へつなげよう！