自治体の進捗報告データを“差分で見る”——現場の運用をコードで可視化する提案

どうも〜おかむーです！今日はちょっとエンジニアっぽい話をしますよ〜

• 3行要約

- 総務省やデジタル庁が扱う自治体の進捗報告データ、公開形式がバラバラで機械処理に弱いんですよね

- エンジニア的には差分配信（Delta API）と自動検証パイプラインで現場負荷を下げつつ信頼性を上げられる

- 実装例（schema検証、差分検出、KPIギャップ計算）をコードで示して改善ロードマップを提案します

結論

総務省の「自治体情報システムの標準化・共通化」やデジタル庁の進捗報告を参照すると、要は“データの更新を効率よく・検証できる形で受け渡す”仕組みが足りないんです。要するに、PDFや不定形CSVをやり取りする代わりに、差分配信＋スキーマ化＋自動検証のセットを標準化すれば、工数とミスが減ってKPI検証も高速化できます。ここでは具体的な技術スタックとコード例でその道筋を示します！

現状の観察（参照元: 総務省・デジタル庁等）

• 総務省のページでは標準化PMOツールで進捗を集約しているとあるが、公開データの多くがPDF埋め込みや非規格CSVで散逸しているケースがある（デジタル庁や内閣官房のAI-Ready資料でも機械可読性の重要性が強調されている）。
• これ見てくださいよ：進捗は“ある時点のスナップショット”で提供されがちで、更新履歴・差分情報がAPIできちんと出てこないんです。要するに“誰がいつ何を変えたか”が追いにくい。

技術検証: 何をどうチェックするか

1) フォーマット検証

• 期待：CSV/JSONにCSVWやJSON Schemaのメタデータが付与されること
• 実装案：jsonschemaでスキーマ検証、CSVならCSVWのJSON-LDメタでカラム型を確定

Python例（jsonschemaで検証）:

from jsonschema import validate, ValidationError
import json

schema = json.load(open('schema.json'))
doc = json.load(open('report.json'))
try:
validate(doc, schema)
print('OK')
except ValidationError as e:
print('NG', e)

要するに、スキーマで守れれば解析コードが安定するということです。

2) 差分配信（Delta API）の導入

• エンジニア的に言うと、全件ダウンロードを毎回やるのはナンセンスで、ETag/Last-ModifiedやJSON Patch/NDJSON差分で差分配信すべきです。
• 実装パターン：

- Webhookで更新通知

- GET /reports?since=2026-03-01 returns ndjson with changes

- 各エントリに provenance（作成者・タイムスタンプ・バージョン）を付与

差分検出の簡易コード（Python、前後CSV比較）:

import pandas as pd
old = pd.read_csv('old.csv')
new = pd.read_csv('new.csv')
merged = new.merge(old, on='id', how='outer', indicator=True)
added = merged[merged['_merge']=='left_only']
removed = merged[merged['_merge']=='right_only']
modified = merged[(merged['_merge']=='both') & (merged.filter(like='_x') != merged.filter(like='_y')).any(axis=1)]

3) KPIギャップの自動算出とトレーサビリティ

• 政策目標（例：標準化率90%）と実績を時間ベースで比較するSQL/コードを用意する

SQL例（Postgres）:

SELECT date_trunc('month', reported_at) as mon,
sum(case when compliant then 1 else 0 end)::float / count(*) as compliance_rate
FROM reports
GROUP BY mon
ORDER BY mon;

要するに数値目標と実績の差分が自動で出れば、政策のPDCAが回しやすくなります。

改善提案（実務ロードマップ）

スキーマとメタデータの強制化

- JSON Schema / CSVWを標準に採用。総務省のPMOツールからのエクスポートにメタを付ける

差分配信APIの提供

- ETag/Range/ndjson/JSON Patchの組合せで実装。Webhookで即時通知

CI的なデータ検証パイプライン

- PRのようにデータ更新を検証する仕組みを用意（スキーマ検証、バリデーション、KPIの自動チェック）

プロビナンスと署名

- W3C PROV準拠のメタを付け、重要レコードは署名して改ざん検出

サンプル実装と運用ガイドをオープンに

- GitHubテンプレートで自治体がすぐ使える雛形を提供

期待される効果と運用上の注意

• 効果：解析工数削減、ミス低減、透明性向上、AI活用の前提整備（内閣官房のAI-Ready資料にある要件に合致）
• 注意点：現場のキャパシティを考え、段階的導入（まずread-onlyの差分通知 → 次に完全自動化）で負荷を平準化する

まとめ

• PDFや不定形CSVのまま運用を続けるのは非効率。差分配信＋スキーマ検証＋自動KPI算出が現場にも政策監視者にも効く
• 要するに、コード（小さなパイプライン）で信頼性を担保すれば、政策の実効性も測りやすくなるということです！

おかむーから一言

テクノロジーで行政をもっと速く、公平に。まずは小さな差分APIとスキーマから始めてみましょう！僕も手伝いますよ〜