交付金レポートを“自動で比較”する技術ガイド:PDFの海からKPIを掘り出す方法

IT政策の提案
交付金レポートを“自動で比較”する技術ガイド:PDFの海からKPIを掘り出す方法

どうも〜おかむーです!今日はデジタル田園都市国家構想交付金の実績レポートをエンジニア的に解析して、地域間比較を自動化する話をしますよ〜

  • レポートはPDFで散らばっているけど、比較したいKPIは同じはず
  • 機械可読化の第一歩はテーブル抽出+スキーマ正規化
  • コードでやれば自治体ごとの“いいね”ポイントと課題が見えてくる

結論

現状、交付金関連の実績資料(例:内閣府や各自治体のPDF:https://www.chisou.go.jp/ や https://www.pref.yamaguchi.lg.jp/)は人間向けに最適化されていてデータ利活用に向かない。でもエンジニア的に言うと、PDF→表抽出→スキーマ正規化→バージョン管理のパイプラインを作れば、地域比較は十分自動化できる。要するに「データの入口」をプログラムで作れば、政策評価のスピードと透明性が劇的に上がるということです!

レポート本文

問題の整理:これ見てくださいよ

  • 国・自治体の交付金ページはPDF中心(例:内閣府報告書 https://www.chisou.go.jp/sousei/about/kouhukin/pdf/r6_houkokusho-suishin.pdf や自治体の評価PDF https://www.city.moka.lg.jp/material/files/group/47/r6digitaldennennkouhukinnhyouka.pdf)
  • PDFはレイアウトが多様で、KPI名の表現もバラバラ
  • 一方で総務省やデジタル庁は標準化を推している(https://www.digital.go.jp/policies/local_governments 、https://www.soumu.go.jp/)

エンジニア的に言うと、ここはETLの典型課題です。入力(PDF)→抽出(テーブル認識)→変換(正規化スキーマ)→出力(CSV/JSON/DB)というパイプラインをコードで作ればいいんですよね。

技術スタック提案

  • テーブル抽出:Camelot / tabula-py / Adobe PDF Services(精度比較が必要)
  • テキスト抽出:pdfminer.six、Tesseract(スキャンPDF対応)
  • 正規化:Pandas + custom mapping辞書(KPI名マッピング)
  • 検証:Great Expectations風のルールでKPIの型・単位を自動チェック
  • 管理:Git + CI(新しいPDFを取り込んだら自動テスト&デプロイ)

コード例(概念):

import tabula

import pandas as pd

pdf = 'r6_houkokusho-suishin.pdf'

tables = tabula.read_pdf(pdf, pages='all', multiple_tables=True)

テーブルを統合し、KPI名を正規化

df = pd.concat(tables)

mapping = {'KPI達成率':'kpi_rate', '目標値':'target'}

df.columns = [mapping.get(c, c) for c in df.columns]

df.to_csv('normalized_kpis.csv', index=False)

要するに、簡単な辞書マッピングと検証ルールを作るだけで、各自治体の「目標」と「実績」を横並びにできます。

実務上の注意点

  • 単位のバラつき(%・件数・金額)を厳密に扱うこと。自動変換ルールがいる
  • 表のヘッダが複数行にまたがるケースや注釈が混入しているケースに対応するための後処理が必須
  • 法令や省庁リリース(デジタル庁、総務省)のスキーマ標準と合わせるのが長期的に楽

施策提案(すぐできる優先度高め)

  • 交付金レポートの“機械可読版”要求テンプレを作る(PDFと同時にCSV公開を必須に)
  • オープンソースの「交付金PDFパイプライン」を作って自治体へ提供(Docker化して現場で走らせられる形)
  • KPIスキーマレジストリを国がホストして、自治体はマッピングだけ作ればいいようにする
  • まとめ

    • PDFオンリーの実績報告はまだまだ多いが、技術で解ける問題
    • 重要なのは“スキーマ設計”と“継続的な検証”の仕組み
    • 小さなパイプライン(PDF抽出→正規化→CI)を自治体に広げれば、政策評価の透明性が一気に上がる!

    おかむーから一言

    テクノロジーで社会をアップデートするのって、本当にワクワクするんですよ。まずはPDF1つ、自動化してみましょう。そこから社会が動きます!

    シェアする