안녕하세요~ 오카무(おかむー)입니다! 오늘은 정부·지자체 데이터와 시스템을 코드를 통해 뜯어보는 시간입니다. 에ンジニア적 시선으로 정책의数値目標과公開データの品質을 대조해보죠!

• 이 글 3줄 요약

- 정부는 "機械可読性はExcelやCSVで"라는 가이드를 만들고 있는데, 현장 공개물은 여전히 PDF 중심인 경우가多いです

- API・メタデータ・スキーマ가 부족해서 데이터連携が難しい。コードで扱える形にする処理が頻発

- 改善案：API-first, OpenAPI・DCAT・JSON-LD, 自動検証パイプラインで現場負荷を減らす

結論

현실적으로 말하면, 정책 목표와 실제 실적을 신뢰성 있게 연결하려면 데이터 공개 방식이 바뀌어야 합니다. エンジニア的に言うと、まずは「PDF→CSV」や「断片API→統一API」の作業を減らして、データそのものをプログラムで直接使えるようにするのが近道なんですよね。

レポート本文

現状の観察（ソース参照）

これ見てくださいよ：内閣官房・デジタル庁の資料（https://www.digital.go.jp/, https://www.cas.go.jp/）では「行政データにおける機械可読性に関するルール(案)」が出ていて、ファイル形式はExcelやCSVを推奨しているんです（PDF不可推奨）。それでも地方自治体の実績報告や交付金の評価資料（例：須賀川市のサイト）を見ると、評価レポートや実績はPDFで公開されていることが多く、機械処理が容易ではない。

要するに：消費者（エンジニアや研究者）はPDFをスクレイピングして表を抽出する苦行を強いられている、ということです。

技術的な課題点

• フォーマットのばらつき：CSVでも文字コードや区切り、ヘッダ表現が統一されていない
• メタデータ不足：スキーマ（列の意味、単位、更新頻度）がないため統合が困難
• APIの欠如：バルクダウンロードや時系列APIがないケースが多い
• ライフサイクル管理の不足：データのバージョンや取得日時が明示されていない

コードで対処する例

次のPythonスニペットは、CSVがあればAPIレスポンス風に整形して時系列指標の差分を算出する流れの一例です。

import requests
import pandas as pd

例: e-Statや自治体CSVを直接取得して読み込む
url = 'https://example.gov/data/indicator.csv'
res = requests.get(url)
res.encoding = 'utf-8'
with open('indicator.csv', 'w', encoding='utf-8') as f:
f.write(res.text)

df = pd.read_csv('indicator.csv')
基本的な前処理
df['date'] = pd.to_datetime(df['year'].astype(str) + '-01-01')
df = df.sort_values('date')

政策目標と実績のギャップ計算
df['gap'] = df['target'] - df['actual']
print(df[['date','target','actual','gap']].tail())

PDFしかない場合は、tabula-pyやpdfplumberでテーブル抽出→整形のステップが必要。ここで要するに言うと、現場が毎回手作業で整形するのは非効率、ということです。

改善提案（技術スタックと運用）

API-firstで公開

- OpenAPIで仕様を公開、バルクと時系列用のエンドポイントを用意

機械可読メタデータ

- DCAT+JSON-LDでデータカタログを整備。列の意味と単位を明示

自動検証パイプライン

- CIでGoodtablesやfrictionless datapackageを使い、アップロード時にSchema検証

変換用の標準ライブラリを自治体共同で提供

- CSV正規化ツール、PDF→CSVのベストプラクティスをOSSで共有

透明なライフサイクル管理

- データセットにバージョン、最終更新、取得可能範囲を記載

これらを導入すれば、政策の数値目標と実績をリアルタイムにダッシュボード化して監視できるし、外部の研究者やスタートアップが再利用可能なデータをすぐに使えるようになります。

施策検証の具体例（ワークフロー）

• 予算執行→実績データをAPIで公開
• 定期的にCIがデータ品質チェックを走査
• ダッシュボードはGrafana/Metabaseで可視化、差分アラートを設定

メリット：政策のPDCAが短く回る、説明責任が果たしやすくなる。

まとめ

現場は「PDFで報告する文化」と「人手で整形する運用」によって、エビデンスベースの検証が難しくなっている。解決には技術的施策（API-first、メタデータ、検証パイプライン）と運用改革（テンプレ化、共同ライブラリ）が必要。要するに、コードで語れる形にデータを直していけば、政策の実効性もぐっと上がるんです！

おかむーから一言

テクノロジーで行政を速く・透明に変えよう。データのドアを開ければ、未来はもっと創造的になります！