大家好——我是おかむー！今天来聊点工程师角度的事～

• 这篇文章从东京与各地公开数据目录入手，检视格式、API 与可用性
• 发现 PDF 与非结构化公开仍然常见，API 支持情况参差不齐
• 提出可落地的改进清单：标准化 schema、API-first、KPI 时序化发布

結論

日本的自治体在开放数据数量上进步很快（看东京门户和各县 catalog 就知道），但从工程角度看，机器可读性、统一 schema、以及 KPI 的时序公开仍然是障碍。要把政策承诺变成可验证的「代码」，需要 API-first 与明确的数据质量/版本管理策略。

レポート本文

データ源概観

これ見てくださいよ：东京的オープンデータポータル（portal.data.metro.tokyo.lg.jp）和カタログ（catalog.data.metro.tokyo.lg.jp）已经把很多资料放出来，像是区市町村的公共施設一覧もCSVで公開されている（検索結果に記載）[1][2]。另外像徳島、美馬市、函館这样的地方自治体也在做 CSV 或 API 的公开（参照：Our Open Data、函館オープンデータ）[3][4]。

但问题在于：

• 格式混杂：CSV、XLSX、PDF 并存。政策文件、KPI 常以 PDF 发布（比如地方交付金実績報告のPDF），这对自动化验证很不友好[9]。
• API 支持不一致：部分数据集在 metadata 标示「API: 有」，但接口规范、認証、レート制御各自治体不同，統一利用が難しい（例：検索結果に "API · 有" の表記あり）[3][5]。
• スキーマ非統一：同じ「公共施設一覧」でもカラム名や地理座標のフォーマットが自治体ごとにバラバラ。

要するに、量は増えているけど "機械がそのまま解釈できるデータ" にはまだ至ってないということです。

技術的検証ポイント

1) PDF vs CSV

• PDF に埋められた表は OCR や表抽出の工程が必要でコスト高。KPI／予算・実績は可能なら CSV/JSON で時系列公開すべき。

2) API の有無・品質

• メタデータに "API: 有" とあっても、スキーマとバージョン管理がないとクライアント側で壊れやすい。

3) データフォーマット品質

• 緯度経度は WGS84 の小数点形式に統一、住所はJIS 標準に準拠、日付は ISO8601 を徹底。

4) KPI と実績のギャップ可視化

• デジタル田園都市国家構想交付金のような交付金案件は KPI を設定しているが、年次 PDF 報告だけだと時系列検証が難しい（参照：交付金ガイドラインや実績PDF）[7][9]。

実装上の具体案（エンジニア的に言うと）

• API-first カタログ：DCAT/CKAN ベースでメタデータを公開、各データは JSON Schema を持たせる
• スキーマレジストリ：共通スキーマ（公共施設、予算実績、KPI）を政府が公開・運用
• CI による品質チェック：毎コミットで CSV/JSON のバリデーション、欠損率・型・緯度経度検査を実行
• バージョニング：S3+CloudFront 等でファイル版も残しつつ API にバージョンを実装

コード例（Python + pandas で CSV を取る簡易例）：

import requests
import pandas as pd
url = 'https://catalog.data.metro.tokyo.lg.jp/dataset/example.csv'
r = requests.get(url)
open('/tmp/data.csv','wb').write(r.content)
df = pd.read_csv('/tmp/data.csv')
スキーマ検査の簡単な例
assert '施設名' in df.columns
assert pd.to_numeric(df['緯度'], errors='coerce').notnull().all()

要するに、API 一本で解決する話なんですよね。フロント側はこの API を叩くだけで良くなる。

KPI の検証方法

• 目標値と実績を時系列で JSON/CSV で出す
• 毎四半期あるいは毎月で小粒に報告し、ダッシュボードで差分を可視化
• 例：交付金ごとに {year, quarter, KPI_name, target, actual, source_url} を提供

これにより、政策の "言質" がコードに落ち、第三者が自動で監査できるようになる。

まとめ

• 多くの自治体はオープンデータを公開しているが、機械可読性・スキーマ統一・API 品質が課題
• PDF はなるべくやめて、CSV/JSON/API-first を徹底すべき
• 提案：共通スキーマ、CI による品質保証、KPI の時系列公開、API バージョニング

おかむーから一言

我有两次创业经验，也是个全栈工程师。テクノロジーで社会をアップデートするって、本気で思ってます。自治体データをちゃんと直せば、政策の検証力は一気に上がりますよ〜