代码で語るマニフェスト：从数据与工程看日本GovTech的现状与改进

どうも〜おかむーです！大家好，我是おかむー！今天想用“コードで語るマニフェスト”的思路，带大家从工程师和数据人的角度，扒一扒日本政府/自治体在数据发布与系统化上的问题和改进空间〜

3行要約

• 政府有越来越多的数据面向公众，但形式碎片化（PDF多、API少），机器可读性不足；
• KPI报告与交付金管理开始要求可验证的数字，但公开方式仍欠自动化与标准化；
• 提案：统一数据目录（DCAT/JSON-LD）、强制机器可读格式（CSV/JSON）、提供稳定API与CI质量检查。

結論

从工程视角看，政策承诺本身往往可被“代码化”——即通过可测量、可拉取的API与版本化数据集来验证。现在的问题不是缺乏数据，而是数据的可用性、可验证性和可持续运维不足。要把政策变成可执行、可持续的工程项目，必须把“数据合约（data contract）”和“API即SLA”纳入政策执行流程。

レポート本文

現状扫描 — 数据来源与形态

これ見てくださいよ：Digital庁（digital.go.jp）和各地的GovTech项目（例如GovTech東京）已经在做仪表盘、案例汇报和开放数据目录（参见govtechtokyo.or.jp的サービスページ）。但实际的数据交付常常是：PDF报告、HTML表格、或散落在多个ページ的CSV下载。内阁府关于デジタル田園都市交付金的KPI检查指南（chisou.go.jp的ガイドライン）也要求评价和改善，但报告与实绩的比对常靠人工整理。要するに：人在中间做大量ETL，没法做到实时核验。

技术问题点（エンジニア的に言うと）

• 機械可読性不足：很多关键数据被锁在PDF里，结构化信息缺失。PDF→CSV的流程容易出错。
• API缺位或不稳定：没有统一的公共API，自治体间风格各异，认证、レート制限、版本管理没有统一约定。
• メタデータ欠如：缺乏统一的データカタログ标准（例如DCAT/CSVW/JSON-LD），数据缺少schema描述与バージョン信息。
• KPIの検証自動化が弱い：政策目标的数值与实际绩效的数据链不连通，审计难以自动完成。

具体案例与证据来源

• GovTech東京在推进仪表盘和数据可视化（govtechtokyo.or.jp），能看到地方整合的好例子，但仍以可视化为主，原始数据格式不一。
• デジタル田園都市交付金的ガイドライン（chisou.go.jp/pdf）明确要求“事業の評価・改善”，但从公開实例来看，很多評価資料以PDF为主，缺少机器可追溯的KPI时间序列。

技术解决路线（含コード示例）

提案要点：统一目录、强制机器可读格式、开放稳定API、建立数据CI与SLA。

• 1) 建立中央データカタログ：采用DCAT/JSON-LD发布数据集的元数据，便于检索与链式引用。
• 2) 输出标准化格式：CSV（带CSVW描述）、JSON（带schema）、时间序列用ndjson或Parquet。
• 3) API层：使用REST/GraphQL并暴露OpenAPI规范，支持版本化与稼働メトリクス。
• 4) CI for data：每次数据更新触发自动化校验，检查schema、空值比例、增量阈值。
• 5) KPI可验证化：KPI定义为可查询的SQL或小型聚合API，外部审计可重复调用。

下面给一个简单的python示例，展示如何把一个CSV数据集摆到一个小型API上（工程师的最小可行品：）

# app.py — minimal Flask API serving a CSV-backed KPI
from flask import Flask, jsonify
import pandas as pd

df = pd.read_csv('kpi_timeseries.csv', parse_dates=['date'])
app = Flask(__name__)

@app.route('/api/kpi/<kpi_name>')
def kpi(kpi_name):
s = df[df['kpi']==kpi_name].sort_values('date')
return jsonify(s.to_dict(orient='records'))

if __name__ == '__main__':
app.run()

エンジニア的にはこれ一つでCIを回せます：PRでkpi_timeseries.csvを更新したら、CI跑schema检查、増減率异常检测、重复键检查，一旦通过自动deploy并更新カタログ（DCAT登録）。

PDF→データの現実解

PDF里有历史审议、説明資料，这些不可能一夜之间消失。现实可行的策略：

• 强制所有正式KPI/決算数据同时提供机器可读CSV/JSON；
• 对历史PDF做batch OCR+Tabula抽取，并把抽取结果连到データカタログ，标注“来源PDF页码与置信度”；
• 提供PSI（persistent source identifier）与版本号，确保审计链。

オープンデータ利活用の提案

• 建议国・都道府県共通的データ契約模板（Data Contract）来定义字段、更新频度、SLA；
• 为创业公司/研究者提供“沙盒API key”与示例データ集，降低初期接入成本；
• 推广CSVW/JSON-LD与schema.org/Dataset，使搜索引擎和民间ツール更容易发现与消费数据。

まとめ

• 政策的可执行性在很大程度上取决于数据的工程化程度：可读、可拉、可验、可追溯。
• 现在的缺口是格式与運用流程，而不是意愿。少量的基建工作（カタログ、API、CI）能极大提升透明性与効率性。
• 从PDF到API、从人工到CI，这些都是成熟的工程实践，值得在政府项目中常态化。

おかむーから一言

テクノロジーで社会をアップデートするって、口だけじゃダメなんです。データをコードにして、政策を検証可能にしようぜ！