どうも〜おかむーです！大家好，我是おかむー。

• 这篇文章用工程视角审视日本政府与自治体的数据发布现状
• 指出PDF vs CSV/JSON的“机器可读性”缺口，并给出代码级改进建议
• 提出可落地的API设计、数据治理与开放数据利用路线图

結論

现状：日本政府与地方自治体在逐步推动行政データの機械可読性，但实际发布里仍混杂PDF、散表CSV和零碎API，导致二次利用成本高。要把“マニフェスト”变成可验证的代码，需从数据规范（schema）、统一接口（API）、与工作流自动化三方面下手。エンジニア的に言うと，今天的问题很多是“没有统一契约（contract）”，要把契约写成OpenAPI/JSON Schema，才好做测试与监控。

レポート本文

これ見てくださいよ：現状の証拠

• 官方已经在推进规则：比如内閣官房のデジタル行財政改革会議が2026/03/31に「行政データにおける機械可読性に関するルール」を出してる（参照：digital.go.jp资料）。要するに“国がCSV/JSONにしなさい”と言い始めたわけです。
• 实际数据分发并非统一：有的机关直接放CSV（例：notice.go.jp的 status_notice.csv、環境省的CSV、各種CSVダウンロードリンク），但很多重要文档仍以PDF为主、或者散落在HTML表格里，这对自动化非常不友好。
• 地方DX评价平台（GovTech Bridge）提供自治体DX的评分，说明可以做横向比较，但其背后数据来源若不标准化，就没法形成可编程的KPI验证链。

技术问题点（工程视角）

机器可读性不一致

- 同一主题可能有PDF、CSV、HTML三种格式；字段名不统一，缺少schema

- 要するに：开发者需要做大量的ETL与脏数据清洗，重复劳动多

API稀缺或不规范

- 很多CSV是“放在静态服务器上”的形式，缺少分页、版本、变更日志

- 缺少标准认证与速率控制，难以在生产系统中稳定依赖

元数据与描述不足

- 没有统一的catalog（如DCAT），缺少数据更新时间、ライセンス、連絡先等

数値目標と実績のギャップ

- 政策宣言会有数値目標，但如果数据口径不统一，评估就无法复现或被游戏化

具体技术验证与代码例子

这部分给出工程上可马上运行的做法，代码写得简单明了，方便复制：

Python读取政府公开CSV（示例：notice.go.jp）

import pandas as pd
url = 'https://notice.go.jp/docs/status_notice.csv'
直接用pandas读取，若有エンコーディング问题可指定encoding='utf-8'或'shift_jis'
df = pd.read_csv(url)
print(df.head())

PDF里表格转CSV（当只有PDF时）：

# 推荐流程：tabula-py 或 pdfplumber
pip install tabula-py
python - <<PY
import tabula
tables = tabula.read_pdf('policy_report.pdf', pages='all', multiple_tables=True)
保存第一个表为CSV
tables[0].to_csv('out.csv', index=False)
PY

要するに：PDF->CSV->Schema验证的流水线能把人力成本降下来。

改善提案（可落地）

建立国家级数据カタログ（DCAT+JSON-LD）

- 每个数据集附带schema（JSON Schema）、ライセンス、更新频度、バージョン

强制“首次发布必须提供机器可读格式”规则

- 如果只发布PDF，必须同时提供结构化CSV/JSON或机器可读API（过渡期可提供转换工作流）

为核心数据提供RESTful API + OpenAPI Spec

- 支持分页、过滤、ETag/Last-Modified、CORS

- 输出格式优先JSON/JSON-LD，CSV做bulk下载

提供样例数据与SDK

- 官方维护Python/Node SDK以及示例Notebook，降低使用门槛

数据质量监控与SLO

- 对关键API设定可用性、更新延迟等SLO，并公开SLA报告

採用データ契約（Data Contract）与自動テスト

- 将数据校验（schema checks）纳入CI，对变更做breaking change检测

设计示例：简单API契约（概念）

• Endpoint: GET /v1/municipalities/{code}/dx-score
• Query: ?year=2025
• Response: JSON Schema 包含 { code, year, dx_score, indicators: [{id, name, value}], updated_at }

この契約があれば、エンジニアはコードでマニフェストの達成度を自動計算できる！

数据利用的商业与社会价值

• 横向比较自治体DX排名，支持资源再配分与政策评估
• 企业可以基于标准API构建公共服务SaaS（例如一键行政手続自动化）
• 市民与研究者能用可重复的代码验证政策效果，增加行政透明度

まとめ

• ルールは出てきている（機械可読性ルール等）が、実装の差が大きい
• 技术上可行且成本可控的路径就是：schema-first + API-first + 数据目录
• 单靠PDF与孤立CSV无法支撑可验证的マニフェスト；要用代码把承诺变成可测量的东西

おかむーから一言

技术能把政治变得更可验证！我这边既有创业经验也写过系统，愿意把工程实践带进行政领域，大家一起把“公開”变成“使える”数据！