• 이 글의 요지 3줄

- 중앙・지방 정부의 데이터 공개는 진전 중이지만 여전히 PDF 기반 배포가 많아 기계처리에 큰 장벽이 있음

- 정부 문서(デジタル庁 / 内閣官房 / 総務省)의機械可読性ルールは前進だが、実装と運用フェーズでのギャップが顕著

- 엔지니어 관점의 실무적 개선안: CSV/JSON 우선, API 표준화, 스키마・バリデーション、そして移行計画が鍵

結論

どうも〜おかむーです！정리하면, 정책 목표(標準化・機械可読性推進)는 맞는데 '現場の運用'が追いついていないんですよね。エンジニア的に言うと、データ公開は単なるファイル置き場じゃなくてAPIとスキーマを伴うインフラの設計課題です。要するに、PDF→CSV/JSON化＋API提供＋CIによる品質保証がセットで必要ということです！

レポート本文

背景と現状認識

これ見てくださいよ：デジタル庁や内閣官房が公開している「行政データにおける機械可読性に関するルール」（参考: https://www.digital.go.jp/、https://www.cas.go.jp/）は、ファイル形式をExcel/CSV等の機械可読形式にすることを明示していて、方向性は正しいです。しかし地方自治体の実運用ではまだPDFやスキャン画像での公開が散見されます（総務省の自治体標準化議論参照: https://www.soumu.go.jp/）。要するにポリシーはあるが実装が甘い！

• 問題点一覧

- データがPDFに埋め込まれ、テーブル抽出が必要になるケースが多い

- APIが未整備、あっても認証やレスポンス形式が自治体ごとにバラバラ

- スキーマ（列名、型、単位）の共通化が不十分でマージが困難

- 更新頻度やライセンス表記が不明瞭で自動化が難しい

技術的検証ポイント

1) PDF vs CSV/JSON

- PDFに埋めた報告書は人間読みに最適化されているだけで、機械処理が困難。pdfplumber / tabula-py で抽出はできるけど処理パイプラインがもろく、メンテコストが高い。

- 要するに：機械処理前提ならCSV/JSONを最優先で出すべき。

2) APIの有無と品質

- API一本で解決する話なんですよね。REST/GraphQLでCRUDを提供すれば更新・取得・集計が自動化できる。

- ただしAPI設計で重要なのは「安定したスキーマ」「ページネーション」「メタデータ（更新日時、ライセンス）」です。

3) スキーマ/バリデーション

- Frictionless Data specsやOpenAPI、JSON Schemaを使ってスキーマ定義＋CIでバリデーションを入れるべき。

- データ品質チェックはPytest/Pandasで自動化できます。

実務的なコード例（サンプル）

以下はCSVが公開されている想定で、APIがないときのスクレイピング→バリデーションの最小例（Python/pandas）:

import requests
import pandas as pd
from jsonschema import validate

url = 'https://example.go.jp/data/sample.csv'
df = pd.read_csv(url)

仮のJSON Schema
schema = {
'type': 'array',
'items': {
'type': 'object',
'properties': {
'prefecture': {'type': 'string'},
'year': {'type': 'integer'},
'value': {'type': 'number'}
},
'required': ['prefecture','year','value']
}
}

records = df.to_dict(orient='records')
validate(records, schema)

PDFだけしかない場合の抽出は次のツールが現実的：pdfplumber, tabula-py, Camelot。ただしOCRが必要なスキャンPDFはTesseractで前処理が必須。

政策目標と実績のギャップ分析

• 政策: デジタル庁・内閣官房が示す「機械可読性ルール」(2026資料含む)は明確化されている（参照: https://www.digital.go.jp/assets/...、https://www.cas.go.jp/...）。
• 実績: 多くの自治体サイトでは依然PDFが優勢で、API未提供のケースが多数。統一プラットフォーム（ガバメントクラウド移行・標準化）の進捗はあるが、運用コスト削減と人材育成がボトルネック。

数値で見るなら、ある自治体ポータルで公開ファイルのうちPDF比率が60%を超えているなど、機械可読化目標（例えばCSV比率80%）との差が大きいと想定できる（公開ポータルのサンプリングで確認推奨）。

改善提案（技術ロードマップ）

短期（〜6ヶ月）

- 重要度高いデータセットからCSV/JSON化の優先対応

- Data Portal上でメタデータ（更新日、ライセンス、API有無）を必須項目に

- PDFデータには付随して機械可読化済みファイルを必ず添付

中期（6〜18ヶ月）

- 共通API仕様（REST/JSON）を自治体間で標準化。OpenAPIで記述

- CI/CDでデータ公開時にスキーマ検査を導入（jsonschema, frictionless-check）

- データカタログ（CKAN等）導入で検索性と再利用性を向上

長期（18ヶ月〜）

- ガバメントクラウド上で共通のデータプラットフォームを提供（認証・監査・課金不要の基本機能）

- 運用人材の育成、自治体システム刷新の補助金スキーム整備

活用可能性の具体例

• 経済・感染症・移住施策など、自治体横断で時系列マージが必要なデータはAPIでの集約が最も費用対効果高い
• 民間企業や市民アプリが使いやすいフォーマットで公開すれば、二次利用が爆発的に増える（スマートシティ系サービスなど）

まとめ

• 政策の方向性（機械可読性・標準化）は正しい。ただし現場のファイル形式・API整備・スキーマ運用でギャップが残る
• エンジニア的提案はシンプル：CSV/JSON優先、API一本化、スキーマとCIで品質保証
• 技術投資と運用支援（人材・補助金）が揃えば、データ活用の価値は確実に上がる

おかむーから一言

테크로 사회를 바꾸는 건 결국 ‘작은 엔지니어링’의 누적입니다. 정책과 코드를 같이 디자인하면 가능성은 훨씬 커집니다—함께 해봅시다！