代码で語るマニフェスト：从API到CSV看日本政府・自治体数据的技术现状

どうも〜おかむーです！今日はちょっとエンジニアっぽい話をしますよ〜

• 政府/自治体はAPI化と標準化の取り組みを進めているが実務レベルでは形式・品質にばらつきがある
• PDFに閉じられたデータやローカルルールが利用障壁になっている。要するに「機械可読性」が鍵
• 技術的な改善策（API整備、CSV/JSONの原則、データモデル標準、CI/CD）を提案する

結論

政府と自治体のオープンデータは量的には増えているけど、エンジニア的に言うと「一本のAPIで解決する」余地が大きいんですよね。PDF→CSVの変換や非標準フィールドの正規化といった前処理コストが高く、実際の利活用は限定的。標準API・データモデルの徹底と、データデリバリの自動化が最短の改善ルートです。

レポート本文

現状の技術スタックと公開状況

これ見てくださいよ：政府のAPIポータル（https://www.e-gov.go.jp/digital-government/api）やAPIカタログ（https://api-catalog.e-gov.go.jp/info/ja/apicatalog/list）は存在するし、総務省やデジタル庁もオープンデータ戦略を打ち出してます（https://www.soumu.go.jp/.../opendata03.html, https://www.digital.go.jp/policies/local_governments）。ただし、実務の現場では：

• データ形式ばらつき：CSV/JSON/Excel/PDF混在。PDFでしか公開されない統計報告がまだ多い
• データモデル欠如：同じ概念でも市区町村ごとに列名や単位が違う
• APIの分断：国のAPIは整備されつつあるが、地方のAPIは未整備か、認証や仕様がバラバラ

要するに、データパイプラインを組むときに前処理が膨大になるということです。

技術的な問題点（詳細）

• PDF vs CSV/JSON：PDFは人間向けに最適化されている。コード書く人ならわかると思うんですけど、テーブル抽出の失敗やフォント依存で精度が怪しくなるんですよね。PDF→CSVの変換はTabula/Camelot/Adobe OCRなどで対応できるけど、運用で安定させるには追加の検証ステップが必要。

• メタデータ不足：DCAT/Schema.orgなどでメタデータを提供していれば発見性と再利用性が高まる。現状はREADME的なPDFが説明になっている例が多い。

• 標準APIの不一致：総務省が示す「情報流通連携基盤共通API」やデジタル庁の標準化方針はある（参照：https://www.soumu.go.jp/.../index.html, https://www.digital.go.jp/policies/local_governments）が、地方システムのレガシー移行・予算・運用体制で差分が生まれている。

実務的コード例（データ取得と前処理のイメージ）

エンジニア的に言うと、API一本で解決する話なんですよね。まずはe-Govカタログからメタデータ引っ張る簡単な例（Python）です：

import requests
r = requests.get('https://api-catalog.e-gov.go.jp/info/ja/apicatalog/list')
if r.status_code == 200:
catalog = r.json()  # 要するにAPI一覧が取れる
print(len(catalog['items']))

PDFが公開されている場合の処理パターン例（自動化の考え方）：

• PDFをS3等に保存
• Lambda/Cloud FunctionでTabula/Camelot呼び出し
• 抽出結果をバリデーション（列型チェック、ユニット確認）
• 正規化してJSON/Parquet化

コード化してCIで品質ゲートを通せば、データ変更時の壊れを早期発見できます。要するに、自動化と検証の仕組みが重要ということです。

指標とギャップ分析（政策目標 vs 実績）

総務省・デジタル庁は「標準化・共通化」「ガバメントクラウド移行」を掲げています（https://www.digital.go.jp/policies/local_governments）。ただ、現場でよく見るギャップ：

• 目標：自治体システムの標準化で運用コスト削減

実績：標準APIは一部導入。多くの自治体は基幹システムのカットオーバー期に苦戦中

• 目標：オープンデータの利活用促進

実績：データ発見性は向上したが、データ品質と互換性がボトルネック

定量データが読める公開ダッシュボードが増えれば、目標達成度を定期的に監視できるんですけど、そこまで整備されていない自治体も多いです。

改善提案（技術ロードマップ）

データ公開の原則を明文化

- 原則：機械可読なフォーマット（CSV/JSON/Parquet）を第一義に。PDFは補助資料に限定

共通データモデル採用

- 地域別データ（人口・税収・施設）について国レベルでスキーマ定義（DCAT + JSON Schema）

APIファースト設計

- REST/GraphQLの標準仕様を提供し、APIカタログでDiscoverableに。認証方式はOAuth2.0で統一

CI/CDと品質ゲート

- データ更新をGitベースで管理。Schema検証、差分アラート、スキーマ進化の互換性チェックを自動化

エコシステム支援

- サンプルコード、SDK、サンドボックス環境を提供して民間利活用を促進（参照：デジタル庁の民間事例集 https://www.digital.go.jp/resources/data_case_study_private）

技術的な優先度としては「機械可読性の担保」→「データモデル」→「API・運用自動化」の順が効率的です。

まとめ

• 日本のオープンデータインフラは整備フェーズだが、現場のばらつきが利活用を阻害している
• PDF中心の公開はエンジニアの前処理コストを増やす。CSV/JSON原則化とスキーマの標準化が必須
• APIカタログや国の標準化方針（総務省・デジタル庁）がある今、技術的な改善は実行可能。自動化とCIで信頼性を担保しよう

おかむーから一言

テクノロジーで行政をアップデートするって言葉、実は結構シンプルで「データをちゃんと出して、ちゃんと使える形にする」ってだけなんです。やろうぜ、シンプルに速く！