AIは建物のどこを見て築年代を予測するのか｜画像判断根拠をGrad-CAMで可視化

こんにちは、インフォマティクスの空間情報クラブ編集部です。

空間情報クラブではこれまでもAI機械学習による画像認識の事例をご紹介していますが、今回はCNN（畳み込みニューラルネットワーク）による画像予測の根拠に関する取り組みをご紹介します。

背景

近年、AI（人工知能）、Deep Learning（深層学習）が注目を集めています。囲碁や将棋といった頭脳スポーツで手軽にAIに挑戦できるようになったり、さまざまな分野の業務に応用されるようになってきました。

摂南大学 住環境デザイン学科 空間情報デザイン研究室 [1]ではこういった背景を受け、Deep Learningを使って建物の外観写真から築年代の推定を試みる研究に取り組みました。

築年代の推定をテーマにしたのは、築年代は一般公開されておらず、データ入手に時間がかかるため、これを簡単に推定できるようになれば、防災などの分野に応用できると考えたからです。

まず1960年から2010年までの6クラスで築年代推定したところ、正解率35％という結果でした。

またDeep Learningによる画像検出の処理はブラックボックスのため、推定の際、どの部分を特徴として判断しているのかがわからないという問題もありました。

そこで築年代推定の精度を向上させるには、判断根拠を明確にする必要があると考え、Deep Learningを使って築年代推定に影響する箇所（＝どの箇所が判断に影響を与えているか）を可視化することを目的とした研究を行いました。

ヒアリング

まず、築年代のクラス分けをより適切に行うための参考として、建築設計を専門とする実務者4名にヒアリングを行いました。

1960年代から2010年代までの建物の外観画像を見せて、外観と築年代の関係を質問していきました。

ヒアリング結果

ヒアリングの結果から、1960年代と1970年代、2000年代と2010年代には目立った違いがないことがわかりました。

• 昔は瓦屋根が多かったため、屋根の勾配が4寸勾配などに決まっていた
• 今はオーニング窓やスリット窓など、いろいろな種類の窓がある
• 法律が変わったことで3階建ても建てられるようになった
• 外壁の塗装が昔は湿式だったが、今は乾式が多い
• 防水技術が発展したことで、片流れや陸屋根などができている
• 今の方が階高が高く、昔の家は全体的にスケールが小さい
• 今は土地が狭くなっているため木が少なく、木の感じも違う

表1：ヒアリング結果　　※画像は[2][3]から引用

1980年から2000年の間で建物の特徴が変化していると考えましたが、境目が明確ではないため、需要が期待できる建築基準法が改正された1981年を境として、以下のように3分類・6クラスに分けて推定を行いました（1980年代、1990年代は省く）。

• 分類A：1960～1981年・1982～2019年
• 分類B：1960～1989年・1990～2019年
• 分類C：1960～1979年・2000～2019年

築年代推定

築年代推定には本研究室の学生［1］が収集した画像と、推定モデル（VGG16を転移学習［1］したモデル）を使用しました。

画像収集条件

• 対象建物：戸建住宅
• 対象築年代：1960～2010年代
• 対象地域：近畿圏2府5県
• 収集枚数：750枚

開発環境

• Python（プログラミング言語）
• TensorFLOW（フレームワーク）
• Keras（ライブラリ）
• Jupyter Notebook（記録・解析ツール）
• VGG16（学習済みモデル）

VGG16とは大規模なデータセットで学習された学習済みモデルのことをいいます。

築年代推定のデータ数

築年代推定の結果

築年代推定を3種類行った結果、それぞれ精度と誤差は以下のようになりました。

図1：精度の推移

図2：誤差の推移

学習時の精度は分類A：68.8％、分類B：79.2％、分類C：83.8％となり、この結果から以下が考察できました。

• 建築基準法が改正された1981年付近ではあまり違いはみられない
• 1980年～2000年の間に建物外観に変化が生じている

本研究は影響箇所の考察を目的としているため、83.8％と最も精度が高い「分類C：1960～1979年・2000～2019年」を可視化の対象としました。

影響箇所の可視化

可視化手法には、 近年注目されているGrad-CAM（Gradient-weighted Class Activation Mapping）を使用しました。

Grad-CAM

Grad-CAMはCNN（畳み込みニューラルネットワーク）による画像分類を可視化した手法です。Grad-CAMを用いることで、画像内のどの箇所が推測の根拠となったのかを可視化できます。

画像の判断根拠として影響している箇所をヒートマップで表現できるため、CNNの最終分類の決め手が何かを考察できます。

2000～2019年と推定された判断根拠　　※画像は[2][3]から引用

今回学習を行ったモデルとGrad-CAMを使い、Deep Learningが画像のどの部分を根拠に築年代を推定しているのかを考察していきます。

可視化方法

可視化方法には生成された特徴マップを使って、予測結果にどの程度の影響を与えているのかを計算し出力しています。

計算には、影響を与えている勾配や重み係数を使っています。

結果と考察

可視化を行った画像を元に影響箇所を考察しました。

可視化画像の考察

図3に判定や可視化を行った一部を示しています。TP・TNは正解画像、FP・FNは不正解画像です。

図3：判定画像と可視化画像　　※画像は[2][3]から引用

図3から以下のことがわかりました。

• 不正解の画像は、画素数が少ないものや太陽の光が差し込んでいるものが多い
• 正解の画像でも、影が入り込んでいる画像は正解率が低い傾向がある

このことから、本モデルは画像上に映っている太陽の光や影を認識できないと考えられます。

しかし建物を判断根拠としている画像は正解率が高く、建物以外を判断根拠としている画像は正解率が低かったので、本モデルは築年代の推定に建物を参考にしていることがわかりました。

影響箇所の考察

可視化した影響箇所を以下の9種類に分類しました。

1. 窓
2. 木
3. ベランダ
4. 壁
5. ブロック塀
6. 屋根
7. 隣家
8. 空
9. その他

分類の際、ヒートマップ画像の中で最も強く影響している箇所を判断根拠としました。

可視化した画像を項目別に分類したところ、窓・壁・ベランダ・庭の木などを影響箇所としている画像が多く、これらの画像は正解率が高いという結果が出ました。

図4は可視化した画像の集計結果です。可視化箇所が最も多いのは壁・窓・木だったので、主な判断根拠はこの3つであると考えられます。

図4：影響箇所の集計結果

表2：昔と今の特徴　　※画像は[2][3]から引用

さらに壁、窓、木を判断根拠としている表2の特徴は、人の目でも画像からはっきりと違いを確認できます。

このことから、本モデルはデータを使って訓練する際、表2のような特徴の違いを把握して学習しており、そのため正解率が比較的高いと考えられます。

さらに、先の実務者4名に行ったヒアリングでも、昔と近年の違いについて上記表2の特徴と同様の意見が得られていたので、本モデルが築年代を推定する際の判断根拠は、人の判断根拠と共通点があると考えられます。

まとめ

今回の研究により、以下のことが明らかになりました。

• 本モデルは建物を見て築年代を推定している
  ⇒太陽の光や影が映っていない学習データ（画像枚数）を増やせば精度が向上する
• 本モデルは画像上の影や光を認識できない
• 築年代を推定する際の判断根拠は「窓・壁・木」である
  ⇒人（建築設計のプロ）と本モデルの判断根拠は共通している

今回は可視化を行うことが目的であり、精度の良いモデルを使用することを優先したため、今後推定が必要とされる1980年代と1990年代は触れませんでした。判断根拠の考察を行ったのも1960 年代・1970年代と2000 年代・2010年代のみでした。

今後1981年を境に建物を見分けられるようになれば、より精緻かつ有益なデータが得られると思われます。

築年代は災害シミュレーションや震災時の避難経路を考える際に重要な情報ですが、容易に取得できず、誰もが簡単に扱えるデータでもありません。

本研究で行った築年代推定のように、画像を入力するだけですぐに築年代が判明すれば、シミュレーションや避難経路策定がより簡単に行えるようになると考えます。

【参考文献】
[1] 坂本真一：「Deep Learning を用いた築年代推定の試み」，摂南大学卒業論文集，2018-01
[2] RECRUIT．“【SUUMO】関西の不動産情報・不動産売買・住宅情報”．https://suumo.jp/，（2018-07-24参照）
[3] LIFULL．“不動さん・賃貸・住宅情報（マンション・一戸建て）ならHOME’S【ホームズ】”．https://www.homes.co.jp/，（2018-07-30参照）
[4] Selvaraju，R.R.，Das，A.，Vedantam，R.，and Cogswell，M. ： ｢Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization｣，（2019-9-10参照）

※本記事は摂南大学 住環境デザイン学科 空間情報デザイン研究室 榊愛様、小泉明星様のご承諾を得て、空間情報クラブ編集部にて記事化したものです。