熊本大学大学院自然科学教育部ニュースレター 森と風

教員特集
                           
被災した熊本城の石垣修復に画像処理の技術を活かす 大学院先導機構 自然科学研究科併任 助教 上瀧 剛
上瀧 剛(こうたき ごう) プロフィール

2007年熊本大学大学院自然科学研究科博士後期課程修了。2007年(株)日立製作所生産技術研究所研究員、2010年熊本大学大学院自然科学研究科助教を経て、2013年より現職に至る。

製造工程からゲームまで。可能性広がる画像処理システム。

Q:上瀧先生の研究テーマは?

「情報工学が専門で、2010年から熊本大学工学部の助教としてマシンビジョンに関する研究に従事しています。これはパターン認識や画像認識などの分野に含まれますが、簡単に説明するとカメラで撮影した画像をパソコンに入力して物体を認識する、いわばロボットの目の部分に相当するものを作る研究です。この技術は、半導体や電子部品などの生産ラインで、産業用ロボットにあらかじめ発見させたい画像を登録しておき、工場のベルトコンベアで流れてくる部品の位置や向きを認識させて部品をはめたり、良品/不良品を検査するといったシステムに応用されています。また、産業ロボット以外にも、実写とコンピュータグラフィックスを重ねあわせるAR技術やカーナビ、遠隔手術、ゲームなどといった、製造現場から私たちの生活の様々なシーンまで応用可能な技術といえます。昨年4月の熊本地震発災を受け、こういった画像処理システムが被災した熊本城の石垣修復に役立つのではないかという提案をし、現在、動き始めているところです」
kotaki1

高精細なパターンマッチング(位置合わせ技術)を石垣照合に応用。

Q:石垣復旧に着手されたきっかけはなんですか?

「熊本地震発生時から2ヶ月後の6月、学内で震災復興プロジェクトが立ち上がり、各教員ができる支援をそれぞれ提案していこうという活動がスタートしました。その際に、学科の先生たちと話し合ったところ、画像処理技術が熊本城の復旧に使えるのでは?という話があがりました。熊本城の石垣の被害はかなり深刻な状況で、正確な数は未だ不明ですが、全体の3割、大体2万個の石垣が崩落していると言われています。ご存じのとおり熊本城は国の重要文化財に指定されていますから、史跡保護の観点から石垣は崩落前の元の位置に戻さないといけません。今までこの手の修復作業は、石工職人がひとつひとつ目視で確認して行っていました。しかし、さすがに今回のような数万個レベルになると、少なくとも数十年は要すると言われています。そこでパターンマッチングの技術が復旧作業の短縮化に活かせるのではないかと考え、写真データ画像から輪郭部分の特徴を取り出して輪郭座標を抽出し、複数の点群で位置合わせを行う二次元画像マッチング技術を応用した石垣照合システムを構築しました」
kotaki2
崩落前と崩落後の石垣画像を用い、複数の点群で位置合わせを行うIterative Closet Point (ICP)アルゴリズムを活用。

Q:修復作業を行うにあたって問題点はありますか?

「現在、熊本城北側の百閒石垣と“奇跡の一本石垣”として話題になった飯田丸五階櫓周辺をターゲットに研究を進めています。修復に向けての課題を抽出したところ、様々な問題点が浮き彫りになりました。まず、そもそも崩落前の写真が残っていません。熊本市に残っていたのはデジタルデータではなく紙に印刷したもので、スキャナで取りこんでも解像度が悪くて使えない。WEBで落ちている観光写真を使うことも考えたのですが、観光写真は下方しか写っていないため、肝心の崩れている石垣上部の画像がない。一部の修復履歴がある箇所には図面が残っていますが、それ以外の箇所はお手上げでした。そんな中、凸版印刷さんが2011年に熊本城の3Dバーチャルリアリティのコンテンツを作られており、その際に4万枚ほどの高解像度の画像を撮影していたことが分かりました。本件に関して、先日熊大と協定を結び、凸版印刷さんと共同研究を始めたところです。」

低予算・時短を可能にする石額照合システムで作業の負担を軽減。

Q:今後、システムの改善は必要ですか?

「まず崩落前の石垣画像のCAD画面からデータベースを作成し、崩落石を撮影した画像100枚と自動照合して、元の位置の候補を10箇所出しました。その中に正解がどれだけ含まれているか調べたところ約8割が正解、残り2割が不正解でした。不正解の主な原因は撮影の角度や表面の割れなどです。しかし従来は全て目視で行ってきた作業ですから、8割という数字はなかなか良いと思いました。というのは、当初は全くうまくいかないと予想していたためです。候補を絞り込めるという点で石工職人の負担軽減、作業効率化は大きく期待できます。一部が欠けていたり、真っ二つに割れた石垣もあるため、今後は照合精度をさらに向上させ、より効率化したシステムの開発が必要です。」

Q:熊本城に対する先生の想いをお聞かせください。

「学術的にもこの問題設定は興味深く、やりがいがあります。このテーマに参加を希望した学生は結構いて、熊本城は熊本県民にとって心の拠り所なんだなということを強く感じました。このプロジェクトは5年10年という長いスパンで関わっていくものです。チームメンバーとしっかり腰を据えて共に頑張っていきたいと思っています」
kotaki3

kotaki4

取材時、オープンキャンパスの高校生向けに制作中だった石垣パズル。選んだ石垣を撮影し、画面上の石垣に組み合わせるという仕組み。