研究テーマ
研究の概要
「百聞は一見に如かず」という諺にもあるように，人間は外界情報の多くを「視覚」から得ていると言われています．情景や物体を「見る」ことによって，その広がり，大きさ，形，色，模様などを知ることができます．コンピュータが人間のように物を見て，それが何であるか分かるようになったとき，コンピュータは今よりもっと賢く，柔軟性に富み，私たちの生活をさらに便利にしてくれるツールになり得ると考えられます．
筑波大学知的画像処理研究室では，この「『物を見て知る』能力をコンピュータに創り込む」ことを目指し，デジタル画像からそこに写っている情景や物体を認識・理解するための理論とアルゴリズムの構築，ならびにそれを実現するプログラムの開発を行っています．具体的には以下の各項目について研究をすすめています．
その他の研究やより専門的な紹介についてはこちらのページ(日本語，English)を御覧下さい．また，本研究室の卒業論文，修士論文，博士論文一覧はこちらのページを御覧下さい．
研究の一例
A．医用画像を読影する医師をサポートするシステムの開発
|
病気の早期発見・診断・治療のための医用画像診断装置 ―例えばX線CT，MRI，PETなど― が近年急激に発展しています．最新の医用画像診断装置は沢山の画像を撮影し，より小さな病変まで映し出すことができるようになりました．しかしその反面，膨大な画像量は，それを診断する医師に過大な負担を強いるようになってしまっています． この研究では，医師の負担を軽減し，トータルでの病変発見率を向上させることを目標に，コンピュータを使って病変を認識し，情報提供するアルゴリズムの開発を行っています． Fig.1 は胸部X線CT画像（の合成図）で，右中央に病変がある様子を表しています．このようなCT画像に，画像中のノイズを除去する平滑化処理，陰域領域を抽出する2値化処理，領域に番号付けをするラベリング処理などの色々な画像処理技術を施し，陰影領域の大きさ，形，画像での濃さなどを測定することによって病変を的確に検出することができます． |
 Fig.1 医用画像から病変を検出するアルゴリズムの一例． |
B．胸部X線CT画像から肺がんを検出する画像フィルタの開発
肺臓器をX線CT装置を使って撮影すると Fig.1 のような画像が得られます．右側中央の丸い陰影(赤い四角)が肺がんで，その他の線状陰影(例えば青い四角)は肺血管です．この肺がん陰影だけを検出し，その他の正常血管陰影は検出しない画像認識アルゴリズムを構築し，コンピュータプログラムを作成することが必要になります．
先にも述べたように一般に肺がんは丸い陰影，血管は線状の陰影になります(拡大図が Fig.2 の上部にあります)．これらの陰影を鳥瞰図表示した図形が同図下部にあります．がんは富士山状の陰影構造を持ち，血管はかまぼこ状の陰影構造を持ちます．
これら二種類の陰影構造を識別するために，「Diskフィルタ」と「Ringフィルタ」の二つの画像フィルタを用います．まず両方の陰影構造にRingフィルタを上から落とします．がん陰影ではRingは富士山の麓まで落ちますが，血管陰影ではかまぼこの尾根線に引っかかって止まります．次にDiskフィルタを落とします．がん陰影では富士山の頂上で止まり，血管陰影ではやはり尾根線で止まります．二つのフィルタの落ちた高さの差(差分値)を測定し，その差分値が大きい陰影だけががんであるとするアルゴリズムによって，正しくがん陰影を検出することができます．
発表論文：1
 Fig.1 原画像におけるがん陰影と血管陰影． |
⇒ |
 Fig.2 DiskフィルタとRingフィルタによる癌陰影の検出． |
C．胸部X線CT画像から肺臓器領域を抽出する手法の開発
病巣を正確に検出するためには，病巣が存在する画像範囲を正確に把握しなければなりません．例えば，肺がんは肺臓器の内部に存在しますので，画像中における肺臓器領域を高精度に抽出することが求められます．
Fig.1 は胸部X線CT画像から肺臓器領域を抽出するアルゴリズムの一例を表しています．ここではまず濃淡値の2値化処理を使って肺領域を粗く抽出し，次にマセマティカルモロフォロジという3次元領域の形状を整形する処理を適用することで精度良く肺臓器を抽出しています．抽出した肺臓器をサーフェースレンダリングして立体表示したものが Fig.2 になります．
 Fig.1 肺臓器の抽出アルゴリズム. |
 Fig.2 肺臓器の立体表示. |
D．3次元物体モデルを用いたがん・血管識別手法の開発
肺がんは進行初期のステージでは球形に成長することが分かっています．一方，血管は管状の組織で，内部を血液が流れています．この3次元的な構造の違いに着目してがんと血管を見分ける手法の開発を行っています．Fig.1a はがん陰影，Fig.2a は血管陰影，Fig.3a は血管に隣接するがん陰影です．
この研究ではがんを球形のモデル(Fig.1b)，血管を円筒モデルを組み合わせたモデル(Fig.2b)，またがんの近くに血管が走行する様子を球形モデルと円筒モデルを組み合わせたモデル(Fig.3b)でそれぞれ表現します．陰影の画像データとこれらの3次元物体モデルとを照合することによって，がんと血管を識別しています．
   Fig.1a がん陰影 (連続する3スライス). |
 Fig.1b がんモデル. |
   Fig.2a 血管陰影． |
 Fig.2b 血管モデル． |
   Fig.3a 血管に隣接するがん陰影. |
 Fig.3b がんと血管の組合せモデル. |
この研究で重要な点は，人体の肺血管の構造をなるべく忠実に再現した血管モデルを使うことです．人体胸部では，中央(の少し左より)に心臓があり，それを囲むように肺臓器が配置しています．中央の心臓から肺動脈と肺静脈が出現し，肺臓器内を分岐しながら辺縁部分(肋骨近く)に達しています．
従って，肺血管は分岐する度に細くなり，肺臓器の中を樹状に広がって走行するという構造を持っています．本研究では，この胸部中央では肺血管は太く，分岐を繰り返す毎に細くなるという解剖学的知識を Fig.4 と 5に示すような分布モデルとして表現しています．
Fig.4 は肺血管の平均半径の分布モデルで，各部位での肺血管の平均半径を表しています．赤い部分は太い血管が存在することを表し，青や紫の部分は細い血管が存在することを表しています．Fig.5は半径の標準偏差の分布モデルで，赤いほど値が大きいことを表しています．この血管半径についての情報を3次元血管モデルに反映させることによって，より忠実な血管モデルを生成し，識別精度の向上を達成しています．
 Fig.4 肺血管の平均半径の分布モデル． |
 Fig.5 肺血管の半径の標準偏差の分布モデル． |
E．診断用グラフィカルユーザインターフェースシステムの開発
|
この研究では，ユーザ(医師)になるべく簡単な操作で診断支援システムを使用してもらうためのグラフィカルユーザインターフェースの開発を目指しています．Fig.1のような，必要な情報がディスプレイ一面に表示され，キーボードやマウスなど一般的な入力デバイスで，効率的に診断を行えるインターフェースが必要になります． 発表論文：1 |
 Fig.1 診断用GUIシステムの概観． |
F. ステレオ画像による物体認識
|
画像からそこに写っている情景や物体の立体情報を再現する研究はコンピュータビジョンと言われています．ステレオビジョンはその一つで，2台のカメラを使って画像を撮影し，立体情報を得る方法です．ここでは私たちが開発している立体情報再現方法について紹介します． Fig.1 のような２つのカメラを備えたステレオカメラシステムで物体（例えば箱）を撮影すると Fig.2 とFig.3 のような2枚の画像が得られます．物体表面の模様のような特徴的な点を捉えて三角測量すると，カメラからその点までの距離が得られます．Fig.4 における緑色の点は距離の得られた点を表します．緑色の点を基準にして，物体表面各所における面の方程式を計算すると，赤い四角形の集合で示すように物体表面を再現することができます． このような方法を用いることによって，例えばカメラを搭載したロボットが情景や物体を自分で認識することができ，自律的に行動することができるようになります． |
 Fig.1 ステレオカメラシステム． |
 Fig.2 左カメラで撮影された画像. |
 Fig.3 右カメラで撮影された画像. |
 Fig.4 被写体（左の箱）の計算機再構成. |
G．ステレオ画像による自然物体の認識
一般に，人工物に比較して自然物は複雑な形状を持っています．下図に示した植物は典型的な例です．この研究では，このステレオ画像(Fig.1 とFig.2)から距離画像(Fig.3)を求め，Fig.4 に示すようにこの植物物体を再構成しています．この再構成からこの植物の高さや葉の面積などを推定することによって，その成長具合などを把握することができます．
発表論文：1
 Fig.1 左画像. |
 Fig.2 右画像. |
⇒ |
 Fig.3 距離画像． （赤い画素はカメラに近く， 緑，青になるほど遠くなることを表す） |
⇒ |
 Fig4 再構成. |
H．盲導犬ロボットのための視覚システムの開発
視覚障害者の歩行を補助するロボットのための視覚システムです．Fig.1 と Fig.2 のようなオフィスシーンのステレオ画像から，Fig.3 の距離情報を得て，特徴点間の距離を推定し，ロボットやユーザが通過できるかどうか推論することによって，Fig.4 (正面図)とFig.5 (上面図)のようなオフィスシーンの再構成図を得ることができます．
図中，赤色の部分は机などの障害物，緑色の部分は通過可能な場所(通路)，青色の部分は物体の影で通過可能性の不明な場所を表します．これら3つの情報を Fig.6 の力覚デバイスの反力の違いとして提示することによって視覚障害者に情報提示することを目指しています．
 Fig.1 左画像． |
 Fig.2 右画像. |
 Fig.3 距離画像． （赤い画素はカメラに近く， 緑，青になるほど遠くなることを表す） |
 Fig.4 シーン再構成の正面図． |
 Fig.5 シーン再構成の上面図． |
 Fig.6 力覚デバイス． |