アジラが世界に誇る行動認識AIとは

こんにちは!株式会社アジラ執行役員CTOの若狭です。アジラは、”事件・事故を未然に防ぐ世界へ”をVisionに掲げ、施設向けAI警備システムの開発及び販売や行動認識AIを用いたソリューション事業を行う会社です。Tech Blog第2回の今回はアジラが世界に誇る行動認識AIに関して紹介致します。

 

行動認識AIとは

行動認識(Action Recognition)は、人物の行動を認識するアルゴリズムであり、一般的なカメラからのRGBデータをはじめ、RGBデータに深さ情報を追加したRGBD データや、各種加速度センサやモーションセンサ計測データを活用したものなど、様々な入力データに対するアルゴリズムの研究が行われています。特にカメラからのRGBデータを活用した行動認識アルゴリズムは、人物にセンサを取り付ける必要がなく、一般的なカメラで取得可能なRGBデータのみで解析を行うことが可能であるため、様々な業界において行動認識の活用が期待されています。
RGBデータを活用した行動認識アルゴリズムは、図1に示すように、入力が画像(Image)か動画(Video)により分類することができます。また、出力の形態によっても分類することができ、行動分類(Action Classification)と行動検知(Action Detection)に大きく分けることができます。行動分類は入力データに対する行動ラベルを予測するものであり、行動検知はそのデータ内における人物位置及び時間(動画の場合)も行動ラベルと共に予測するアルゴリズムになります。アジラでは、入力を動画とした行動検知アルゴリズムの開発に注力しており、今回の記事では、RGB動画データを用いた行動検知アルゴリズムを中心に紹介致します。

図1:行動認識アルゴリズムの分類例

動画を入力とした行動検知を実現するアルゴリズムにも様々なものが提唱されていますが、検知精度及び必要とされる計算資源などの優位性から、図2に示すように姿勢推定を基盤とした行動検知アルゴリズムをアジラでは採用しています。

 

図2:アジラ社の行動認識アルゴリズム


姿勢推定アルゴリズムAsillaPose®

姿勢推定アルゴリズムとは、画像や動画データを入力とし、その入力データに映る人物の各関節点を推定するアルゴリズムです。姿勢推定を基盤とした行動検知アルゴリズムの精度は、いかに精度良く姿勢推定を行えるかに大きく左右されるため、姿勢推定アルゴリズムの精度は非常に重要なものとなります。アジラでは姿勢推定アルゴリズムをコア技術と位置付けており、開発当初から独自データおよび独自モデルアーキテクチャで開発を行っており、継続的に精度向上を行ってきました。2022年8月にリリースされたAsillaPose® Ver5.0では、精度及び計算効率性において、他の姿勢推定アルゴリズムを大きく上回っています。(図3参照)
 

図3:姿勢推定アルゴリズム比較(Bottom-up Approach)

 

グラフベースでの行動認識アルゴリズム

次に、姿勢推定アルゴリズムから得た姿勢データを時系列で人物毎に追跡し、時系列姿勢データから行動検知を行います。時系列姿勢データの解析では、人物姿勢データをグラフとして扱い解析を行います。Deep Learningでは、前提条件なしにすべて学習データから各種特徴などを学習することもできますが、データに関する仮定を置くことで、学習の効率化及び精度向上が可能なことが知られています(帰納バイアス)。人間の関節点は、隣接する点が変動することは無く、また画像&映像内での回転や並行移動に対し不変であるという仮定をおこくことができるため、人物の姿勢をグラフとして扱うことで、これらの仮定をモデルアーキテクチャに落とし込むことが可能となります。機械学習モデルの学習では、対応する行動の時系列姿勢データを学習データとし、教師あり分類モデルとして学習を行います。この際、アジラでは多くの開発及び運用時に得た行動データを活用することができ、非常に高い精度の機械学習モデルの学習が可能となっています。

 

行動認識AIの応用例

カメラ映像からの行動検知モデルを活用することで、警備、医療・介護、スマートシティ、マーケティング、モビリティ、生産現場など様々な分野での応用が期待されています。特に、防犯カメラの映像から人物の行動を検知し、その後の対応を迅速に行うなどの警備用途では、リアルタイムで高精度の検知を行う必要があるため、非常に高い技術が要求されます。

 

最後に

アジラでは、常に行動認識アルゴリズムをコア技術と位置付け、精度向上を継続して行い、実運用レベルの技術に仕上げてきました。また、更に複雑な行動も精度良く検知を行うために、単眼カメラからの3次元姿勢推定の研究も行っています。

【必見】次世代生体認証技術”歩容認証”とその応用例に迫る!

テックブログ始めました!

こんにちは!株式会社アジラ執行役員CTOの若狭(@MasaWakasa)です。アジラは、”事件・事故を未然に防ぐ世界へ”をVisionに掲げ、施設向けAI警備システムの開発及び販売や高度認識AIを用いたソリューション事業を行う会社です。今回、アジラの技術を皆様により知ってもらうために、テックブログを始めました。アジラでの基礎研究から、開発体制や文化なども発信していく予定です。初回はアジラの基礎技術の1つであるマルチカメラトラッキングに関して紹介します。

 

 

次世代生体認証技術”歩容認証”とは

突然ですが皆さん、歩容という言葉は聞いたことがありますか?歩容とは動物の歩行パターンであり、実はこの個人を特徴づける様々な有益な情報が含まれています。そのため、1997年に初めて歩容を用いた人物認証に関する論文が発表されて以来、非常に多くの研究が発表されています。世界的には、大阪大学の産業科学研究所の研究のグループがとくに有名です。また、法律面でも2017年5月に施行された改正個人情報保護法では、歩容は顔の特徴量等と同列の”個人識別符号”であると明記されるなど、現在注目を集めている技術です。

 

アジラ社内での撮影動画をもとに歩容分析を実施した動画

 

”歩容認証”技術の必要性

歩き方は、歩幅や姿勢の違い、動き方(左右の比較含む)や腕の振り方の特徴などで明確な違いが見られます。歩容認証は、対象者がヘルメットやサングラス、マスクなどで顔が見えない状況においても利用できます。そのため、歩容認証は個人を特定する場合にも有効な認証技術であり、不審行動人物の特定など事件事故を未然に防ぐためにも必要な技術となってきています。

 

”歩容認証”で何が解決できるのか

歩容認証の技術は、カメラから遠く離れた人物の無意識の歩行に対しても適用可能です。顔がはっきり映らないような低解像度の場合であっても、その映像から歩容認証が可能です。歩容認証の技術を応用すれば、防犯・セキュリティなどの「安全・安心」のために違和感行動や不審行動をしている人物を特定し追跡して事件事故を未然に防ぐこと、高齢者施設や病院施設などでの利用者のケア支援、施設における誘導やショッピングの支援などにも役立ちます。

 

”歩容認証”の処理フロー

映像から歩容を用いた人物を同定する技術は、現在までに様々な例が報告されていますが、やはり近年はDeep Learningを用いた手法が主流になっています。具体的なフローとしては、下図に示すように、入力動画に対してまずは適切な処理を施して歩容情報の抽出を行います。その後、歩容情報をDeep Learningモデルに入力することで、その人物の歩容情報を凝縮した特徴量ベクトルを生成します。このベクトルと、別のベクトルとの距離を計算することで、距離が近い場合は同一人物、距離が遠い場合は別の人物であると認識します。

 


歩容特徴ベクトルを生成するDeep Learningモデルは、様々なモデルアーキテクチャが発表されていますが、やはり近年は流行であるViT (Vision Transformer)を用いた論文が増えてきています。アジラは、東京工業大学の篠田研究室と共同研究を行っており、日々歩容認証の精度向上に向け、独自の歩容認証機械学習モデルの研究開発を行っております。また、高精度のモデルを開発するためには、やはり学習データが大切となるため、アジラでは、ベトナムで多くのエキストラの方のサポートの元、独自の学習データの設計及び作成も行っています。

 

学習データ作成の様子

 

”歩容認証”技術の応用例

歩容認証技術は、顔認証等と異なり、街中のカメラ映像等の画角でも適用という点が、他の生体認証技術と大きく異なる点です。そのため、アジラのマルチカメラトラッキングもそのような環境下での利用を想定しています。例えば迷子/徘徊人の迅速な捜索や、不審行動人物の侵入経路分析、施設内の人流解析なども可能となります。将来的に次世代生体認証技術”歩容認証”を顔認証レベルまでの精度が実現すれば、入退館システムでの認証なども可能となります。既にアジラにおいても、本技術を活用した複数の製品開発が進行しており、今後ますます本技術の需要が高まることが期待されています。

 

 

 

マルチカメラトラッキング技術とは

アジラでは、歩容情報等を活用し、異なるカメラ及び日時においても、カメラに映る人物の同定が可能な、マルチカメラトラッキングの開発を行っています。人物の特徴としては、短期的に変動する特徴量(服装など)と、長期的にも変動しない特徴量(歩容や顔)に分けることができ、マルチカメラトラッキングではこれらの特徴を複合的に組み合わせることで、様々な環境下における人物同定を実現します。特徴的動作をもとに人物同定を行う技術に関しては、特許も取得させて頂いております。また、本技術は将来的には数千人単位での人物同定を実現する計画であり、大規模システムインフラ開発などにも力を入れています。
歩容認証技術(本技術)の適用には、個人情報に関して注意して取り扱わなければなりませんが、社内での有識者検討会議の実施や、大手IT企業様のサポートのもと個人情報保護委員会での審議などを通して、情報の取得保持方法に細心の注意を払いながら開発を行っております。

 

最後に

アジラでは、”事件・事故を未然に防ぐ世界”の実現に向け、日々様々な研究開発を行っております。アジラのVisionに共感して頂ける方、アジラの研究開発に興味をお持ち頂けた方、ぜひお話させてください!