researchmap

Grant amount：\47190000 （ Direct Cost: \36300000 、 Indirect Cost：\10890000 ）

本研究課題では，識別の対象（インスタンス）を属性の集合（束）とみなし，特徴量空間においてその特徴を属性ごとに分解する．そして，これらの属性特徴からインスタンスを再合成する過程で属性特徴を最適化することで，各属性を高精度で識別し，かつ，外れ値に対し頑健な識別手法を実現することを目的としている。このために深層生成モデルと高密度な属性アノテーションに基づく学習手法を開発する．従来研究の多くが対象とその属性が一対一に対応する平坦な意味構造を仮定していたのに対し，本研究は多くの属性が複雑に絡み合う対象における複数の属性を同時に識別することを可能にする．新しい属性やクラスの創発も視野に入れる．より具体的には、深層学習を用いた「合成による識別」のアプローチにより，構成的なパターン認識・理解を行う方法論を確立する．人の動作認識，話者・感情認識，マルチモーダル認識の3つのタスクで横断的に評価し，従来に比べ高い識別性能を目指す．初年度である本年度は、人の動作認識、話者・感情認識、マルチモーダル認識の各々の課題において、評価データベースの構築と、ベースライン方式の開発を行った。これらと並行して、比較的小規模なタスクで、拡散モデルなどの生成モデルを用いて識別を行う方式の開発を行った。また、ニューラル構造探索などを用いて生成モデルの効率的な学習を行う方式も開発した。特に、センサーと映像のマルチモーダル認識における基本方式の構築、およびデータベース構築、人間の歩容認識の基本方式の開発、マルチモーダル感情認識の基本方式の開発を行った。

researchmap

Grant amount：\17420000 （ Direct Cost: \13400000 、 Indirect Cost：\4020000 ）

researchmap

Grant amount：\17420000 （ Direct Cost: \13400000 、 Indirect Cost：\4020000 ）

シナプティック記憶テーマについて，従来法の課題を解決できる理論的枠組みを構築した．巡回型のモダンホップフィールドネットワークは，入力クエリに対し，モデルの内部に持つ記憶データの関連付けが行えるが，クエリが分布外データに相当するときに誤った関連付けを行ってしまう．この課題に対し，我々は分布の内外判定機能を持たせることによって原理的に課題を解決できる方法を定式化した．現在論文を執筆中である．
人物行動の生成的予測テーマについて，異なる人体モデルに基づくデータを統括的に学習に用いることのできるアルゴリズムを開発し，国際会議ECCVに論文を投稿した（査読中）．この手法により，人体モデルの定義が異なるデータセットを学習でき，より自然な行動生成が行えることを確認した．
視点変化の下での三次元理解テーマについて，生成器と回帰器の協調的推論という新規な提案を行い，回帰器のみを用いる従来法に対する性能改善効果を確認した．国際会議ICIPに論文を投稿した（査読中）．機能分化されたモデル群（異なる目的関数によって最適化された複数のネットワーク）が協調的に働くことで下流タスクの性能が改善できることを示すことが出来た．
時系列整合判定テーマについて，既存の自動運転用の認識器の特徴に整合を壊す成分が含まれる課題を確認した．
目標値伝播法テーマについては，従来法の性能改善として，順・逆ネットワークのヤコビアンの整合性を取る方法を提案した（Y. Baoら，AAAI 2024）．

researchmap

Grant amount：\4420000 （ Direct Cost: \3400000 、 Indirect Cost：\1020000 ）

In this project, the applicant has developed a deep learner that performs multitask learning (MTL, Multitask Learning), in particular, MTL for the combination of object detection and semantic segmentation, and object tracking and detection. We have selected task combinations and data sets, proposed and improved cross-connections to realize MTL, and confirmed the improvement of generalization performance by MTL. The convolution of the cross-connections was replaced by a convolutional recurrent neural network, and a network for processing time-series data was designed, achieving performance improvement over conventional methods.

researchmap

Grant amount：\3900000 （ Direct Cost: \3000000 、 Indirect Cost：\900000 ）

In this project, we worked on the detection and classification of objects that are too small that they can only be recognized by their motion. With wide area surveillance of wild birds as a target application, we collected 4K resolution videos for sea eagles around the wind turbines and labeled bird trajectories and background parts for 768 GB videos. As a method of detection and classification, tracking using a correlation filter of deep feature and motion learning by convolutional LSTM leads to a method that identifies a bird by its motion patterns acquired by simultaneously tracking them. It achieved a performance improvement of 25.2% points from baselines that only use still-image features. The achievements appeared as several papers, and they will contribute to reduce the impact of wind turbines on the ecology of wild birds.

researchmap