2026/04/29 更新

写真a

ソン　カクメイ
孫　鶴鳴
SUN HEMING
所属
情報理工学院 准教授
職名
准教授
ホームページ
https://hemingsun-lab.github.io/
外部リンク

学位

  • 博士(工学) （ 2017年3月   早稲田大学 ）

研究キーワード

  • 深層学習

  • 大規模言語モデル

  • コンピュータビジョン

  • 動画像処理

  • 大規模集積回路

研究分野

  • 情報通信 / 計算機システム

  • ものづくり技術（機械・電気電子・化学工学） / 電子デバイス、電子機器

  • 情報通信 / 知覚情報処理

学歴

  • 早稲田大学   情報生産システム研究科   博士課程

    2014年4月 - 2017年3月

    　 詳細を見る

  • 上海交通大学   電子情報電気工学研究科   修士課程

    2012年9月 - 2014年3月

    　 詳細を見る

  • 早稲田大学   情報生産システム研究科   修士課程

    2010年9月 - 2012年9月

    　 詳細を見る

  • 上海交通大学   電子情報電気工学部

    2007年9月 - 2011年7月

    　 詳細を見る

経歴

  • 東京科学大学   准教授

    2026年4月 - 現在

    　 詳細を見る

  • 横浜国立大学   准教授

    2023年4月 - 2026年3月

    　 詳細を見る

  • 国立研究開発法人科学技術振興機構   兼任研究員

    2019年10月 - 2023年3月

    　 詳細を見る

  • 早稲田大学   次席研究員(研究院講師)

    2018年9月 - 2023年3月

    　 詳細を見る

  • 日本電気株式会社   中央研究所   研究員

    2017年4月 - 2018年9月

    　 詳細を見る

  • 東京大学

    2016年7月 - 2016年9月

    　 詳細を見る

  • カリフォルニア大学デービス校

    2015年8月 - 2015年9月

    　 詳細を見る

▼全件表示

所属学協会

委員歴

  • IEEE Journal on Emerging and Selected Topics in Circuits and Systems   Guest Editor  

    2024年6月   

    　 詳細を見る

    団体区分：学協会

    researchmap

  • IEEE Transactions on Circuits and Systems for Video Technology   Associate Editor  

    2023年1月 - 現在   

    　 詳細を見る

    団体区分：学協会

    researchmap

  • Picture Coding Symposium Special Session Chair  

    2022年12月   

    　 詳細を見る

  • IEEE VCIP Area Chair  

    2021年12月   

    　 詳細を見る

  • IEEE ISCAS Session Chair  

    2021年5月 - 現在   

    　 詳細を見る

  • Picture Coding Symposium   Special Session Chair  

    2019年11月   

    　 詳細を見る

    団体区分：学協会

    researchmap

▼全件表示

論文

▼全件表示

MISC

  • 実時間処理に適した映像予測モデルの設計と訓練

    廣瀬翔太, 琴寄和樹, SUN Heming, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム(Web)   39th-29th   2024年

    　詳細を見る

  • End-to-End Learned Image and Video Compression: Design, Implementation, and Computer Vision Applications

    Wen-Hsiao Peng, Heming Sun

    IEEE/CVF International Conference on Computer Vision, tutorial   2023年10月

    　詳細を見る

  • Advances in Design and Implementation of End-to-End Learned Image and Video Compression

    Wen-Hsiao Peng, Heming Sun

    IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), tutorial   2023年1月

    　詳細を見る

  • 深層学習画像圧縮のコンテキストモデルにおける潜在表現分割の検討

    村井史門, LIN Fangzheng, SUN Heming, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム(Web)   38th-28th   2023年

    　詳細を見る

  • Forward WarpingとBackward Warpingを併用したフレーム外挿手法の提案

    琴寄和樹, SUN Heming, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム(Web)   38th-28th   2023年

    　詳細を見る

  • フレーム内挿モデルの映像予測向け訓練に関する一検討

    廣瀬翔太, SUN Heming, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム(Web)   38th-28th   2023年

    　詳細を見る

  • 低遅延でインタラクティブなゼロレイテンシー映像・Somatic統合ネットワーク

    甲藤二郎, 金井謙治, SUN Heming, WEI Bo, 勝山裕, ZHENG Wen, 中村裕一, 近藤一晃, 下西慶, 小野浩司, 根波健一, 青木智資, 片野淳一, 吉岡修一, 作中剛, 小林康雄, 小沢基一, 秋田純一

    電子情報通信学会大会講演論文集(CD-ROM)   2022   2022年

    　詳細を見る

  • 深層学習を利用した超解像のINT8実装に関する調査と考察

    廣瀬翔太, 和田直己, SUN Heming, 甲藤二郎, 甲藤二郎

    電子情報通信学会技術研究報告(Web)   121 ( 346(IE2021 27-33) )   2022年

    　詳細を見る

  • 低遅延でインタラクティブなゼロレイテンシー映像・Somatic統合ネットワーク-映像情報とSomatic情報の未来予測と統合技術-

    勝山裕, ZHENG Wen, 金井謙治, 金井謙治, SUN Heming, WEI Bo, 甲藤二郎, 甲藤二郎, 甲藤二郎

    電子情報通信学会大会講演論文集(CD-ROM)   2022   2022年

    　詳細を見る

  • Advances in Design and Implementation of End-to-End Learned Image and Video Compression

    Wen-Hsiao Peng, Heming Sun

    IEEE ISCAS, tutorial   2021年5月

    　詳細を見る

  • Deep Learning Method for Image Compression

    Heming Sun

    情報処理学会 短期集中セミナー(SC 29)   2021年2月

    　詳細を見る

  • 深層学習を利用した超解像のINT8実装に関する調査と考察

    廣瀬翔太, 和田直己, SUN Heming, SUN Heming, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム(Web)   36th-26th   2021年

    　詳細を見る

  • VVCへの深層学習によるフレーム補間の適用

    清水盛偉, SUN Heming, SUN Heming, 甲藤二郎

    電子情報通信学会技術研究報告(Web)   120 ( 389(IMQ2020 10-35) )   2021年

    　詳細を見る

  • 超解像ネットワークを用いた符号化ひずみ低減に関する検討

    小松蒔遠, 清水盛偉, SUN Heming, SUN Heming, 甲藤二郎

    電子情報通信学会技術研究報告(Web)   121 ( 54(SIP2021 1-10) )   2021年

    　詳細を見る

  • HEVCへの深層学習によるフレーム補間の適用

    清水盛偉, CHENG Zhengxue, SUN Heming, SUN Heming, 竹内健, 甲藤二郎

    情報処理学会研究報告(Web)   2020 ( AVM-111 )   2020年

    　詳細を見る

  • CNNによる最適Intra予測モード推定を用いた動画像符号化

    横山怜汰, 田原雅彦, SUN Heming, SUN Heming, 竹内健, 松尾康孝, 甲藤二郎

    電子情報通信学会技術研究報告   119 ( 421(ITS2019 30-56) )   2020年

    　詳細を見る

  • CNNを用いた動画像符号化における最適Intra予測モードの推定

    横山怜汰, 田原雅彦, SUN Heming, 竹内健, 松尾康孝, 甲藤二郎

    画像符号化シンポジウム・映像メディア処理シンポジウム   34th-24th   2019年

    　詳細を見る

▼全件表示

講演・口頭発表等

  • Improving Latent Quantization of Learned Image Compression with Gradient Scaling

    Heming Sun, Lu Yu, Jiro Katto

    IEEE International Conference on Visual Communications and Image Processing  2022年12月 

    　詳細を見る

    開催年月日： 2022年12月

    会議種別：口頭発表（一般）  

    researchmap

  • F-LIC: FPGA-based Learned Image Compression with a Fine-grained Pipeline

    Heming Sun, Qingyang Yi, Fangzheng Lin, Lu Yu, Jiro Katto, Masahiro Fujita

    IEEE Asian Solid-State Circuits Conference  2022年11月 

    　詳細を見る

    開催年月日： 2022年11月

    会議種別：口頭発表（一般）  

    researchmap

  • Learned Video Compression with Residual Prediction and Feature-aided Loop Filter

    Chao Liu, Heming Sun, Xiaoyang Zeng, Yibo Fan

    IEEE International Conference on Image Processing  2022年10月 

    　詳細を見る

    開催年月日： 2022年10月

    会議種別：ポスター発表  

    researchmap

  • Streaming-capable High-performance Architecture of Learned Image Compression Codecs

    Fangzheng Lin, Heming Sun, Jiro Katto

    IEEE International Conference on Image Processing  2022年10月 

    　詳細を見る

    開催年月日： 2022年10月

    会議種別：ポスター発表  

    researchmap

  • Memory-Efficient Learned Image Compression with Pruned Hyperprior Module

    Ao Luo, Heming Sun, Jinming Liu, Jiro Katto

    IEEE International Conference on Image Processing  2022年10月 

    　詳細を見る

    開催年月日： 2022年10月

    会議種別：ポスター発表  

    researchmap

  • Improving Multiple Machine Vision Tasks in the Compressed Domain

    Jinming Liu, Heming Sun, Jiro Katto

    International Conference on Pattern Recognition  2022年8月 

    　詳細を見る

    開催年月日： 2022年8月

    会議種別：口頭発表（一般）  

    researchmap

  • A QP-adaptive Mechanism for CNN-based Filter in Video Coding

    Chao Liu, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    IEEE International Symposium on Circuits and Systems  2022年5月 

    　詳細を見る

    開催年月日： 2022年5月

    researchmap

  • An Area-efficient Unified Transform Architecture for VVC

    Zhijian Hao, Qi Zheng, Yibo Fan, Guoqing Xiang, Peng Zhang, Heming Sun

    IEEE International Symposium on Circuits and Systems  2022年5月 

    　詳細を見る

    開催年月日： 2022年5月

    researchmap

  • Fast Intra Mode Decision for VVC Based on Histogram of Oriented Gradient

    Aorui Gou, Heming Sun, Jiro Katto, Tingting Li, Xiaoyang Zeng, Yibo Fan

    IEEE International Symposium on Circuits and Systems  2022年5月 

    　詳細を見る

    開催年月日： 2022年5月

    researchmap

  • Research and examination on implementation of super-resolution models using deep learning with INT8 precision

    Shota Hirose, Naoki Wada, Jiro Katto, Heming Sun

    4th International Conference on Artificial Intelligence in Information and Communication, ICAIIC 2022 - Proceedings  2022年 

    　詳細を見る

    開催年月日： 2022年

    researchmap

  • Forward and Backward Warping for Optical Flow-Based Frame Interpolation

    Joi Shimizu, Heming Sun, Jiro Katto

    4th International Conference on Artificial Intelligence in Information and Communication, ICAIIC 2022 - Proceedings  2022年 

    　詳細を見る

    開催年月日： 2022年

    researchmap

  • ViT-GAN: Using Vision Transformer as Discriminator with Adaptive Data Augmentation

    Shota Hirose, Naoki Wada, Jiro Katto, Heming Sun

    2021 3rd International Conference on Computer Communication and the Internet, ICCCI 2021  2021年6月 

    　詳細を見る

    開催年月日： 2021年6月

    researchmap

  • Learned Image Compression with Fixed-point Arithmetic

    Heming Sun, Lu Yu, Jiro Katto

    Picture Coding Symposium  2021年6月 

    　詳細を見る

    開催年月日： 2021年6月

    researchmap

  • A Hardware Architecture for Adaptive Loop Filter in VVC Decoder

    Xin Wang, Heming Sun, Jiro Katto, Yibo Fan

    Proceedings of International Conference on ASIC  2021年 

    　詳細を見る

    開催年月日： 2021年

    researchmap

  • Approximated reconfigurable transform architecture for VVC

    Yixuan Zeng, Heming Sun, Jiro Katto, Yibo Fan

    Proceedings - IEEE International Symposium on Circuits and Systems  2021年 

    　詳細を見る

    開催年月日： 2021年

    researchmap

  • Accelerating convolutional neural network inference based on a reconfigurable sliced systolic array

    Yixuan Zeng, Heming Sun, Jiro Katto, Yibo Fan

    Proceedings - IEEE International Symposium on Circuits and Systems  2021年 

    　詳細を見る

    開催年月日： 2021年

    researchmap

  • Deep Pedestrian Density Estimation For Smart City Monitoring.

    Kazuki Murayama, Kenji Kanai, Masaru Takeuchi, Heming Sun, Jiro Katto

    ICIP  2021年 

    　詳細を見る

  • Learning in Compressed Domain for Faster Machine Vision Tasks

    Jinming Liu, Heming Sun, Jiro Katto

    2021 International Conference on Visual Communications and Image Processing, VCIP 2021 - Proceedings  2021年 

    　詳細を見る

    開催年月日： 2021年

    researchmap

  • Fast Object Detection in HEVC Intra Compressed Domain

    Liuhong Chen, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    European Signal Processing Conference  2021年 

    　詳細を見る

    開催年月日： 2021年

    researchmap

  • Fully Neural Network Mode Based Intra Prediction of Variable Block Size

    Heming Sun, Lu Yu, Jiro Katto

    IEEE International Conference on Visual Communications and Image Processing (VCIP)  2020年12月 

    　詳細を見る

    開催年月日： 2020年12月

    researchmap

  • HEVC video coding with deep learning based frame interpolation

    Joi Shimizu, Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    2020 IEEE 9th Global Conference on Consumer Electronics, GCCE 2020  2020年10月 

    　詳細を見る

    開催年月日： 2020年10月

    researchmap

  • Scalable Learned Image Compression With A Recurrent Neural Networks-Based Hyperprior

    Rige Su, Zhengxue Cheng, Heming Sun, Jiro Katto

    2020 IEEE International Conference on Image Processing (ICIP)  2020年10月  IEEE

    　詳細を見る

    開催年月日： 2020年10月

    researchmap

  • End-To-End Learned Image Compression With Fixed Point Weight Quantization

    Heming Sun, Zhengxue Cheng, Masaru Takeuchi, Jiro Katto

    2020 IEEE International Conference on Image Processing (ICIP)  2020年10月  IEEE

    　詳細を見る

    開催年月日： 2020年10月

    researchmap

  • A Learning-Based Low Complexity in-Loop Filter for Video Coding

    Chao Liu, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    2020 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)  2020年7月  IEEE

    　詳細を見る

    開催年月日： 2020年7月

    researchmap

  • Low Bitrate Image Compression with Discretized Gaussian Mixture Likelihoods

    Zhengxue Cheng, Heming Sun, Jiro Katto

    2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)  2020年6月  IEEE

    　詳細を見る

    開催年月日： 2020年6月

    researchmap

  • An Image Compression Framework with Learning-based Filter

    Heming Sun, Chao Liu, Jiro Katto, Yibo Fan

    2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)  2020年6月  IEEE

    　詳細を見る

    開催年月日： 2020年6月

    researchmap

  • Learned Image Compression With Discretized Gaussian Mixture Likelihoods and Attention Modules

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)  2020年6月  IEEE

    　詳細を見る

    開催年月日： 2020年6月

    researchmap

  • Learned Lossless Image Compression with A Hyperprior and Discretized Gaussian Mixture Likelihoods

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)  2020年5月  IEEE

    　詳細を見る

    開催年月日： 2020年5月

    researchmap

  • CNN Based Optimal Intra Prediction Mode Estimation in Video Coding

    Ryota Yokoyama, Masahiko Tahara, Masaru Takeuchi, Heming Sun, Yasutaka Matsuo, Jiro Katto

    IEEE International Conference on Consumer Electronics (ICCE)  2020年1月 

    　詳細を見る

    開催年月日： 2020年1月

    researchmap

  • Small-Area and Low-Power FPGA-Based Multipliers using Approximate Elementary Modules.

    Yi Guo, Heming Sun, Shinji Kimura

    Asia and South Pacific Design Automation Conference (ASP-DAC)  2020年  IEEE

    　詳細を見る

    開催年月日： 2020年

    researchmap

  • Fast Variance- and Gradient-based QTMT Partition Decision Algorithm in VVC Intra Coding

    Jun’an Chen, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    IEEE International Conference on Visual Communications and Image Processing (VCIP)  2019年12月 

    　詳細を見る

    開催年月日： 2019年12月

    researchmap

  • Dual Learning-based Video Coding with Inception Dense Blocks

    Chao Liu, Heming Sun, Jun’an Chen, Zhengxue Cheng, Masaru Takeuchi, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    Picture Coding Symposium (PCS)  2019年11月 

    　詳細を見る

    開催年月日： 2019年11月

    researchmap

  • Road Infrastructure Monitoring System using E-Bikes and Its Extensions for Smart Community

    Jiro Katto, Masaru Takeuchi, Kenji Kanai, Heming Sun

    Proceedings of the Annual International Conference on Mobile Computing and Networking, MOBICOM  2019年10月 

    　詳細を見る

    開催年月日： 2019年10月

    researchmap

  • A Gamut Extension Method considering Color Information Restoration using Convolutional Neural Networks

    Masaru Takeuchi, Yusuke Sakamoto, Ryota Yokoyama, Heming Sun, Yasutaka Matsuo, Jiro Katto

    IEEE International Conference on Image Processing (ICIP)  2019年9月 

    　詳細を見る

    開催年月日： 2019年9月

    researchmap

  • Perceptual Quality Study on Deep Learning based Image Compression

    Zhengxue Cheng, Pinar Akyazi, Heming Sun, Jiro Katto, Touradj Ebrahimi

    IEEE International Conference on Image Processing (ICIP)  2019年9月 

    　詳細を見る

    開催年月日： 2019年9月

    researchmap

  • Deep Residual Learning for Image Compression

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    Conference on Computer Vision and Pattern Recognition (CVPR) Workshops  2019年6月 

    　詳細を見る

    開催年月日： 2019年6月

    researchmap

  • A MinimalAdder-oriented 1D DST-VII/DCT-VIII Hardware Implementation for VVC Standard

    Yixuan Zeng, Heming Sun, Jiro Katto, Xiaoyang Zeng, Yibo Fan

    IEEE International System-on-chip Conference (ISOCC)  2019年6月 

    　詳細を見る

    開催年月日： 2019年6月

    researchmap

  • Learning Image and Video Compression through Spatial-Temporal Energy Compaction

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    Conference on Computer Vision and Pattern Recognition (CVPR)  2019年6月 

    　詳細を見る

    開催年月日： 2019年6月

    researchmap

  • Energy-Efficient and High-Speed Approximate Signed Multipliers with Sign-Focused Compressors.

    Yi Guo, Heming Sun, Shinji Kimura

    IEEE International System-on-chip Conference (ISOCC)  2019年  IEEE

    　詳細を見る

    開催年月日： 2019年

    researchmap

  • Deep Convolutional AutoEncoder-based Lossy Image Compression

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    2018 Picture Coding Symposium, PCS 2018 - Proceedings  2018年9月 

    　詳細を見る

    開催年月日： 2018年9月

    researchmap

  • Lossy Image Compression using Deep Convolutional AutoEncoder

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    IEICE technical report  2018年6月 

    　詳細を見る

    開催年月日： 2018年6月

    記述言語：英語  

    researchmap

  • Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops  2018年6月 

    　詳細を見る

    開催年月日： 2018年6月

    記述言語：英語  

    researchmap

  • Deep Convolutional AutoEncoder-based Lossy Image Compression

    Zhengxue Cheng, Heming Sun, Masaru Takeuchi, Jiro Katto

    Picture Coding Symposium  2018年6月 

    　詳細を見る

    開催年月日： 2018年6月

    記述言語：英語  

    researchmap

  • Low-Cost Approximate Multiplier Design using Probability-Driven Inexact Compressors.

    Yi Guo, Heming Sun, Li Guo 0006, Shinji Kimura

    IEEE Asia Pacific Conference on Circuits and Systems  2018年  IEEE

    　詳細を見る

    開催年月日： 2018年

    researchmap

  • Design of Power and Area Efficient Lower-Part-OR Approximate Multiplier.

    Yi Guo, Heming Sun, Shinji Kimura

    IEEE Region 10 Conference (TENCON)  2018年  IEEE

    　詳細を見る

    開催年月日： 2018年

    記述言語：英語  

    researchmap

  • Sparse ternary connect: Convolutional neural networks using ternarized weights with enhanced sparsity.

    Canran Jin, Heming Sun, Shinji Kimura

    Asia and South Pacific Design Automation Conference (ASP-DAC)  2018年  IEEE

    　詳細を見る

    開催年月日： 2018年

    記述言語：英語  

    researchmap

  • Time-efficient and TSV-aware 3D gated clock tree synthesis based on self-tuning spectral clustering

    Fan Yang, Minghao Lin, Heming Sun, Shinji Kimura

    Midwest Symposium on Circuits and Systems  2017年9月  Institute of Electrical and Electronics Engineers Inc.

    　詳細を見る

    開催年月日： 2017年9月

    記述言語：英語  

    3D gated clock tree synthesis (CTS) mainly consists of three steps: 1) abstract clock topology generation 2) layer embedding for minimal TSV allocation and 3) clock tree routing with gate and buffer insertion. In this paper, a self-tuning spectral clustering based nearest-neighbor selection (SSC-NNS) algorithm with parallel structure is proposed to achieve high time efficiency in clock tree topology generation, with reduced runtime. In addition, a postorder traversal based layer embedding (PTLE) strategy is adopted for determining the embedding layer of internal nodes with minimal TSVges. Experimental results show that the proposed method achieves 32% and 82% runtime reduction on ISPD2009 and IBM benchmarks respectively compared with the state-of-the-art 3D work. Besides, the TSV count is also reduced by 46% on ISPD2009 benchmarks.

    researchmap

  • A low-cost approximate 32-point transform architecture

    Heming Sun, Zhengxue Cheng, Amir Masoud Gharehbaghi, Shinji Kimura, Masahiro Fujita

    Proceedings - IEEE International Symposium on Circuits and Systems  2017年9月  Institute of Electrical and Electronics Engineers Inc.

    　詳細を見る

    開催年月日： 2017年9月

    記述言語：英語  

    This paper presents an area-efficient approximate method for 32-point transform which is one of the most area-consuming parts in High Efficiency Video Coding (HEVC) applications. Compared to prior literatures, this work reduces the hardware cost of transform by 1) eliminating all the arithmetic operations of 6 least significant bits (LSB), 2) presenting a low-delay method for generating carry propagation from the remaining 5 LSBs and 3) truncating the most significant bits (MSB) according to the position of component. In the implementation of a 32-point forward transform, the experimental results show that 27% area consumption can be saved and the coding efficiency loss aroused by the approximation is only 0.044% compared with the origin.

    researchmap

  • High Accuracy 8×8 Approximate Multiplier based on OR Operation

    Yi Guo, Heming Sun, Canran Jin, Shinji Kimura

    IEICE technical report  2017年3月  電子情報通信学会

    　詳細を見る

    開催年月日： 2017年3月

    記述言語：英語  

    researchmap

  • A 4Gpixel/s 8/10b H.265/HEVC Video Decoder Chip for 8K Ultra HD Applications

    Dajiang Zhou, Shihao Wang, Heming Sun, Jianbin Zhou, Jiayi Zhu, Yijin Zhao, Jinjia Zhou, Shuping Zhang, Shinji Kimura, Takeshi Yoshimura, Satoshi Goto

    2016 IEEE INTERNATIONAL SOLID-STATE CIRCUITS CONFERENCE (ISSCC)  2016年  IEEE

    　詳細を見る

    開催年月日： 2016年

    記述言語：英語  

    researchmap

  • Power-Efficient and Slew-Aware Three Dimensional Gated Clock Tree Synthesis

    Minghao Lin, Heming Sun, Shinji Kimura

    2016 IFIP/IEEE INTERNATIONAL CONFERENCE ON VERY LARGE SCALE INTEGRATION (VLSI-SOC)  2016年  IEEE

    　詳細を見る

    開催年月日： 2016年

    記述言語：英語  

    This paper presents a three dimensional (3D) gated clock tree synthesis (CTS) approach, which consists of two steps: 1) abstract tree topology generation; and 2) 3D gated and buffered clock routing. 3D Pair Matching (3D-PM) algorithm is proposed to generate the initial tree topology and then the proposed TSV-minimization algorithm is applied to generate TSV-aware tree topology. Based on TSV-aware tree topology, 3D gated and buffered clock tree routing is done using the proposed 3D Gated and Buffered Deferred-Merge Embedding (3D-GB-DME) algorithm. The slew constraint satisfaction is considered and the clock skew is minimized in our approach. Experimental results show that the proposed method achieves 29.11% power reduction compared with the state-of-the-art 2D work.

    researchmap

  • A fast level filtering algorithm for inter prediction in HEVC encoder

    Zhengxue Cheng, Heming Sun, Landan Hu, Shinji Kimura

    International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC)  2015年6月 

    　詳細を見る

    開催年月日： 2015年6月

    記述言語：英語  

    researchmap

  • HARDWARE-ORIENTED RATE-DISTORTION OPTIMIZATION ALGORITHM FOR HEVC INTRA-FRAME ENCODER

    Landan Hu, Heming Sun, Dajiang Zhou, Shinji Kimura

    2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)  2015年  IEEE

    　詳細を見る

    開催年月日： 2015年

    記述言語：英語  

    Digital video is widely used in the mobile applications, where video compression technology is necessary to store or transmit the videos. High Efficiency Video Coding (HEVC) achieves the highest compression ratio while it costs huge computational complexity, in which rate-distortion (RD) cost calculation takes the majority. This paper presents a low-complexity RD estimation method for HEVC intra prediction by the following schemes. 1) The transformed coefficients rather than quantized coefficients are used to do the RD estimation. 2) For the rate part, the position after the last non-zero quantized coefficient is considered to improve the accuracy of estimation, and a header-bit estimation method is presented to save about 82% complexity on header bits calculation. 3) For the distortion part, the scaling parameter of quantization is modified to the exponential of two so that the bit depth of multiplication can be reduced from 15 to 5 in the worst case. 4) In transform unit 4x4, we consider transform skip mode which is neglect in the prior research. Our proposal could achieve 72.22% time reduction of rate-distortion optimization (RDO) compared with original HEVC Test Model while the BD-rate is only 1.76%.

    researchmap

  • Merge Mode Based Fast Inter Prediction for HEVC

    Zhengxue Cheng, Heming Sun, Dajiang Zhou, Shinji Kimura

    2015 VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)  2015年  IEEE

    　詳細を見る

    開催年月日： 2015年

    記述言語：英語  

    The latest High Efficiency Video Coding (HEVC/H.265) obtains 50% bit rate reduction than H.264/AVC standard with comparable quality, but at the cost of high computational complexity. Inter prediction accounts for large complexity and merge mode is one of the most important new features introduced in HEVC. To address this issue, this paper utilizes the merge mode to accelerate inter prediction by three fast mode decision methods. 1) A merge candidate decision is proposed to select the best merge mode by Sum of Absolute Transformed Difference ( SATD) cost to reduce the merge time. 2) An early merge termination is presented still based on SATD cost with more than 90% accuracy. 3) Based on efficient merge mode, symmetric motion partition (SMP) modes can be disabled for non-8x8 code units (CUs). Experimental results demonstrate that our work can achieve 53.1%-54.2% time reduction on average with 1.57%-2.30% BD-rate increment. Besides, our method achieves an improvement of 18%-30% time reduction with 0.89%-2.85% BD-rate increment when combined with other existing approaches.

    researchmap

  • A fast mode selection algorithm for HEVC intra prediction

    Heming Sun, Satoshi Goto

    International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC)  2014年7月 

    　詳細を見る

    開催年月日： 2014年7月

    記述言語：英語  

    researchmap

  • Low-complexity rate-distortion optimization algorithms for HEVC intra prediction

    Zhe Sheng, Dajiang Zhou, Heming Sun, Satoshi Goto

    Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)  2014年 

    　詳細を見る

    開催年月日： 2014年

    記述言語：英語  

    HEVC achieves a better coding efficiency relative to prior standards, but also involves dramatically increased complexity. The complexity increase for intra prediction is especially intensive due to a highly flexible quad-tree coding structure and a large number of prediction modes. The encoder employs rate-distortion optimization (RDO) to select the optimal coding mode. And RDO takes a great portion of intra encoding complexity.Moreover HEVC has stronger dependency on RDO than H.264/AVC. To reduce the computational complexity and to implement a real-time system,this paper presents two low-complexity RDO algorithms for HEVC intra prediction. The structure of RDO is simplified by the proposed rate and distortion estimators, and some hardware-unfriendly modules are facilitated. Compared with the original RDO procedure, the two proposed algorithms reduce RDO time by 46% and 64% respectively with acceptable coding efficiency loss. © 2014 Springer International Publishing.

    researchmap

  • AN AREA-EFFICIENT 4/8/16/32-POINT INVERSE DCT ARCHITECTURE FOR UHDTV HEVC DECODER

    Heming Sun, Dajiang Zhou, Jiayi Zhu, Shinji Kimura, Satoshi Goto

    2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE  2014年  IEEE

    　詳細を見る

    開催年月日： 2014年

    記述言語：英語  

    This paper presents a new VLSI architecture for HEVC inverse discrete cosine transform (IDCT). Compared to prior arts, this work reduces hardware cost by 1) reducing computational logic of 1-D IDCTs with a reordered parallel-in serial-out (RPISO) scheme that shares the inputs of the butterfly structure, and 2) reducing the area of the transpose buffer with a cyclic memory organization that achieves 100% I/O utilization of the SRAMs. In the implementation of a unified 4/8/16/32-point IDCT, the proposed schemes demonstrate 35% and 62% reduction of logic and memory costs, respectively. The IDCT implementation can support real-time decoding of 4Kx2K 60fps video with a total hardware cost of 357,250um(2) on 2-D IDCT and 80,988um(2) on transpose memory in 90nm process.

    researchmap

  • VLSI ARCHITECTURE OF HEVC INTRA PREDICTION FOR 8K UHDTV APPLICATIONS

    Jianbin Zhou, Dajiang Zhou, Heming Sun, Satoshi Goto

    2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)  2014年  IEEE

    　詳細を見る

    開催年月日： 2014年

    記述言語：英語  

    This paper presents an efficient VLSI architecture of intra prediction for 8Kx4K HEVC decoder. It supports all 35 intra prediction modes and prediction sizes ranging from 4x4 to 64x64. This works proposed a Cyclic SRAM Banks based Parallel Reference Sample Fetching (CSB-PRSF), which guarantees enough reference samples for prediction and reduces the number of registers used for storing reference samples. To guarantee high throughput, 16 pixels are predicted by 4x4 Block Based Pipelining, and dependency between neighboring blocks is eliminated by Hybrid Data Forwarding and Block Reordering. This architecture is synthesized using 90nm technology and the maximum working frequency is 469 MHz, with 72.1K gates area. Running at 397MHz, the architecture can support 4320p@120fps HEVC intra decoding, with full modes and full sizes.

    researchmap

  • Multi-scale Bidirectional Local Template Patterns for Real-time Human Detection

    Jiu Xu, Ning Jiang, Xinwei Xue, Heming Sun, Wenxin Yu, Satoshi Goto

    2013 IEEE 15TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP)  2013年  IEEE

    　詳細を見る

    開催年月日： 2013年

    記述言語：英語  

    In this paper, a feature named multi-scale bidirectional local template patterns (MBLTP) is proposed for human detection. As an extension of bidirectional local template patterns (BLTP), MBLTP not only integrates the textural and gradient information according to the four predefined templates but also calculates information for additional feature vectors by adjusting the scale of the training samples. These additional feature vectors contain multi-scale information on the samples, which can make the feature more discriminative than its original form. Experimental results for an INRIA dataset show that the detection rate of our proposed MBLTP feature outperforms those of other features such as the multi-level histogram of orientated gradient (multi-level HOG), multi scale block histogram of template (MB-HOT), and HOG-LBP. Moreover, in order to make our feature meet real-time requirements, an implementation based on a graphic process unit (GPU) is adopted to accelerate the calculation.

    researchmap

  • A low-complexity HEVC intra prediction algorithm based on level and mode filtering

    Heming Sun, Dajiang Zhou, Satoshi Goto

    Proceedings - IEEE International Conference on Multimedia and Expo  2012年 

    　詳細を見る

    開催年月日： 2012年

    記述言語：英語  

    HEVC achieves a better coding efficiency relative to prior standards, but also involves increased complexity. For intra prediction, complexity is especially intensive due to a highly flexible coding unit structure and a large number of prediction modes. This paper presents a low-complexity intra prediction algorithm for HEVC. A fast preprocessing stage based on a simplified cost model is proposed. Based on its results, a level filtering scheme reduces the number of prediction unit levels that requires fine processing from 5 to 2. To supply level filtering decision with appropriate thresholds, a fast training method is also designed. A mode filtering scheme further reduces the maximum number of angular modes to be evaluated from 34 to 9. Complexity reduction from HM 3.0 is over 50% and stable for various sequences, which makes the proposed algorithm suitable for real-time applications. The corresponding bit rate increase is lower than 2.5%. © 2012 IEEE.

    researchmap

  • Real-time Learned Image Codec on FPGA

    Heming Sun, Qingyang Yi, Fangzheng Lin, Lu Yu, Jiro Katto, Masahiro Fujita

    IEEE International Conference on Visual Communications and Image Processing (VCIP)  2022年12月 

    　詳細を見る

  • Learned Image Compression with Mixed Transformer-CNN Architectures

    Jinming Liu, Heming Sun, Jiro Katto

    IEEE Conference on Computer Vision and Pattern Recognition (CVPR)  2023年6月 

    　詳細を見る

  • Multistage Spatial Context Models for Learned Image Compression

    Fangzheng Lin, Heming Sun, Jinming Liu, Jiro Katto

    IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)  2023年6月 

    　詳細を見る

  • ABCAS: Adaptive Bound Control of spectral norm as Automatic Stabilizer

    Shota Hirose, Shiori Maki, Naoki Wada, Jiro Katto, Heming Sun

    IEEE International Conference on Consumer Electronics (ICCE)  2023年1月 

    　詳細を見る

  • iPhone 240fps Video Dataset for Various Model Training Tasks

    Joi Shimizu, Shion Komatsu, Satsuki Kobayashi, Heming Sun, Jiro Katto

    IEEE International Conference on Consumer Electronics (ICCE)  2023年1月 

    　詳細を見る

▼全件表示

受賞

  • IPSJ/IEEE Computer Society Young Computer Researcher Award

    2024年7月  

    　詳細を見る

  • 電気通信普及財団賞 テレコムシステム技術賞

    2023年3月  

    　詳細を見る

  • 安藤博記念学術奨励賞

    2022年6月   一般財団法人 安藤研究所  

    　詳細を見る

  • Picture Coding Symposium Top-10 Paper

    2021年6月  

    　詳細を見る

  • IEEE VCIP Best Paper Award

    2020年12月  

    　詳細を見る

  • 研究奨励賞

    2020年1月   公益財団法人 高柳健次郎財団  

    　詳細を見る

  • Picture Coding Symposium Grand Challenge on Short Video Coding Silver Award

    2019年11月  

    　詳細を見る

  • CVPR Workshop and Challenge on Learned Image Compression MOS 第五位

    2019年6月  

    　詳細を見る

  • テレコムシステム技術学生賞

    2018年3月   公益財団法人 電気通信普及財団  

    　詳細を見る

  • VDEC デザインアワード奨励賞

    2017年9月   東京大学大規模集積システム設計教育研究センター  

    　詳細を見る

  • ISSCC 2016 Takuo Sugano Award for Outstanding Far-East Paper

    2016年2月  

    　詳細を見る

▼全件表示

共同研究・競争的資金等の研究課題

  • 学習型静止画像圧縮の実用化に関する研究

    研究課題/領域番号：23K16861  2023年4月 - 2026年3月

    日本学術振興会  科学研究費助成事業  若手研究

    孫 鶴鳴

    　 詳細を見る

    担当区分：研究代表者 

    配分額：4680000円 （ 直接経費：3600000円 、 間接経費：1080000円 ）

    This year, I mainly worked on two topics. First is the algorithm-architecture co-optimization of learned image compression (LIC) on FPGA. Based on a pipelined architecture, the input and output channel parallelism is restricted to ease the routing phase, so that more DSP can be used. After that, the neural network channel is searched to improve the DSP efficiency. With high DSP utilization and efficiency, compared with the recent work, the throughput can be improved by at most 1.5x. Besides, the compression efficiency will not be affected after the neural network search.
    Second is the privacy of LIC for machine. The overall framework includes the client side which captures image and the cloud side which conducts the machine vision. To avoid the privacy leakage in the cloud side, feature of captured image is generated at the client side, coded by an LIC autoencoder and sent to the cloud side. The cloud side then decodes the feature and performs the machine vision based on the decoded feature. By optimizing the layer number of feature, we can not only reach a good trade-off between rate for the feature transmission and accuracy for the machine vision, but also avoid leaking the privacy information in the cloud.

    researchmap

  • 再構成アクセラレータのための近似最適化手法

    研究課題/領域番号：23K28056  2023年4月 - 2026年3月

    日本学術振興会  科学研究費助成事業  基盤研究(B)

    木村 晋二, 戸川 望, 孫 鶴鳴

    　 詳細を見る

    配分額：18980000円 （ 直接経費：14600000円 、 間接経費：4380000円 ）

    今年度は、再構成アクセラレータ向けのデータ表現法、Ad Hoc な近似演算器の設計手法、およびシステマティックな近似回路の合成手法の文献調査を行った。近似演算器の場合は誤差と電力などとのトレードオフの下で設計最適化を行うので、誤差の評価は非常に重要である。Ad Hoc な近似乗算器の設計法に関しては、乗算における部分積の各桁の積算のための圧縮機に着目し、同じ重みで2つに圧縮する圧縮機を用いた乗算回路、新たな部分積の圧縮機の提案と種類の異なる圧縮機を用いた誤差削減を用いた乗算回路、誤差が正負の方向に同じ確率で現れるバイアスのない乗算回路についてパレート最適化と評価を行い、国際会議において発表した。また、各桁に符号をつけた符号付二進数の最適化に基づく8-ポイントの近似 DCT (Discrete Cosign Transformation) 回路の設計と評価を行い、国際会議において発表した。DCT の定数係数との乗算では、符号付二進数を用いることで連続した1からなる数字との乗算を一回の減算に変換できるので、出力への影響に基づいて係数をなるべく簡単な符号付二進数に近似することで演算のハードウェア資源を大きく削減している。近似回路の自動合成に向けては、与えられた論理関数を厳密に最小の素子数で合成する手法の検討を行い、3入力中の2つ以上が1であるときに出力が1となる多数決演算向けの厳密合成手法の提案を行った。厳密合成では、素子数の少ない順に、すべての構造を調べて目的の論理関数が実現できるかをチェックするが、素子数が大きいと、すべての構造を一度にチェックするよりも、クラスタに分けてチェックする方が効率的となるため、各素子の入力のレベルでクラスタ化する手法を提案し、他のクラスタ化法と比較して全体の合成時間を削減できることを示し、論文誌に掲載した。

    researchmap

  • 再構成アクセラレータのための近似最適化手法

    研究課題/領域番号：23H03366  2023年4月 - 2026年3月

    日本学術振興会  科学研究費助成事業  基盤研究(B)

    木村 晋二, 戸川 望, 孫 鶴鳴

    　 詳細を見る

    配分額：18980000円 （ 直接経費：14600000円 、 間接経費：4380000円 ）

    researchmap

  • Low-complexity research for next-generation VVC standard and its neural network extension

    研究課題/領域番号：21K17770  2021年4月 - 2023年3月

    日本学術振興会  科学研究費助成事業 若手研究  若手研究

    孫 鶴鳴

    　 詳細を見る

    配分額：2730000円 （ 直接経費：2100000円 、 間接経費：630000円 ）

    researchmap

  • リアルタイム低電力深層学習適用による革新的な動画像圧縮システム

    研究課題/領域番号：19206134  2019年10月 - 2023年3月

    戦略的な研究開発の推進 戦略的創造研究推進事業 さきがけ 

    孫 鶴鳴

    　 詳細を見る

    担当区分：研究代表者 

    動画像圧縮率向上のため、深層学習が検討され、既存の圧縮標準(HEVC)を凌駕することが期待されています。一方、実用化の観点から汎用的なGPUによる処理はリアルタイムコーディングを達成できません。そこで、本研究は深層学習ベースの動画像圧縮専用のFPGA/ASICハードウェアアクセラレータを開発し、アルゴリズム、アーキテクチャ連携により圧縮率、スループット、電力効率を最大化するシステムを実現します。

    researchmap

    J-GLOBAL

担当経験のある科目（授業）

  • ニューラルネットワークの理論と応用

    2019年9月 - 現在

    　詳細を見る

  • Fundamentals of Programming

    2019年4月 - 現在

    　詳細を見る

学術貢献活動

  • IEEE Signal Processing Letters

    役割：査読

    　詳細を見る

  • IEEE Transactions on Pattern Analysis and Machine Intelligence

    役割：査読

    　詳細を見る

  • IEEE Transactions on Multimedia

    役割：査読

    　詳細を見る

  • IEEE Transactions on Circuits and Systems I: Regular Papers

    役割：査読

    　詳細を見る

  • IEEE Transactions on Circuits and Systems—II: Express Briefs

    役割：査読

    　詳細を見る

  • IEEE Transactions on Circuits and Systems for Video Technology

    役割：査読

    　詳細を見る

  • International Journal of Computer Vision

    役割：査読

    　詳細を見る

  • ACM Transactions on Reconfigurable Technology and Systems

    役割：査読

    　詳細を見る

▼全件表示