APSIPA ASC 2021杰出讲师报告会参会总结

这是从我选修的研究生课程的课程报告整理过来的。

根据“人工智能：神经网络与深度学习”课程教学要求，安排学生参加相关前沿学术报告，本学期安排参加亚太信号与信息处理协会组织的杰出讲者报告会（寒假学校）。

这里我做的仅仅是记录老师们介绍的工作内容，不敢说有多深入的理解，最后做的总结也仅仅是从我目前的状况（没接触过科研，没发表过文章的菜鸡本科生）出发的。

Lecture 3: Exploration of depth super-resolution based on deep learning

白慧慧首先介绍了超分辨率技术的研究背景与研究现状，后面再介绍了她最近的三项工作以及未来的研究方向。内容要点如下所示。

超分辨率技术的分类：

1. Interpolated-based approach（基于插值的方法）

2. Reconstructed-based approach（基于重构的方法）

3. Learning-based approach（基于学习的方法）

   a) Bicubic pre-interpolated images as input

   b) LR images as input—–post-upsampling

   c) GAN based image SR

recent work 1: Image SR based on deep learning

The main issue of image SR ：有效的恢复低分辨率（LR）输入的高频细节。

现有方法的问题：现有CNN方法内存消耗和计算成本都很大；大多数SR网络中，LR特征的低频和高频分量在训练过程中被同等对待，忽略了局部详细信息，阻碍了网络的表示能力。

作者提出的网络结构：

recent work 2: Video SR based on deep learning

Video super-resolution (SR) aims to reconstruct the corresponding high- resolution (HR) frames from consecutive lower-solution (LR) frames, which focuses on modeling the inter-frame temporal correlations and intra-frame spatial correlations among frames.

Overall Architecture:

recent work 3: Depth SR based on deep learning

Motivation: 通过深度图超分辨率（Depth SR）解决深度图分辨率与RGB图像分辨率无法匹配的问题。

Limitations: 缺乏现实世界配对的 LR 和 HR 深度图。 大多数现有的深度图 SR 方法使用下采样来获得成对的训练样本。深度图 SR 中的锐利边界和精细细节很难恢复，尤其是当缩放因子很大时。

Proposed Method:

Future research directions

1. Unsupervised Image/Depth SR

2. Real Degradation

3. Higher SR rates

4. Arbitrary SR rates

Lecture 5：Glass Reflection Removal for Images and 3D Point Clouds

Jae-Young Sim主要介绍的是去除图像和点云中玻璃反光的方法。

Reflection removal for 2D glass images

Jae-Young Sim去除图像玻璃反光的方法主要是Multiple Image Warping，具体的步骤如下所示：

1. Formulated a weighted low-rank matrix completion problem in image gradient domain for the purpose of reflection removal.

2. Employ co-saliency detection for glass image alignment.

3. Iteratively obtained low-rank gradient matrix to restore the transmission gradients while suppressing the reflection gradients.

4. Reconstruction of transmission image

Reflection removal for 3D point clouds

对于只有单个玻璃平面的情况：

• First work of reflection removal
• Analyzing characteristic of LiDAR scanner
• Removing virtual points using symmetry relation

对于有多个玻璃平面的情况：

• Detecting multiple glass planes
• Estimating trajectories of laser pulses·
• Quantitative evaluation

心得体会

我觉得参与这样规格的会议对我的帮助还是挺大的，我目前才大三，对自己未来的研究方向还不是很明确，仅仅是对深度学习、计算机视觉方面比较感兴趣。通过这次会议，我从Wan-Chi Siu教授这里了解了深度学习的发展历程，对深度学习领域现在研究的方向有了大概的了解，同时也从白慧慧教授和Jae-Young Sim教授这里了解到计算机视觉不同分支的发展情况。

具体来说，我的收获可以总结为以下几点：

一些技术的原理和思想并不复杂

我本来觉得，随着技术的进步，新的技术会变得越来越复杂。不过从Jae-Young Sim教授的报告中我发现其实有的技术的原理和思想是挺好理解的，不过具体的实现可能会复杂一些。

Jae-Young Sim介绍3D点云去除反光点的时候，首先介绍了激光雷达扫描的特性，以及对于单个玻璃平面反光的情况。单个玻璃平面反光会导致激光雷达接收到两个以上的点：一个来自物体，一个来自玻璃上的反射脉冲，所以去除单个玻璃平面造成的反光点就可以通过检测这个反射脉冲来实现，而反射点到激光雷达的距离比真实点的距离大（我理解的是如果反射点距离更小就意味着有其他物体在激光雷达和真实物体之间，这样就会阻挡真实物体的光线，这样就不可能会检测到被遮挡在后面的物体），所以就可以通过距离来进行打分，判断一个点是不是反射点。

而对于多个玻璃平面的情况，由于玻璃之间的互相折射，通过距离的方法不能有效检测出反射点，但是被多次折射的物理位姿往往是不正确的（如下图）。这样就可以通过检测物体位姿的合理性来判断该物体是否是反射点构成的。

比起新方法的实现，数据集的设计与获取也非常关键

我在参加这个会议的时候发现，Jae-Young Sim介绍完他们的工作后，Nakamasa Inoue就提了一个关于Ground Truth获取的问题。后面我回顾这个细节，感觉数据集或者Ground Truth的获取确实是一个很重要的问题，数据是研究的基础，任何研究都离不开数据。

比如我们做一些创新性的工作时，可能现成的数据集就不是很适合，这时候就需要新的数据集来测试我们的工作，并验证我们工作的正确性，而且一个高质量的数据集往往能够提高模型训练的质量和预测的准确率。所以，这个数据集如何得到，真实值到底真不真实，都是比较重要的。

这次会议中，白慧慧就介绍了他们制作的RGB-D-D数据集，用于深度图超分辨率技术。

需要加强对英语的学习

国外的学术会议一般都是把英语作为会议的主要用语，老师们做报告的时候也是用英语来进行表达的。

我英语不太行，参加会议的时候跟不上老师讲的内容,,ԾㅂԾ,,