论文1：Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

文章题目是《我们真的需要访问源数据吗？ 无监督域适应的源假设迁移》，发表在ICML2020，目前citation 382。

code:https://github.com/tim-learn/SHOT

动态规划

最优子结构：子问题的最优结果推导出更大规模问题的结果。并且子问题之间必须相互独立。

重叠的子问题：通过子问题的重叠性，实现从base case的状态转移。

遇到求最值的题目，往动态规划方向靠。

明确状态=>dp数组的物理意义=>明确状态转移=>明确base case。动态规划就是从最简单的base case，通过状态的链式反应不断地向后推导。

SVM简介？

• 支持向量机(Support Vector Machine)是一个二分类模型，它的基本模型是定义在特征空间上间隔最大的线性分类器，由于间隔最大使得它和感知机不同；
• 并且SVM还包括核技巧，这使得它成为一个非线性分类器；
• SVM的学习策略是间隔最大化，该策略可形式化为求解凸二次规划问题，也等价于合页损失函数最小化的问题。

关于KNN的问题整理。

KNN简介？

k近邻算法(k-nearest neighbor)是一种有监督的分类算法，是通过测量不同特征向量之间的距离来进行分类的。它的思想是如果一个样本在特征空间中最邻近的k个样本大多数属于某个类别，则该样本也属于这个类别。算法过程为

• 计算测试样本特征向量和其他每个样本的特征向量之间的距离；
• 对距离进行递增排序，选择距离最小的k个点；
• 确定这k个点所在类别出现频率；
• 返回这k个点出现频率最高的类别作为当前测试样本的预测类别。

关于线性回归和逻辑回归的问题整理。

为什么逻辑斯蒂回归的输出值可以作为概率？

因为逻辑回归使用的sigmoid函数可以将线性函数映射到伯努利分布的期望中，并且sigmoid函数是符合广义线性模型的伯努利分布规范的联系函数的反函数。

• 联系函数：函数的反函数能够将线性方程映射到某个广义线性模型的期望；
• 广义线性模型：模型可以通过某些变换转化为线性模型。

关于机器学习中的评价指标概念的问答。

论文题目：HCSC: Hierarchical Contrastive Selective Coding

code：https://github.com/gyfastas/HCSC

Motivation

1、对于Instance-wise的对比学习方法(SimCLR, MoCo, SigSiam等)，它们过度关注到实例特征之间的关系，却忽略了整个数据集的语义结构。

2、对于原型对比学习方法，它们更多是在单个层级上做聚类，没有考虑到数据集的多层级的特性。

论文题目：Prototypical Contrastive Learning of Unsupervised Representations

code: https://github.com/salesforce/PCL

Motivation

如今自监督对比学习的经典做法离不开数据增扩和对比损失，针对于对比损失而言，在batch里面划分正负样本的做法会忽视数据的语义结构表示，许多具有相似语义结构的负样本实例在特征空间其实不希望被拉开距离，但是对比损失会放大他们之间的差距。

最近导师D说D项目可能可以考虑下流形学习。因此特地去了解下。

流形学习的假设

• 所观测到的数据是高维的，高维数据受数据特征的限制会存在冗余信息，实际上用某个低维向量就能得到唯一表示；
• 高维空间的表示有冗余，映射到低维空间的表示没有冗余，低维空间称为“流形空间”。

写在前面

  三月份开学一直在忙些科研的事情，异常检测实验和声源定位实验暂时告一段落。五一放假了(●ˇ∀ˇ●)，终于有心思整理下去年在微信读书的一些阅读摘抄。其实读书做摘抄是为了改日方便回味这本书之前自己喜欢的部分，毕竟自己做整理，也算没白过此书。而且看看用这种方式能不能鞭笞自己多看点书，二话少说，来回顾下吧~