包括但不限于论文本身的写作,创新点,提供的源码,希望各位的真知灼见能给后来者启发。


其实都是由于Dead lock。

/*会议恶性循环*/

投稿量爆炸—&>Reviewer不够—&>审稿人水平参差不齐 —&> 录取Paper水平参差不齐—&>读者看到水paper感觉这也能中—&>模仿水paper生产科研—&>投稿量爆炸

/*领域恶性循环*/

做实验性能非常好—&>强行尬解释—&>其实都是猜想,真正work的可能是trick—&>产生糟糕的玄学paper—&>读者糟糕的阅读体验—&>读者模仿科研—&>读者做实验使得性能非常好—&>......


这么多吐槽的,我就不说谁的论文不好了,我想说说我认为什么样的工作好。其实今天AI科研界和网红界差不多,被大多数人认为所谓好的AI工作者和网红一样,都长得差不多,不都是写著模式差不多的论文,灌了差不多的多少顶会么。后面还有一堆新毕业的博士,在努力争取长成网红脸。在这个领域,你要长的不是网红脸,你只能被当作异类处理。

这年月大家都在拿论文数量,引用,影响因子说事,特别是国内的老师学生,太看重这些了。我个人觉得这完全背离了科研工作的本意。这和武术变得主要要比谁一个跟头落地能纹丝不动,花样滑冰要比谁四周跳跳的多一样,忘记了武术的本质是要充分利用人体结构来合理发力,花样滑冰的核心是追求音乐动作合一的表现力一样,都走上了歧途。

这个世界做科研的,工作模式大致两类,一个是到处挖坑的,一个是一辈子挖一个坑的。这两种工作模式都可以,问题是挖坑一定要挖好东西,不能总挖垃圾。

我可以举一例我看到的挖坑挖的好的人, S. Lloyd,此人是量子信息领域的到处挖坑的大牛,每个方向只挖一铲子,挖完就走。他的主要贡献: (1)证明了Feynman关于用量子计算模拟量子系统的一个想法,(2)最早做量子计算硬体的,(3)提出了从量子计算构建时空结构的一种方法,(4)提出了一个时间旅行的模型并用于分析黑洞信息问题,(5)提出了Shor, Grove之后的第三个实用化量子演算法,主要用于量子机器学习,(6)提出量子雷达的概念,(7)考察了计算和物理规律的关系。这些只是我看到的他的一部分工作,这已经证明此人的牛叉之处了。问题是,他在每个方向都基本只写一篇论文,最多也不会超过3篇,然后有点老子留下五千言后言尽于此的气概,转身而去,重新挖坑,留下一堆身后的人在他挖过的地方继续挖,但是都很少能挖到他的高度。最近有一段时间没看到他的消息了,不知道这位又在憋著挖什么呢。

所以他的论文并不多,也就平均一年一篇吧(真正他写的,挂名的不算,不过我也没看到他有多少挂名的论文,有他名字的论文都是明显能看到他的思想贡献的),但是每一篇都是一个新思想新方向。我觉得这才是好的工作应该有的样子。按照这个标准,大家可以对比一下,哪些工作可以叫垃圾。

另外,如果听报告的时候,介绍里说此人写了几百篇论文,我建议大家转身就走,因为大概率的,此人大概不会有什么深刻的思想传达给你。

真心的建议大家进入科研领域后都仔细想想,是要一辈子做垃圾研究发一堆垃圾论文呢,还是沉下心来找好问题做好问题。对于一个科研人员来说,一辈子有一篇真正重要的论文就足够了,甚至有可能在他死之前,论文的重要性都没有被发现,这就是科研这份工作的规律。追求短期反馈绝对是违背科研规律的,对于个人评判工作好坏,是误导,对于国家评判科研,是恶政。

杨振宁先生说,和小说一样,科研和论文也有风格。一个领域应该有不同风格的工作和论文,风格多样性是一个领域活力的体现。Schwinger的繁琐严谨是一种风格,Feynman的灵动纯粹也是一种风格,Dirac的透彻深邃还是一种风格,Einstein的宏大鸟瞰又是一类风格,这个世界的科研绝不只有一种风格一个模式,他们都是好工作。我个人的感觉,AI这个领域的论文风格过於单一了,除了一些偏理论的工作外,绝大多数与应用有关的工作风格严重雷同,思想严重雷同,这种论文真是读起来面目可憎味同嚼蜡。我觉得这绝对不是好事情,这说明这个领域的思想过於单一。特别是小孩子们,一进入这个领域就被这个领域已有的固定思维带著跑了,他们没有时间去左顾右盼,去想想是否有其他可能性,他们只有沿著前人的路飞速的跑,否则他们就不能在这条路上跑得过别人,但我真的觉得,这个情况对于无论个人还是领域,都不是好事。

最后一点,AI作为新兴领域,出现一个我认为是很不好的现象,就是大量本科生进入领域发表论文并且成为风气。从我的角度看,本科生的工作做到我的标准之下所谓好的工作的,是非常非常罕见的(如果不是一个都没有),我觉得时间这件事真的是不能随便超越,人的认知水平一定和时间有关,本科生进入AI只是作为科研训练,真的不能指望有什么好工作出现,一个本科生做了半年一年就出好工作?对不起,我不信。我真心不希望AI这个领域闹到和材料生化一样成为灌水园地。

让我们大家都保留一点科研工作的初心,争取去做好的工作,学会辨别和欣赏好的工作,特别是年轻人,要培养好的科研品味,不要一上手就把味蕾弄坏了。我在知乎看到太多博士生朋友的味蕾已经完全坏了,根本不知道好的思想为何物,很不幸。

思想才是科研的核心,一个真正闪光的思想比一堆代码和数据实验都有价值,代码和实验是为思想服务的,绝不能替代思想。千万别说talk is cheap了,爱因斯坦这辈子都在think and talk, 他的talk实在是他思想的精华。

卞子守函谷,终南紫气多,借言屈子问,天机且如何。

算力方暴虎,AI正冯河,挂书青牛角,天工莫可夺。

与君歌一曲,请君听我明日歌。明日待回头,今日喧嚣一梦柯。


吃瓜群众昨天看这个问题吃瓜吃了一晚上,忍不住来回答一下;

目前所有回答里争议最大(讨论最激烈)的文章是 https://arxiv.org/abs/1811.00250 这篇利用GM进行网路剪枝的文章。

最早的一个匿名回答里提到了很多疑问,然后文章作者也大方地站出来回答了。

但是另一个问题出现了,有人随后指出文章中的公式(6)到公式(10)有明显错误,应该撤稿。特别是公式(10):

这个错误多明显就不用多说了。该回答也得到了很多领域内著名学者大佬的点赞,甚至导致了作者本来颇受好评的「知乎rebuttal」评论区也(对,吃瓜群众评论区也看)沦陷了。

本著理性吃瓜的心(其实也有一点点怀疑CVPR的reviewer真的会放过这种低级错误),我认真地读了文章(也看了作者更新在github上的版本),先简单说一下结论,然后再跟大家仔细捋。

结论:

  1. 作者数学公式和一些数学符号非常不熟练, [公式] 的问题大家已经指出来了(作者在更正版里修改了,没有错误了,但是改完的还是很不优雅);

2. 公式(9-10)错的很离谱,但是其实完全是应该删掉的,公式(10)试图证明一个十分明显,无需证明的结论,但是作者给整劈叉了。公式(9)和公式(10)首先不符合公式(8)定义(虽然(8)写的也乱七八糟,但是我们可以从上下文猜出(8)是要干嘛,并且(8)是完全合理的),然后进一步暴露了写作者数学和公式不熟练的问题,也可能是文章的Section 3.4 写完后其他co-author没有好好改,或者乱改了一通;

3. 公式的问题很严重但是文章的其他部分还是很不错的(至少我觉得),至少不低于CVPR2019平均水平,不必被大家喷成现在这样。感觉reviewer应该也提出来了公式太乱的问题,但是作者camera-ready没好好改,然后因为明显的错误被喷了(但是公式的问题我就不能忍,又气又想笑,这也提醒我们:camera-ready改不好,知乎rebuttal两行泪);


然后跟大家稍微捋捋这篇文章与公式10相关的部分,首先是 [公式] 的定义:

[公式]

原文公式(3)。我们公式标号与原文保持一致,公式表示上的差异也尽量在「引用块」里说清楚

简单解释一下, [公式] 表示第 [公式] 个卷积层的第 [公式] 个卷积核, [公式] 表示 [公式] 到这些卷积核的欧几里得距离之和。

作者文中假设,位于geometric median (即 [公式])附近的点因为可以被其他点代替,所以并不重要,可以被剪枝剪掉。

但是问题在于geometric median并不一定在第 [公式] 个卷积层的这些卷积核中(这是非常可能的),因此退而求其次地,作者希望在第 [公式] 层的这 [公式] 个卷积核中找到对应的 [公式] 最小的那一个,并认为这是这些卷积核中最接近geometric median的卷积核,并把它作为剪除对象

也就是说,作者定义的剪枝对象是下面这个:

[公式]

这个公式是从作者的修改版本里摘出来的公式(4),作者原文中的公式(6)是这个意思,但是因为 [公式] 用错已经被大家鞭尸了,如果仔细结合上下文的话,应该能猜出来原文公式(6)是这个意思;

现在有趣的地方来了,因为要在 [公式] 中找令 [公式] 最小的。假设 [公式] 是满足 [公式] 最小的一项,作者发现在计算过程中[公式] ,当 [公式] 的时候对应的项竟然是0,所以作者定义了 [公式] :

[公式]

这个公式同样从修改版本里摘里摘出来的公式(6),对应原文公式(8),虽然这么改了还是看著不优雅。但是跟原文错误的公式(9)以及顺带错了的公式(10)相比,这个可以接受。

作者原文实际的意思是:你们用 [公式][公式] 求最小的 [公式] 结果是一样的,因为 [公式] 求和的时候 [公式]的时候对应的那一项是0,是不用管的!

这个事其实不用过分说明,因为太明显了(实际在代码实现上我们甚至偏爱使用 [公式] ,因为简单)。但是作者弄巧成拙地根据公式(8)写下了公式(9):

这里的 [公式][公式] (当然也是公式(8)里定义的正确的 [公式] )在条件下的最小值。作者的意思是: [公式] 的最优值和 [公式] 都是 [公式] ,那么我减去一个 [公式] 不影响最优值和优化过程鸭。(内心:本来还想给您平反,看到这里真觉得这数学白学了

然后公式(10)本想证明 [公式][公式] 最优值一样,但是基于完全错误的公式(9),公式(10)就成了被大家嘲笑的摸样。

但是其实公式(9)和公式(10)完全不用写,不知道是不是因为reviewer说,你这文章没啥公式哇,然后作者就不小心写下了这错误的证明。

// 不想写了,吃瓜群众的热情被一团乱麻的公式耗没了,,有人觉得哪不清楚,我回头再改吧。


作为一个理性吃瓜群众(和学术小白),写这么多,当然不是为了吐槽谁。按照周志华老师等诸多大佬「发现闪光点」的标准,这篇文章是显然值得接收的,但是另一方面文章中的公式组织却一团糟,瑜不掩瑕,被大家拿来调侃。这件事展开讲有趣的地方可多了,但是地方太小了我写不下(逃);只希望大家理性吃瓜,合理吐槽,肯定亮点,拒绝戾气我们真正讨厌的是那些明知灌水还灌地贼开心的人。


都是要吃饭的嘛,可能文不对题。。。超分就是每年在这么刷榜,灌水

讲一下图像复原领域,超分,去噪,去模糊

上图引用自:A Deep Journey into Super-resolution: A Survey

https://arxiv.org/pdf/1904.07523.pdf?

arxiv.org


我来主题无关了。

我15年读的研一,当时顶会论文也是出一波看一波,我感觉现在几年论文明显更会包装了,即使很简单的东西,也要精心的扯上一些东西,至少看起来很华丽。我刚刚入门的时候,主要做检索,当时深度学习检索还刚刚兴起,一堆论文放到现在,估计要被骂到猴年马月了。

1.当时俄罗斯yandex 出了文章,就是标注了一个数据集,然后train一下,抽特征直接检索,引用贼多,喜提顶会一篇。

2.好像是某大组的一篇文章,啥也没干,就是在最后一层抽特征之前加了一个物体基本上都是靠近中心的,所以中心的特征更加重要,这种先验知识,然后抽了一波特征,喜提ICCV一篇。

3.还有一大堆文章 pairwise loss triplet loss直接拿来用,放上去我就不说了。各种 顶会,还包括siggarph,拿到手软。

4.还有一次看到一篇检索的文章,就是把1里面的数据集拿过来,直接标注了一下bbox,然后抽特征,又是triplet loss,又是一篇ICCV+ IJCV。操作不要太骚。

注:前面说的文章作者都是老外。

我还记得当时看这些文章的时候,痛心疾首,我咋不早生几年??

PS:纯吐槽,不针对谁...


推荐阅读:
相关文章