第99章 这是数学！（5k）

所有的欢呼声,尖叫声以及拥抱都停了下来。

整个XRCE团队的目光缓缓移向了那块屏幕。

“第……………第二名?”

佩罗宁难以置信地看着屏幕上刺眼的数字2。

如果他们研究透了经典特征工程,耗费了一年的心血才把错误率压到26%的费舍尔向量改良版方案,在今天,仅仅只能屈居第二的话,那么,第一名的错误率会是多少?!

那个踩在他们头顶,拿下了本届ImageNet第一名的方案又是什么?!

“26%竟然只能拿第二?这合理吗?!那第一名的错误率得低到什么程度?!”

来自洛桑联邦理工学院的副教授坐直了身子,盯着屏幕,摇头说:“施乐居然是第二名,太难以置信了。”

“今年预测所有参赛团队最好的成绩,也就只能把错误率压到24%到25%之间,难道漆吴团队真的做到了这一点?”

“24%?那已经是经典词袋模型的理论红线了!”

一旁的阿姆斯特丹大学领队否认说:“要知道,ImageNet拥有上千个高相似度的分类。”

“比如几十种不同品种的狗、不同鸟、不同蝴蝶、不同车型,人肉眼都容易认错,更别说机器了。”

“想突破25%的关口,除非他们不仅在传统的SIFT算子里加入了色彩直方图和LBP局部二值模式等多重手工特征进行超大规模的融合,还必须通过多核学习算法去动态调整特征权重,甚至在多核计算上彻底解决了非线性核函

数在海量样本下的存储与优化瓶颈。”

“这需要的资源可不少,他一个搞数学的能做到这些?”

李教授及其团队的人都在他们旁边坐着,没搭话。

即使他们早就知道了答案,但临到现在公布的时候,这一群人的心跳还是莫名其妙加快了。

在全场上千道要把屏幕戳穿的灼热视线中,屏幕上刷新出了代表着本届ImageNet最高成绩的第一名数据。

【第1名:华国蓉城科大QInet错误率:15%】

刺眼的15%让所有人都忘记了说话的本能。

在经历了大脑短暂宕机之后,整个会场炸了!

“15%?!上帝啊,这确定不是屏幕的显示像素坏了,导致25%的那个2字上半截没能显示出来吗?!或者是打字员昨晚喝多了红酒,把25%给手抖敲成了15%?!”一位来自慕尼黑工业大学的资深视觉组教授扯开了衬衫领

口,整个人因为激动变红了。

“25%我是相信的,15%是什么情况?”

“11%的绝对差距,这不科学!”

“阿西吧,一定是作弊!他们是不是在黑盒测试集上进行了作弊?对,只有提前拿到斯坦福的测试集去进行有针对性的过拟合,才有可能跑出这种吓人的数据!”刚刚还合十祈祷的首尔国立大学领队,根本不相信屏幕上显示的

错误率。

“闭嘴吧,寒国人,ImageNet的评测服务器是斯坦福独立脱机运行的,测试集在开赛前才由李教授的团队亲自导入,你告诉我他们怎么作弊?用特异功能吗?”一旁的阿姆斯特丹大学领队惊讶之余,也不忘怼他。

“漆、漆昊……………”

陈工咽了口唾沫,他感觉自己心脏几乎要跳出嗓子眼了!

“我没看错吧?我们在学校实验室里跑十折交叉验证时,由于那几块GTX 580显卡可怜的显存限制和保守估计的数据集偏差,测出来的成绩不错,但那是验证集,和测试集数据不同,怎么一到斯坦福的官方测试集上,这错误

率直接到了15%?!”

漆吴此时也有些错愕。

深度卷积神经网络在CUDA的并行算力下,对局部图像特征的捕捉会表现出非同寻常的优越性,但他没想到,实际错误率比他预估中还低。

此时李教授拿着话筒上台了。

东京大学团队的人立刻大声问道:“李教授,请问漆昊团队是否将训练集和测试集搞错了?”

面对东京大学代表队不服气的质疑,原本有些嘈杂的主报告厅再次安静了下去,大家都在期待李教授这位ImageNet挑战赛发起人会怎么说。

台上李教授,拿起话筒直接解释了起来:“我非常理解东京大学团队,以及在座诸位此时此刻所感受到的震撼和难以置信,但从ImageNet挑战赛的工程逻辑和规则设计来看,你们所质疑的混淆数据集的情况,在物理层面上

是绝对不可能发生的。”

“众所周知,为了确保比赛的绝对公平,ImageNet将整个数据集严格划分为三个完全独立的部分。”

“第一部分是包含120万张图片和完整标注的训练集,用于给各大团队进行模型训练,第二部分是包含5万张图片的验证集,用于大家在本地调参数,而真正决定结果,用于计算最终成绩的,是包含10万张图片的测试集。”

“简单说一下区别,拿训练集和验证集来说,它们就像是学校发给你们用来复习和模拟考的课后习题参考答案,不管题面如何,大家手里都有一清二楚的正确答案。”

李教授考虑到现场有很多非专业的观众,尽量找了一个简单的例子:“那10万张测试集的图片,就像是期末考试中的期末考卷。”

“所以大家应该知道了,这10万张期末考卷只有题目,根本没有参考答案,标准答案自始至终都被锁在斯坦福大学的离岸评测服务器里,在这个世界上,除了我们核心评估小组的研究员,没有任何一个参赛团队能够接触到其

中一个字节。”

“Qlnet团队和在座的诸位一样,手里只有那10万张没有任何标注的图,他们必须让自己的模型去预测这些图片里装的到底是什么,然后将生成的纯文本预测报告上传至我们的服务器,由我们的系统在后台进行全自动的双盲

比对。”

“因此,除非漆吴团队黑进了斯坦福的网络,盗取了这10万张测试集的标准答案去教他们的神经网络做题,否则,根本没有可能把训练集和测试集搞混,更不可能在闭环中进行作弊。”

李教授话音一落,主报告厅里那点不服气的嗡嗡声,顿时小了许多。

东京大学领队本想再争辩两句,可如果他再质疑数据集污染,无疑是在暗示李教授团队有问题,李教授作为这个领域的佼佼者,他肯定不想得罪。

“我知道,仅仅是规则的严密,依然无法平息大家对QInet团队成绩的疑惑。”

"ImageNet挑战赛本意是想成为促进学术交流的平台,所以下面我们进入现场答辩环节。”

“下面有请QInet团队负责人漆昊,上台!”

现场观众大多数都是为了漆吴来的,现在漆吴上了台,他们非常给面子的给了他最大的掌声。

随后佩罗宁迫不及待开口了:“李教授,请问我可以提问吗?”

李教授说:“现场答辩期间你们可以问问题。”

佩罗宁接过工作人员递过来的话筒,说:“李教授,我们当然相信测试集的公平性,但成绩归成绩,科学是要讲方法论的。”

“我想请问QInet团队,你们如何将错误率降低到15%的?如果连方法都说不清楚,恕我直言,这个结果很难让人信服。”

漆吴拿起话筒就说了起来:“各位好,我是漆昊。”

“我理解各位目前的质疑,事实上,如果易地而处,看到有人把imagenet测试集的错误率一口气降到15%,与其他团队的结果相差11%以上,我大概也会怀疑是不是斯坦福的评测服务器被黑客入侵了。”

台下响起了一阵善意的笑声,原本质疑的气氛缓和了一些。

“但很遗憾,我们的黑客技术并不足以攻破斯坦福的防火墙,况且,我们实验室服务器的电费已经严重超支了,实在没有余力再去发起一次分布式拒绝服务攻击。”

“大家肯定会想,既然不是作弊,那么Qlnet究竟是怎么做到目前的结果。”

“其实答案很简单,我们抛弃了过去十年里,整个计算机视觉界认可的人工特征提取路线。

"

下面的学者研究院们听到这一句话立刻哗然了起来。

现在,整个学术界对图像识别的主流认知,全都是基于SIFT、HOG等人工设计的算子,再配合支持向量机或者费舍尔向量进行分类,大家比拼的是谁设计的特征提取器更细致。

而现在,这个年轻的东方人竟然在ImageNet的舞台上,公然宣称他们把这些行业基础全扔了?

“荒谬!”

斯坦福大学的一位资深教授忍不住说道:“不用人工特征,你们拿什么去理解物体的边缘,纹理和几何结构?难道指望机器自己去长出眼睛来吗?”

“没错,我们就是让机器自己长出眼睛。”

“我们复活了那个在学术界几乎快要被扫进历史垃圾堆的技术,人工神经网络,确切地说,是卷积神经网络CNN。

“CNN?”佩罗宁皱着眉说。

“杨力昆在90年代搞的那个LeNet?”

“那玩意儿不是只能识别手写邮政编码吗?面对ImageNet这种上百万张,上千个分类的复杂现实图片,神经网络那可怜的拟合能力和让人绝望的计算效率,根本就走不通嘛!”

“是的,就是杨力昆先生所提出的LeNet,大家都知道深度神经网络有三大难题,梯度消失导致的无法收敛,参数过多导致的严重过拟合,以及惊人的计算量。”

“我设计的Qlnet一共包含5个卷积层,3个全连接层。”

“首先,是关于梯度消失和收敛速度的问题,传统神经网络喜欢用Sigmoid或者Tanh作为激活函数,但这两种函数在输入值较大时,梯度会趋近于零,导致深层网络在反向传播时根本无法更新参数。”

“在座的各位想必都被那种训练了三天三夜,损失函数纹丝不动的痛苦折磨过。”

台下的研究员们不由自主地点头。

这苦他们确实都吃过。

“我们的解决方案其实非常简单,直接弃用了复杂的双曲正切和逻辑函数,采用f(x)=max(0, x)。”

“我们称之为Relu,也就是修正线性单元。”

“在相同的网络结构下,使用Relu的Qlnet,其收敛速度比使用Tanh的网络快了6倍!”

然而,外行看热闹,内行看门道,台下的学者研究员们,都听懂了他的意思。

f(x)=max(0, x),这个在数学上几乎可以说是初中水平的单侧抑制函数,竟然能带来6倍的收敛速度提升?这意味着什么?

这意味着在大规模工程实践中,计算效率将获得质的飞跃!

“那过拟合呢?”一位MIT的教授追问,“120万张图,8层网络,6000万个参数,参数比的样本还多.......我是说,这么大的模型,你怎么保证它不是把训练集背下来了?”

这个问题问到了点子上,全场再次安静。

“确实会有这种的担忧,所以为了防止它在测试集上出现这种情况,我们引入了一种全新的正则化技术。”

“也就是Dropout随机失活。”

“它的原理是,在每一次前向传播中,以50%的概率随机将部分神经元的输出置为零,这些被选中的神经元在这一轮训练中,既不参与前向传播,也不参与反向传播。

“这相当于每次训练,都在训练一个不同的网络,最后做预测时,等于把无数个网络的意见集合起来,一个神经元摸了鱼,其他神经元就不敢太依赖它,逼着整个网络学到更健壮的特征。”

“最后一个问题。”

MIT的领队现在已经从质疑变成了纯粹的好奇:“如此庞大的训练,常规的CPU集群跑下来,没有几个月根本不可能,你们是用了什么超算?哪个国家实验室赞助的?”

所有人都以为,漆昊背后一定站着某个庞大的机构。

漆昊直接回答:“其实没有用超算。”

“当时我只是想测试我的想法是否可行,所以就用了两块GTX 580。”

“两块GTX 580 ? "MIT教授不敢相信自己听到的信息,“打游戏的那种?”

台下顿时响起了一片倒吸凉气的声音。

用显卡?

用打游戏娱乐的显卡,去跑世界上规模最大的图像识别挑战赛?

“我花了一点时间,用CUDA重写了卷积和池化的计算核,并且设计了一套双卡并行架构。”

“因为3GB显存依然装不下整张网络,我们将QInet的神经元分别寄存在两张显卡上,它们只在特定的层,比如第三层卷积和全连接层进行数据通信,而在其他层,两张显卡各自独立计算,互不干扰。”

佩罗宁原本以为对方是靠着什么漏洞或者运气,但现在,漆吴一步步讲解,一切又觉得十分合理。

佩罗宁主导设计的费舍尔向量算法,在图像分类领域几乎打遍天下无敌手,是全行业公认的最优解。

为了更好训练整个模型,他们甚至为此向总部申请了数十万欧元的预算,租用了欧洲最顶级的超算集群,夜以继日地进行着复杂的矩阵计算。

结果现在漆昊的方案,告诉他,他们连研究方向都选错了!

真是难以置信!

作为老牌CV学者的尊严让他不得不最后挣扎一下。

“漆吴先生!不可否认,你们的架构设计非常惊艳,但是,神经网络本身致命的缺陷之一就是平移不变性极差,ImageNet中的目标物可能出现在图片的任何角落,尺寸也千差万别。”

“Qlnet是如何在如此庞大的参数量下,保证不会因为目标物的位移,旋转或者光照变化,而出现分类崩塌的?”

漆吴解释了:“这其实我们在=训练中改进的。”

“Qlnet在数据预处理阶段进行了数据增强。”

“面对位移和尺寸变化,我们没有去试图修改网络本身,而是对数据源动手。”

“在训练阶段,我们把原本256x256像素的图片,随机裁剪出224x224的图块,并且进行水平翻转。”

“不仅如此,在测试阶段,我们对于一张待测图片,会同时裁剪出其四个角,中心区域以及它们的水平翻转共10张图块,让Qlnet分别进行预测,最后将这10个预测结果进行平均,作为最终的输出。”

“不是,这还是计算机学吗?”

“这是数学。”

“举个例子,现在我将裁剪图片出四个角和中心,加上水平翻转,得到10个不同视角的图块X1,X2,...,X10。

“在这10个图块里,猫的相对位置全都不一样,左上角那张,猫跑到了右下,右下角那张,猫又跑到了左上。”

漆吴让人把白板抬上来,然后在上面写了起来。

“最终预测=(1/10).Σ P(y | xi)"

“我把这10个视角的预测,求平均。”

“n个近似独立的预测求平均,方差变为原来的1/n。”

“因为物体位置扰动带来的预测方差,被压低到了原来的十分之一,当然这个值可以更加精确……………”

漆吴在上面滔滔不绝讲着,底下的数学人很高兴。

因为刚才讲计算机的东西,他们听不懂。

现在漆上起数学课,他们反而听懂了。

“搞了半天,隔壁计算机系天天神神秘秘,吹得天花乱坠的深度学习,本质上就是把我们测度论里的哈尔测度拿去给图片做离散采样啊!”

“就是,这玩意也不难啊!”另一个数学系博士生也兴奋了起来,压抑了半个多小时的优越感在这一刻蹦出来了。

“你看,我都跟你说了吧,万物皆可数学。”

“这是不是蒙特卡洛?你们要说这个,我可就不困了!”

他们在那高兴着,根本不懂一旁的计算机人有多郁闷。