天天快3开奖陈天奇:机器学习科研的十年 | 雷锋网

  • 时间:
  • 浏览:76
  • 来源:大发UU快三-大发UU快三官方

以下为陈天奇发表天天快3开奖在知乎中的文章,AI科技评论获权转载。点击「原文」可跳转其知乎文章页面。

十年前,MSRA的夏天,后来刚始于尝试机器学习研究的我面对科研巨大的不挑选性,感到天天快3开奖最多的是困惑和迷茫。十年或天天快3开奖者 ,即将跨出下一步的或者 ,未来依然是都能助 了不挑选,或者 期待又更多了这一。这其中的变化也带着这十年经历的影子。

起始: 科研是哪些 

我从大三后来始于进入交大APEX实验室,有幸随着戴文渊学长做机器学习,当时的我真是 “机器学习”这一名字十分高大上或者 挑选了这一方向,或者 做了一年或者 依然摸不着头脑,心中十分向往都能助 做科研,独立写论文的生活,却一直谁能谁能告诉我怎样下手。文渊在我进实验室的一年后去了百度。当时还都能助 了得到学长真传的我,后来始于了我科研的第一阶段,从大四到硕士的第二年,期间一直被委托人摸索,不断地问被委托人 “科研是哪些”。

和课程作业不同,学术研究都能助 了具体的大问题,具体的法律最好的办法,具体的答案。文渊的挑选离开我想要一下子谁能谁能告诉我该为什么做,当时的我的想法很简单,快点寻找一一有一个具体的方向,完成一篇论文。意味ACM班的意味暑假在MSRA的短暂实习,真是 学着了统统东西,但并都能助 了给我答案。MSRA回来或者 ,在实验室薛老师的建议下,我挑选了一一有一个现在看来正确而又错误的方向 -- 厚度学习。那是AlexNet老出或者 两年,厚度学习的主流热点是非监督学习和限制玻尔兹曼机。都能助 了导师的指导,都能助 了工具,当时我靠真是 验室的两块显卡和被委托人写的CUDA代码后来始于了死磕厚度学习的两年半。实验室的学长问我,你准备要干啥,亲戚亲戚朋友说:“我想要用卷积RBM去提升ImageNet的分类下行效率 。” 这一个回答开启了图书馆和实验室的无数个日日夜夜,为了给实验室的老机器多带一块高功率的显卡,亲戚亲戚朋友打开了一台机器的机箱,在外面多塞了一一有一个外接电源。我的生活就持续在调参的循环中:可视化权重的图片, 看上去都能助 了有点硬像人脸,或者 精度却一直提不上来,再来一遍。从一后来始于hack显卡代码的兴奋,到一年或者 的焦虑,再到一直在树下踱步想怎样加旋转不变的模型的尝试,在这一方向上,我花费了本科四年级到硕士一年半的所有时间,直到最后还是一无所获。现在看来,当时的我犯了一一有一个非常明显的错误 -- 常见的科学研究要么是大问题驱动,比如“怎样正确处理ImageNet分类大问题”;要么是法律最好的办法驱动,如 “RBM都能助 用来干哪些”。当时的我同時 锁死了要正确处理的大问题和用来正确处理大问题的方案,成功的意味性自然不高。意味我在多看一看当时整个领域的各种思路,比如Lecun在很早的或者 就意味做end to end,或许结局会都能助 了了一样吧。

当然都能助 了意味,赌上了两年半的时间的我留下的或者 何时够发表论文的紧张心情。焦虑的我后来始于打算换一一有一个方向,意味RBM当时一一有一个比较经典的文章应用在了推荐系统上,我后来始于接触推荐系统和kddcup。比较幸运的是,这一次我并都能助 了把RBM作为唯一的一一有一个法律最好的办法,或者 更加广泛地去看多推荐系统中的矩阵分解类的算法,或者 在实验室搭建了一一有一个比较泛用的矩阵分解系统。推荐系统方向的耕耘逐渐有了收获,亲戚亲戚朋友在两年KDDCup11中获得了不错的成绩。KDD12在北京,放弃了一一有一个过年的时间,我完成了第一篇关于基于行态的分布式矩阵分解论文,或者 非常兴奋地投到了KDD。四月底的或者 ,亲戚亲戚朋友收到了KDD的提前拒搞通知 -- 论文连第一轮评审都都能助 了过。收到拒搞通知或者 的我的心情无比心烦,意味这是第一篇被委托人大每项独立推动完成的文章。转折在五月,KDDCup12 封榜,亲戚亲戚朋友拿到了第一一有一个track的冠军,我依然还记得拿到KDDCup12冠军的那一一有一个瞬间,我在情況后边中二地打了excalibur,仿佛硕士期间的所有阴霾一扫而尽。那或者 的我依然还不完整性知道科研是哪些,或者 隐隐之中真是 似乎都能助 继续试试。

第零年: 都能助 做哪些 

我对于科研看法的第一一有一个转折,在于我硕士临近毕业的或者 。李航老师来到亲戚亲戚朋友实验室给了关于机器学习和信息检索的报告,或者 和亲戚亲戚朋友座谈。在报告的过程中,我异常兴奋,甚至一直地想要跳起来,意味发现我似乎意味知道怎样都能助 正确处理都能助 了多有趣大问题的法律最好的办法,或者 或者 却从来都能助 了想过被委托人都能助 做哪些大问题。联系了李航老师或者 ,在同一年的夏天,我有幸到香港跟随李航和杨强老师实习。实验室的不少学长们或者 去香港和杨强老师工作,亲戚亲戚朋友回来或者 都仿佛开了光似地在科研后边突飞猛进。去香港或者 ,我后来始于明白其中的意味 -- 研究视野。经过天天快3开奖几年的磨练,那或者 的我或许意味知道怎样去正确处理一一有一个已有的大问题,或者 却不足英文这一这一必要的技能 -- 怎样挑选一一有一个新颖的研究大问题,怎样在结果不尽人意的或者 转变方向寻找新的突破点,怎样知道整个领域的大问题之间的关系等等。“你香港回来或者 升级了嘛。” -- 来自某大侠的评论。这亲戚亲戚朋友说是对于我一一有一个月香港实习的最好概括的吧。香港实习后来始于的或者 我收获了第一篇正式的一作会议论文(在当年的ICML)。意味KDDCup的缘故,我认识了我现在博士导师Carlos的postdoc Danny,Danny把我推荐给了Carlos(UW)和Alex(CMU)。我在申请的或者 幸运地拿到了UW和CMU的offer。在CMU visit的或者 我见到了传说中的大神学长李沐,他和我感叹,现在正是大数据大火的或者 ,或者 等到亲戚亲戚朋友毕业的或者 ,谁能谁能告诉我时代会是怎样,不过又反过来说总都能助 去做更重要的东西。现在想起这段对话依然依然唏嘘不已。我最后挑选了UW后来始于了我六年的博士生活。

感谢博士或者 在APEX实验室和香港的经历,在博士后来始于的或者 我似乎意味不再担心被委托人都能助 做哪些了。

第一年: 意外都能助 收获哪些

意味给我在UW的第一年一一有一个主题的话,或许是“意外”。在交大或者 意味兴趣的关系一直去蹭系统生物研究员敖平老师的组会探讨随机过程和马尔可夫链。到UW的第一一有一个学期,我无意看多一篇探讨怎样用Lagevin过程做采样的文章,我想要这不或者 或者 组会上探讨过的东西么,或者 哪些法律最好的办法也都能助 用到机器学习上。我直接借用了或者 的交大学着的知识完成了第一篇高效采样HMC的文章。我后来并都能助 了继续在这一方向后边耕耘下去,不过另外一位同在组会的学弟继续基于这一方向完成了他的博士论文。

同样的在这一年,我和导师后来始于“质疑厚度学习” -- 意味别的的机器学习模型,有足够大的模型容量和数据,是否都能助 获得和厚度学习一样的效果呢?当时Carlos看好kernel methods,而我意味过去的这一经历决定尝试Tree Boosting。真是 最后在vision领域依然被卷积网络打败而尝试挑战失败,或者 为了挑战这一假说而实现高效Tree boosting的系统经过小伙伴建议开源成为了后来的XGBoost。

在第一年暑假后来始于的或者 ,意味偶然的意味,我后来始于对quantile sketch算法感兴趣。这里主要的大问题是怎样设计一一有一个近似的都能助 合并的数据行态用来查找quantile。这一方向一一有一个经典的方案GK-sketch的论文,或者 都能助 了够正确处理数据点都能助 了权重的情況。经过一4天 的推导,我在一次去爬山的路上终于把结论推广到了有权重的情況。有趣的是新的证明比起或者 的证明看起来简单统统。这一结论都能助 了单独发表,或者 后来意想都能助 了地被用到了分布式XGBoost算法中,证明也收录在了XGboost文章的附录中。

研究不用说是一朝一夕,做想做的事情把它做好,后来始于的或者 兴趣使然,而在几年或者 意想都能助 了的地方获得的收获,或者 的感觉走非常不错。

第二年和第三年: 挑选做哪些 

在新生聚会上,Carlos对亲戚亲戚朋友说,你意味有论文的发表经历了,接下来要静下心来做发大的,“只做best paper水平的研究”。和统统nice的导师不同,Carlos对于学生的要求非常严格,说话也是非常直白甚至于“尖刻“。统统的老师不论亲戚亲戚朋友提出哪些样的想法,总会先肯定一番,而Carlos则会非常直接地提出质疑。一后来始于的或者 会非常不习惯,感觉到信心受到了打击,或者 慢慢习惯或者 后来始于习惯或者 风格。到现在看来,诚实的反馈的确是我收益最大的东西。我进入博士的一年或者 ,主要在想的大问题是做哪些样的大问题,都能助 值得被委托人深入付出,做扎实有影响力的工作。

在博士的第三年,Carlos在建议我把XGBoost写成论文,用他的话说:“写一篇让读者都能助 学到东西的文章”。和传统的写法不同,亲戚亲戚朋友在文章的每一一有一个章节插入了实验结果验证当章节提出的天天快3开奖观点。而他对于做图的正确处理也成为了我现在的习惯,直接在图后边插入箭头注释,减少读者的阅读负担。经过好多个打磨论文终于成为了亲戚亲戚朋友想要的模样。

博士前对于厚度学习遗憾我想要又逐渐把目光转回到厚度学习。这一或者 ,我挑选了不再另1被委托人作战,在博士的第二年和第三年,我和兴趣使然的小伙伴们媒体合作,同時 后来始于了MXNet的项目。项目从零后来始于,在短短的一年时间后边做出完整性的架构。我第一次看多集合了亲戚亲戚朋友的力量齐心协力都能助 创发明权者哪些样的东西。研究的乐趣不光是发表论文,更多还是都能助 给别人带来哪些,意味更加大胆地说 -- 怎样同時 改变世界。

博士第二年暑假,我在小伙伴的介绍下进入Google Brain跟随Ian Goodfellow实习。当时GAN的论文或者 发表,我有的是幸在成为Ian的第一一有一个实习生。实习的后来始于,亲戚亲戚朋友讨论还要做的大问题,Ian和我把意味要做的项目画在一一有一个风险和回报的曲线上,我想要挑选。到最后我挑选了被委托人提出的一一有一个课题,在这一曲线后边风险最高,回报也最高。我一直一一有一个理想,希望都能助 构建一一有一个终身学习的机器学习系统,或者 正确处理其中意味老出的大问题。这一理想过于模糊,或者 亲戚亲戚朋友想法律最好的办法玩转信用卡 其中的一一有一个意味小的目标 -- 知识迁移。意味一一有一个机器学习系统要终生学习,都能助 了在不断下发数据或者 必然还要扩充模型的规模来学习更广意味更深,按照现在的做法亲戚亲戚朋友在模型改变或者 都能助 了挑选挑选离开或者 的模型重新训练,这显然是不足英文高效的。是否一一有一个法律最好的办法都能助 从意味训练好的网络后边进行知识迁移也就成为了一一有一个重要的大问题。我先花了一一有一个半月的时间尝试了比较显然的Knowledge distillation的法律最好的办法一直都能助 了得到正面的结果。在最后的一一有一个月,我改变了思路。实习后来始于的前一一有一个星期,我打开Tensorborard上最近一组实验的结果:实验表明新的思路正面的效果。这最后几步的幸运也我想要的这一个冒险之旅有了一一有一个相对圆满的结果。这篇论文最后被发表在了ICLR上,也是我最喜欢的结果之一。

博士的第三年,我和小伙伴们开发了两种都能助 用低于线性复杂度就都能助 训练更深模型的内存优化算法。当时我非常兴奋地把这一结果写下来或者 把稿子后给导师看。他和亲戚亲戚朋友说:Hmm,这一结果意味投到NeurIPS的话或许都能助 中一篇poster,或者 这不用说是有点硬有意思。在我沉默或者 他又补充了一句:论文不用说那末 来越多越好,相反你意味要尝试优化你的论文后边最低质量的那一篇。最后亲戚亲戚朋友或者 把这篇论文挂在了Arxiv上。Carlos的说法或许比较极端(这篇论文依然影响了不少后边的工作),但也的确是对的,用李沐或者 说过的的话概括,保证每一篇论文的质量接近单调提升,意味是一件难以做到或者 又值得最求的事情。

挑选做哪些眼光和做出好结果的能力一样重要,眼界决定了工作影响力的上界,能力决定了到底是否到达那个上界。交大时敖平老师或者 和亲戚亲戚朋友说过,另1被委托人做一件简单的事情和困难的事情真是 是共要一样多的时间。意味即使再简单的大问题有的是统统琐碎的地方。要想拿到这一东西,就必然意味要放弃这一这一东西,既然都能助 了,为哪些不一直挑选老出舒适区,选一一有一个最让被委托人兴奋的大问题呢。

第四年或者 : 坚持做哪些

博士第三年,我和小伙伴们参加GTC,后来始于后老黄party的角落里,我另1被委托人在发呆。厚度学习的框架发展意味铺开,可接下来应该做哪些,我一下子感到迷茫。第三年的暑假我都能助 了去实习,或者 决定另1被委托人在学校尝试开发脑海中显现的抽象概念 -- 厚度学习后边表示。暑假后来始于或者 ,我完成了第一一有一个版本,都能助 比较灵活地支持厚度学习系统后边的计算图内存优化。或者 一直真是 还缺少着哪些 -- 系统的瓶颈依然在更接近底层的算子实现上。暑假或者 在去加州的飞机上,我尝试在纸上画出为了优化矩阵乘法意味的循环变换,回来或者 ,亲戚亲戚朋友决定推动一一有一个更加大胆的项目 -- 尝试用自动编译生成的法律最好的办法优化机器学习的底层代码。

这一项目早在或者 我有的是这一想法,或者 一直都能助 了敢去吃这一螃蟹。意味是它的一一有一个特点:从零后来始于,横跨多领域。意味要做底层代码生成和想要支持新的硬件,亲戚亲戚朋友还要重新重新搞清楚统统在或者 被现有的操作系统和驱动隐藏掉的大问题,这就好象是在一一有一个荒岛上一无所有重新搭建起一一有一个城堡一样。而这后边也涉及了系统,系统程序运行运行语言,体系行态和机器学习等领域。这我想要想要起或者 在ACM班或者 重头搭建编译器和MIPS正确处理器或者 连接起来的经历。也是那段经历我想要真是 为了正确处理大问题去吃多个领域的螃蟹是个让他兴奋的事情。那段经历给我留下的第五个印记是理解了媒体合作和传承的重要性。这门课程设计一一有一个传统,每一门课程的老师都由上一届学长担任。每一届的同学有的是在或者 的基础上有所改进。我也或者 为这门课做过这一微小的贡献。演化到现在,这门课程意味从只做简单的答辩,到现在意味有在线评测的OJ。亲戚亲戚朋友同時 的媒体合作塑造了这一课程。推动新的机器学习系统和塑造这门课程一行,还要各个团队的同学媒体合作,足够时间的耐心关注和不断地改进。

我的媒体合作们也被“卷入”到了这一项目中。我的体系行态媒体合作一直想要设计新的AI硬件,我在雏形完成或者 花了几瓶的时间讨论怎样协同设计新的硬件的大问题。亲戚亲戚朋友后来始于讨论为什么管理片上内存,为什么都能助 比较容易地生成指令集,甚至为什么调度内存读写和计算并行的大问题都暴露出来。有一天,我和媒体合作说亲戚亲戚朋友还要引入虚拟系统程序运行运行的概念来隐藏内存读写开销,或者 他快一点 和亲戚亲戚朋友说,这是体系行态后边经典的超系统程序运行运行技术,发明权者人正是亲戚亲戚朋友的系主任Hank。亲戚亲戚朋友也在不断地重新发现经典的大问题的正确处理法律最好的办法在新场景的应用,我想要真是 上了一堂最好的体系行态课程。

两年间的不少关键技术大问题的突破有的是在有趣的或者 处于的。我在排队参观西雅图艺术博物馆的infinity mirror展览的途中把加速器内存拷贝支持的第一一有一个方案写在了一张星巴克的餐巾纸上。到后来是系统程序运行运行语言方向的同学们也继续参与进来。亲戚亲戚朋友争论最多的是怎样怎样平衡函数式语言和经典计算图做让亲戚亲戚朋友都都能助 玩转信用卡 的后边表达,这一讨论还在不断继续。经过亲戚亲戚朋友的努力,TVM的第一篇论文在项目后来始于的两年或者 终于发表。两年间参与项目的同学也从另1被委托人,到一一有一个团队,再到一一有一个新的lab和一一有一个社区,这两年也是我博士期间最充实的两年。

意味做了不少“跨界”的工作,我常被问起你到底属于哪个领域。过去半年一直在各地给报告,报告或者 开头:算法突破,数据的爆发,计算硬件的提升三者支撑了机器学习的变革,而整合这三者的,则是机器学习系统。这也是为哪些我想要做机器学习系统的意味。或者 一一有一个教授问我或者 的大问题,意味明天有一样新的化学反应过程意味带来机器学习的变革,让他为什么做。我答道:“我投入会去学习研究这一化学过程”。真是 谁能谁能告诉我遥远的未来会还要哪些,到底是系统,算法,还是化学,从大问题出发,用尽所有意味的法律最好的办法去最好地正确处理机器学习大问题,应该这或者 我想要想要坚持的研究风格吧。

总结

在写这篇总结的或者 ,心所含不少感叹。我常想,意味我在焦虑死磕厚度学习的或者 我多开窍这一会处于哪些,意味我并都能助 了在实习后来始于的或者 完成当时的实验,又会是哪些。但现在看来,统统困难和无助有的是随机的涨落的一每项,付出足够多的时间和耐心,随机过程总会收敛到和付出相对的稳态。

每被委托人的研究道路都各不相同,我的经历应该也是千万条道路中其中两根罢了。博士的经历就好像是用五年多时间作为筹码投资给被委托人,去突破被委托人做被委托人或者 想都能助 了的事情。中不管坎坷曲折有的是无可替代的一每项。

科研从来有的是另1被委托人的事情,对于我来说有点硬是都能助 了。我在交大的或者 和一群年轻的同学同時 摸索推荐系统的算法,而在博士期间搭建的每一一有一个系统都所含了统统媒体合作同時 的努力。也正是亲戚亲戚朋友同時 的努力才带来了现在的成果。我被委托人在这十年间受到了不少老师,同学,家人的鼓励和帮助,感谢亲戚亲戚朋友亲戚亲戚朋友给予了我这无比珍贵的十年时空里电视剧。

雷锋网版权文章,未经授权禁止转载。详情见转载须知。