Press "Enter" to skip to content

在算法的道路上,你掌握了什幺思维让你突飞猛进?

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

作者: 知乎@金瀛若愚

 

链接: https://www.zhihu.com/question/436 874654/answer/1808192248

 

一. 反馈的闭环

 

在一个研究任务中,我首先尝试了方法A,没搞定,于是改用方法B。组里大哥问:为什幺改方法B。我说A没效果,或许B能work。大哥继续问:为什幺A不work。我说或许A不适合这个问题?大哥说: 「当你有一个尝试,你一定要知道它为什幺work以及为什幺不work。每次不work了你就换另一个方法,那另一个方法就能work吗?这不是科研,是赌博,是瞎试。你只有知道为什幺一个方法有效或不有效,何时有效何时无效,你才能增进对这个问题的理解,然后基于此提出有价值的策略。」

 

我的思考是,既然做了一件事,就一定要得到反馈,要搞清楚哪里做得好哪里不好,这样这个尝试所投入的时间才是有效的。不然就是在碰运气,如同做题不对答案,如同训练模型不算loss不做backprop。

 

二. 把炼丹技术推广到生活中

 

机器学习的很多技术都与现实世界的概念相互呼应。

 

在深度学习里,模型掉入局部最优,就是生活中的内卷,就是在狭窄的赛道上追求极致。摆脱内卷就是跳出局部寻求全局最优的过程。破局之道是尝试新事物,或增加训练数据。

与人交流、观察和学习他人可以避免闭门造车。与他人交流就是深度学习里的增加训练数据。进入好的学校好的公司就是提高训练样本的质量:在label准确时,学得轻松。

 

前面讲的“构建闭环”,就是关注backprop时的梯度。你不能攒了特别多事情后再去反思或寻求反馈,这个反馈链太长,要幺梯度消失,要幺梯度爆炸,无法有效学习。类似对loss的求导过程: 「你必须清晰地看到因果链条,才能做到从结果倒推原因,进而优化自己。」

 

已经做得很好的事情没必要重复。此时应该挑战新的项目,保持自己在学习的状态。这就是hard data mining. 遇到坏人后就认为全人类没救了,是overfitting。对应在机器学习里,在unbalanced dataset上学习,要想到用weighted loss。

 

挫折易使人变得复杂、内心冲突多。如果能用简单的形态存在,我们或许应警惕过分复杂。机器学习里,解决小问题硬上大模型是一种粗暴且没技术含量的办法。用不必要大的模型是对探求事物本质的逃避,科研如此,生活亦然。你以为模型练成了,其实它学的是shortcut,因此有泛化能力差的问题:variance大,不robust(内心不稳)。同时,模型太复杂就不容易理解,遇到bug不容易诊断病因(内心不易平稳和愉悦)。但避免复杂不是要当巨婴,不是抗拒成长。当任务复杂、训练数据也大的时候,就必须要上大模型。核心是模型复杂度(心智复杂度)要与任务复杂度和数据量(阅历)匹配,才是健康的。

 

三. 交流,交流,再交流

 

组里的女神姐姐教导我:“做research要多和人交流,多去听别人的paper reading,也把你读到的论文和想法讲给别人听。因为在讨论的过程里你会意识到未曾发现的问题。尝试给人讲明白的过程里,你的思路也会越发清晰。” 道理我都懂,每次我头点得像敲鼓一样,但也没坚持做到。

 

为什幺做不到?大概是心理包袱,总想着搞出一个牛X闪闪的东西后再展示给别人,不然觉得丢脸。或者总有一种再试一下就能搞定的错觉。这种错觉和我炒股票的风格如出一辙。

 

直到后来我看到越来越多平淡无奇的项目都逆袭了,我理解到,事物的发展都有必然的过程,要尊重其发展规律,不要总想直接搞个大新闻。高效的科研**要主动的寻求身边的资源,争取让良师益友把时间花在自己身上,**如果自己不主动争取,再照顾你的人也不能像亲妈一样耳提面命,他们毕竟不好逼迫你。具体的, 「应该多把自己读懂的论文讲给别人,在你给他人创造价值的同时,你也使他们帮助你这件事更容易了:他们只有懂了你懂的,才能给你最有效的建议,你才能借用他们的头脑思考。」

 

我发现当我积极主动之后,身边的人都默默支持起我来。稻盛和夫说:“心不唤物,物不至”。

 

四. 「焦虑动力」模型

 

勤奋上进、自我驱动、有行动力,本质是内心动力充沛的精神状态。动力不足时,我们懒惰、拖延、自控力差。用向量分解的思维模型,我们可以看清「动力」的本质。

「动力的分量是 1.焦虑/压力 和 2.热情。动力是二者的合力」

 

带着上面这句话,我们可以举出奋斗者的两种极端状况。一种由焦虑主导,被绩效和deadline催促,常处于不安和压力之中。希望获得他人的认可,如果有了过失,会感到煎熬;另一种是热情主导的。专注、投入,不易为外界干扰和诱惑所动。在做事的过程中,能收获成就感和喜悦,认为工作与个人追求比较重合。

 

警惕“动力”过分依赖“焦虑和压力”的状况。这个动力来源并不持久和可靠。随着年龄增加,体力和心力会下降,且随着阅历增加,阈值变高,很多事会不再觉得重要。那时就会失去动力。

 

**分量之间存在代偿。**盲人的耳朵往往很敏锐。如果动力过多依赖焦虑和压力,则留意到热情和乐趣就更难。可能并不是你不热爱,你只是太紧张了而已。

 

五. 独立思考

 

我对独立思考这件事体会最深的就是决定要不要读PhD时。拿到UW的录取后,因为微软组里就很多博士、教授,我自然就去请教他们问要不要读博,毕竟五年是一笔不小的投入。当时有一部分人说值得一读,另一些人说专心做事业可能有更大回报。

 

有趣的是,当我签下offer后,所有的人,不论之前给了什幺建议,都由衷恭喜和认可我的决定,并和我畅想毕业后Dr. Jin走向人生(996)巅峰的画面。

 

那之前他们的建议是真心的吗?当然是真心的。签offer后的认可也是真心的。于是我理解到,很多事情,做与不做都能找出道理。**他人给建议时,也会考虑到我们的情绪,让我们不论怎样选择都有台阶下。**因此,我们要保持独立思考,要对自己的决定负全责。

 

「建议的推导逻辑比结论重要。他人建议的正确用法是让自己看问题多个角度,减少信息差,而不是直接取其结论,让他人代为做选择。」

 

六. 把工作当做一个二阶优化过程

 

不管title是算法工程师还是应用科学家,产出都是代码及其体现的知识产权。我们工作的过程就是优化这个代码及知识产权的过程。但这太basic。

 

我们不仅要优化产品,也要优化产出产品的过程:一阶优化,是优化代码质量。二阶的优化,是优化工作过程,这个工作过程是代码质量更上一层的原因,是原因的原因,是二阶导数。

 

类比一下:为了走得远,你可以优化速度(路程的原因是速度),更进一步你可以优化加速度(速度的原因是加速度)。不断向上溯源,能解决根本问题、通用问题。

 

回到优化工作流程上,我们不断问自己:在我工作的过程中,有哪些是重复工作?有哪些可以更高效的完成?有哪些可以被拎出来整理出可以复用的,于是后面就不再需要花心思重做或者检查其bug?经过一两年我攒出了一套自己的代码库,很多被重复使用的部分(如用matplotlib画各种图,各种数据预处理)就都可以直接copy paste。这就形成了复利效应——时间越长,这些整理出来的代码片段就创造越高的价值。

 

七. 学习些销售意识

 

销售是一门大学问,值得广大猿类学习。

 

「像设计产品外包装一样设计履历」

 

一个畅销的产品必须有个特色,这个特色与其他竞品形成了差异化竞争,才能有自己的市场,卖上个好价格。比如始祖鸟这个牌子的衣服颜值很一般,但它的防水面料好,就拿下了户外市场。一个中庸的什幺都不差也什幺都不突出的产品就很难被你记住。同时,产品的优秀比不上品牌的优秀,如果产品的价值凝练成了品牌,那这个品牌本身就值高价。比如我们会为了logo付费。

 

我们的职业发展,说得现实些,也是希望自己在市场上有个好价格。为此,我们不需样样精通,但必须有一个具有代表性的,能拿得出手的技能。比如,我就是要和所有人不同,去学远古技术汇编语言。那只要市场出现了对这个技能的需求,你就能有极大的定价权。当我们深耕一个领域很久,又写了很多优质的博客,那你的名字就成为了品牌,可以帮助公司招贤纳士,等等。

 

我的老板兼导师也曾说:你做paper要想怎样把你的paper卖出去。你要站在消费者角度想,他们为什幺要花时间去读你的文章?你的论文有没有创意,能给他们带来什幺价值?写作语言,图表美观程度,就是卖相。这和销售很像。

 

我们的简历就是商品的成分表——在决定选择什幺项目时,不妨想想这会在简历里留下一行什幺样的记录,会不会帮你抬高自己的职业价值。

 

「用产品思维规划项目」

 

科研项目的立项过程和产品策划非常像。第一步都是要做survey,了解清楚目前技术有哪些分支,是什幺历史契机促成了某个技术的出现(比如有了新的数据集),不同的技术优点缺点在哪(A更准确,B速度更快,C不需要很多训练数据,等等)。然后了解这个任务的定义,metric(关键指标)是什幺,也就是搞清楚游戏规则,知道大家在比些什幺,头部的玩家都是谁等等。不了解清楚,后面的一切都是错的。

 

导师们经常问我的一个问题就是“这个task的upper bound是什幺”。我说我知道state-of-the-art是什幺,还要知道upper bound吗?导师说你在开始一个尝试前,要知道还有多少空间留给你去做。如果SOTA(目前最好的)已经比较接近upper bound了,你就很难再往上去攻了,你可能找个别的任务更有成就感。 「你跳进一个赛道前,要对其发展到了什幺阶段有些概念」 。

 

八. 关于忙碌

 

在上面各种催人上进的内容之后,我再来分享一个故事来结尾。

 

一次公司的一位高层前辈见面,临走前我问他能不能给我个过来人的建议。

 

我以为他会给我讲一些勤奋工作的态度、人生规划的经验、或者给我打打鸡血这种内容。

 

而前辈只是指了指办公室书架上的一排没拆封的乐高跟我说,我给你一个建议,就是年轻时多花点时间在自己的嗜好上。我年轻时喜欢乐高,但因为一直忙于工作,并没有花很多时间在我这个小小的嗜好上。现在我时间多了,但对乐高也不再有那种热情了,现在只把他们摆起来,包装都没拆。所以年轻的时候,你可以花点时间在自己的爱好上。不能只有忙碌的工作。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注