朱晨光:一個從不通宵的AI研究員(2)
除了學(xué)習(xí),本科時期的朱晨光在科研上也取得了非常不錯的成績。
姚班的培養(yǎng)模式是鼓勵學(xué)生走出教室,去世界頂級的高?;蜓芯繖C構(gòu)進行學(xué)術(shù)交流、做科研。2009年,正在上大三的朱晨光去了微軟亞洲研究院的機器學(xué)習(xí)組實習(xí)。他在姚班所學(xué)到的機器學(xué)習(xí)與數(shù)據(jù)挖掘課程知識,剛好派上用場。
為期一年的實習(xí)中,朱晨光主要從事搜索引擎相關(guān)的工作。在微軟,他一共發(fā)表了8篇學(xué)術(shù)論文,其中,他參與基于隨機梯度下降的SVM與Logistic回歸的工作(“Inverse Time Dependency in Convex Regularized Learning”)發(fā)表在ICDM 2009,并獲得當年的最佳學(xué)生論文獎亞軍。
與此同時,朱晨光也沒有停止參加競賽。他形容,競賽就像練武術(shù),“從小開始練的功夫,長大以后如果不偶爾打一下拳,就感覺全身放松不下來?!鄙狭舜髮W(xué)后,競賽雖然不再是他生活中的主旋律,但已經(jīng)成為他生命中不可分割的部分。
在清華讀書時,他的賽場從NOI轉(zhuǎn)到了ACM/ICPC,與朱澤園等人組隊,曾在亞洲賽區(qū)獲得4枚金牌。讀博后,他代表斯坦福大學(xué)參加ACM/ICPC,曾獲得2011年ACM/ICPC太平洋西北賽區(qū)冠軍、2012年ACM/ICPC全球第13名。
除了ACM/ICPC,他還參加其他小的編程競賽,比如斯坦福舉辦的編程競賽與IEEE/GOOGLE算法比賽,都獲得了第一名。朱晨光告訴AI科技評論:“其實我現(xiàn)在都還在參加比賽,周末在網(wǎng)上刷一下比賽題目,已經(jīng)成為一種習(xí)慣了。”
據(jù)他所知,“樓教主”樓天城(2004年IOI金牌得主)到現(xiàn)在也還在參加比賽,“我做的題目可能沒他多,但也比較執(zhí)著?!?/p>
朱晨光稱,少年參加競賽也許是為了獲得保送,但隨著年齡的增長,現(xiàn)在參賽更多是享受比賽的樂趣,“有種緊張感,很刺激。我喜歡那種緊張的感覺?!?/p>
在他的競賽活動中,信息學(xué)并不是唯一的內(nèi)容。他從小練習(xí)乒乓球,也經(jīng)常參加乒乓球比賽,曾獲得2010年清華大學(xué)馬杯乒乓球男子單打比賽季軍。2015年,讀博期間,他還獲得了美國國家乒乓球錦標賽U2000 D分區(qū)的冠軍,號稱“斯坦福最杰出的乒乓球選手”。
圖注:朱晨光獲得2015年美國乒乓球錦標賽U2000冠軍
科研之余抽時間打球、競賽,朱晨光并不覺得累,反而認識這是對生活的放松與調(diào)節(jié),因為參加比賽與平時跟朋友隨便打打球的氛圍完全不一樣。比賽是每分必爭,給他一種只有競爭才有的快感。
雖然學(xué)習(xí)、科研與競賽同時進行,看似分身乏術(shù),但朱晨光從小到大都沒有通宵過。即使是工作后,趕論文ddl與產(chǎn)品上線發(fā)布,他也絕不熬夜,到點就睡。
3 斯坦福讀博:“鴨子劃水”
大四那年,朱晨光申請美國讀博,拿到了斯坦福大學(xué)與卡內(nèi)基梅隆大學(xué)(CMU)的全獎博士offer。CMU位于匹茲堡,工業(yè)氣息更重,而斯坦福位于舊金山灣區(qū),臨近硅谷,綜合學(xué)科實力更強,于是他便選擇了斯坦福。
后來他覺得,當初的選擇是對的。在博士最后一年,當他因為課題研究需求而想要修一個統(tǒng)計學(xué)碩士時,他發(fā)現(xiàn)斯坦福計算機系有一個政策,允許計算機博士免費讀一個碩士,而且斯坦福的統(tǒng)計學(xué)專業(yè)排名全美第一,為他提供了很好的學(xué)習(xí)機會。
在斯坦福讀博的六年,雖然業(yè)余有參加競賽和打球,但科研的壓力也是顯而易見的。
朱晨光形容,斯坦福學(xué)生的學(xué)習(xí)生活就像“鴨子劃水”:從水面上看,每只鴨子都在很悠閑地漂著,但到水底下一看,所有鴨子的腳都在嘩嘩地用力劃。斯坦福競爭激烈,大家都是表面上看起來輕松,實則外松內(nèi)緊。
讀博期間,朱晨光跟著Balaji Prabhakar教授從事基于機器學(xué)習(xí)的交通優(yōu)化研究。他做過一個有趣的項目,叫“擁堵與停車激勵”(Congestion and Parking Relief Incentives,簡稱“CAPRI”)系統(tǒng),通過現(xiàn)金激勵來改變?nèi)藗冊诟叻迤诘某鲂袝r間。
交通優(yōu)化的研究中,有一個重要的概念,叫“10%現(xiàn)象”,也就是說,如果能夠?qū)⒏叻迤趽矶侣范紊?0%的汽車出行時間偏離高峰期,那么交通堵塞情況就會得到明顯改善。以往的研究都是采取懲罰手段,但朱晨光所在的小組則轉(zhuǎn)向使用激勵手段,來吸引參與者改變自己的行為。
實驗首先落在交通擁堵的斯坦福大學(xué)。他們將高峰期定義為早上8:00~9:00與晚上5:00~6:00。如果參與者在高峰期進出學(xué)校則不得分,錯峰出行則得分。積累到一定的分數(shù)后,參與者可以抽獎獲得數(shù)額不等的現(xiàn)金。
在抽獎環(huán)節(jié),他們還引入社交網(wǎng)絡(luò),朋友之間可以觀察到對方的“好”行為。
圖注:CAPRI系統(tǒng)的積分抽獎頁面
統(tǒng)計表明,在交通優(yōu)化中引入激勵方法有利于改變?nèi)藗兊某鲂蟹绞?。他們觀察到,項目的參與者會將原先的出行時間推遲或提早幾分鐘,在原定的高峰期附近又形成一個更小的高峰。這有利于緩解通勤高峰期的交通擁堵情況。
他們的研究受到了《紐約時報》、《華爾街日報》等多家媒體的報道。
朱晨光感覺,博士生不像是學(xué)生,而更像是一個上班族,每天去的也不是教室,而是實驗室?!叭绻退固垢5谋究粕c碩士生交流,大家會很喜歡開玩笑;但博士生之間交流就會變得嚴肅、注意分寸?!?/p>
由于在本科期間已經(jīng)有科研經(jīng)驗,也發(fā)過頂會論文,所以來到美國后,朱晨光很快就進入了博士生的角色,會主動去尋找研究課題,然后獨立完成課題,而不是等著博士導(dǎo)師派發(fā)任務(wù)、跟在別人后面被動學(xué)習(xí)。
六年讀博,除了變得更加獨立,朱晨光最大的收獲就是科研思路更清晰。這要歸功于導(dǎo)師Balaji Prabhakar,“他教會了我如何有邏輯地將一件事情捋清楚?!彼J為,正是讀博期間的邏輯鍛煉,使得他在后來自己寫書、寫論文時,能夠游刃有余,逐層推進。
比如,2019年在寫《機器閱讀理解:算法與實踐》一書時,動筆之前,朱晨光在腦海里就已形成條理清晰的章節(jié)內(nèi)容。邏輯捋清楚,每天在完成微軟的正職工作之后,他就抽一個小時寫書,從字到句,從段到頁,從節(jié)到章,雷打不動地堅持了3個月,便順利完成初稿。
雖然博士畢業(yè)后,朱晨光沒有繼續(xù)從事交通優(yōu)化研究,但對他來說,從博導(dǎo)那里學(xué)到的邏輯思路是伴隨一生的,即使跨領(lǐng)域也能有所裨益。
圖注:2016年斯坦福博士畢業(yè)典禮,朱晨光與導(dǎo)師Balaji Prabhakar合影
關(guān)于硅谷的印象,朱晨光認為,就計算機行業(yè)而言,硅谷的科技規(guī)模、人才密度、科研創(chuàng)新能力是當之無愧的世界第一。
此外,硅谷的創(chuàng)業(yè)氛圍非常濃厚?!叭绻ゲ宛^吃飯,你會經(jīng)常聽到旁邊桌子在討論創(chuàng)業(yè)想法、找投資。也有很多人在星巴克抱著電腦寫程序?!彼劦?,也有很多創(chuàng)業(yè)者來到斯坦福找技術(shù)人才,他周圍的許多博士同學(xué)就選擇了退學(xué)創(chuàng)業(yè)。
但博士畢業(yè)后,朱晨光卻沒有留在硅谷工作,而是去了位于西雅圖的微軟總部擔(dān)任研究員。
2012年暑假,他去了微軟雷德蒙研究院通訊與存儲組實習(xí),設(shè)計與執(zhí)行新的內(nèi)容感知SSD捕捉算法,研究結(jié)果被應(yīng)用于Windows Server 2012 R2。
在這次實習(xí)中,他覺得西雅圖更適合自己居住。朱晨光提到,他的皮膚比較敏感,加州的陽光太強烈,一曬就容易發(fā)紅;而西雅圖的天氣比較濕潤,皮膚比較適應(yīng)。在西雅圖上班,從家里開車到公司,一路上能夠看到雪山與綠樹,也很符合他的審美。
4 企業(yè)科研:滿足需求是關(guān)鍵
“微軟讓我有一種家的感覺?!敝斐抗膺@樣形容。
從本科大三的第一份實習(xí)開始,微軟就成為了朱晨光唯一的首選職業(yè)目標。最初他是因為仰慕微軟亞研的名號而去實習(xí),但在后來的交集中,他感覺微軟的工作氛圍非常自由,有許多施展個人能力的空間,也很有人情味。
博士剛畢業(yè)那會,他去微軟面試,遇到了后來為《機器閱讀理解》一書寫序的黃學(xué)東老師。黃學(xué)東是微軟全球人工智能首席技術(shù)官,非常愛惜人才,了解到他是姚班、斯坦福畢業(yè)后,與他聊了很多,還涉及到他以后的職業(yè)規(guī)劃,讓他感覺很親切。而朱晨光的老板曾南山是原微軟亞洲互聯(lián)網(wǎng)工程院副院長,有著豐富的管理和研發(fā)經(jīng)驗,也給了他很多指導(dǎo)和啟發(fā)。因此,他義無反顧地再次選擇了微軟。
“微軟被稱為‘IT界的黃埔軍?!?,我覺得不是一件偶然的事。它的發(fā)展歷史已經(jīng)很悠久,但無論是從人才儲備、產(chǎn)業(yè)品牌,還是從未來創(chuàng)新研究來看,微軟都是現(xiàn)有互聯(lián)網(wǎng)大廠里的佼佼者之一?!?/p>
朱晨光認為,微軟的最可貴之處在于,雖然規(guī)模大、歷史久,但微軟對研究方向的嗅覺十分靈敏,總是能夠掌握到科技與商業(yè)的前進脈搏。從Windows與Office,到搜索,再到人工智能,微軟的發(fā)展總是緊跟風(fēng)向。
進入微軟后,他的研究方向也隨著微軟的業(yè)務(wù)調(diào)整而轉(zhuǎn)變。本科實習(xí)時,他在微軟亞研更多是做搜索,研究如何提高必應(yīng)的搜索質(zhì)量;博士畢業(yè)入職后,微軟的研究重心之一放在自然語言理解,他也從交通優(yōu)化轉(zhuǎn)到了NLP。換句話說,他與微軟是共同成長。
在這一點上,他提到,微軟會針對不同的崗位設(shè)置培訓(xùn)課程,幫助大家適應(yīng)新的研究方向。比如,剛接觸NLP時,朱晨光是跟著組里的人一起讀論文,自學(xué)深度學(xué)習(xí)的課程,以及參加微軟內(nèi)部的培訓(xùn)。
朱晨光在2016年1月入職微軟,2020年便升為了認知服務(wù)研究部門知識與語言小組的首席研究經(jīng)理。
與高校做研究不同,朱晨光總結(jié),在企業(yè)做科研,要懂得靈活根據(jù)產(chǎn)品需求來調(diào)整自己的研究方向。
技術(shù)組與產(chǎn)品組的合作主要有兩種方式:一種是問清楚需求,利用技術(shù)從根源解決需求,“這種研究只要做出來,產(chǎn)品轉(zhuǎn)化率非常高?!绷硪环N是引領(lǐng)產(chǎn)品方向,走在產(chǎn)品組前面,幫他們提問題,做出成果后,再去跟產(chǎn)品組談如何將業(yè)務(wù)系統(tǒng)化。
在這兩種模式下,科研往往既能體現(xiàn)科研價值,也能創(chuàng)造商業(yè)價值。這也許是朱晨光轉(zhuǎn)變研究方向,從頭開始,也能夠在4年內(nèi)晉升為首席研究經(jīng)理的原因之一。
“我覺得公司招聘我們過來,看重的不是我們之前的研究經(jīng)歷,而是一種潛力,微軟稱之為‘growth mindset’(成長型思維),能否將已有的經(jīng)驗轉(zhuǎn)移到研究其他任務(wù)的能力。未來的研究是多變的,所以不會僅看當下的能力匹配度?!敝斐抗饨忉尅?/p>
剛進微軟時,朱晨光的研究內(nèi)容是客戶對話系統(tǒng)與機器閱讀理解。他曾領(lǐng)導(dǎo)小組在2017年斯坦福機器閱讀理解挑戰(zhàn)賽SQuAD中獲得全球第一名,2019年又在斯坦福對話閱讀理解挑戰(zhàn)賽CoQA中設(shè)計模型超越人類表現(xiàn)、獲得第一名,其在比賽中提出的FusionNet模型已被應(yīng)用于微軟Bing的問答產(chǎn)品中。
他還在中國計算機學(xué)會(CCF)原秘書長杜子德的邀請下,將自己在機器閱讀理解上的學(xué)習(xí)與研究經(jīng)歷匯總成“機器閱讀理解:如何讓計算機讀懂文章 ”一文,發(fā)表在2019年2月的《中國計算機學(xué)會通訊》上。
文章大火,于是朱晨光又在機械工業(yè)出版社的邀請下寫了《機器閱讀理解:算法與實踐》一書。杜子德老師欣然為此書作序。
圖注:《機器閱讀理解:算法與實踐》中英文雙版
2019年,隨著業(yè)務(wù)的調(diào)整,朱晨光又將研究重點轉(zhuǎn)向了文本總結(jié)與知識圖譜。
他認為,在一個信息爆炸的時代,大家對信息獲取的速度與質(zhì)量有很高的要求,所以文本總結(jié)對吸引閱讀至關(guān)重要。于是,他開發(fā)了一種利用新聞的倒金字塔結(jié)構(gòu)訓(xùn)練大規(guī)模文本總結(jié)模型的方法,不用任何人工標注的總結(jié),就可以達到很好的效果。這項研究發(fā)表在SIGIR 2021會議,并應(yīng)用于Microsoft News等產(chǎn)品上,不斷提升了用戶的閱讀體驗。
而知識圖譜的研究是針對當前許多深度學(xué)習(xí)模型的“黑盒”特性而缺少可解釋性,希望通過以圖的形式呈現(xiàn)人類知識,供機器模型學(xué)習(xí),提高機器的智能程度。通過融入知識,使得用戶可以手動控制大規(guī)模模型的預(yù)測,這使得整個模型決策的過程更加透明。他們團隊的成果在CommonsenseQA、CommonGen等賽事中多次登上榜首,并發(fā)表在ACL, EMNLP, NAACL等頂級NLP會議上。
朱晨光提到,成績的取得與整個團隊的努力是分不開的。他非??春矛F(xiàn)在負責(zé)的知識與語言研究組。朱晨光得意地稱,“我覺得我們是一個明星小組。組內(nèi)一共有8個研究員,3個畢業(yè)于斯坦福,2個畢業(yè)于CMU,還有2個是姚班的畢業(yè)生,都擁有自然語言處理方向的博士學(xué)歷?!?/p>
在管理研究組時,他的主要工作是根據(jù)公司需求定下基本的研究方向,然后給研究員提供自由研究的空間,讓大家發(fā)揮各自的特長?!胺较蚨ê煤螅扇∈裁捶椒ń鉀Q,他們自己選,然后我和他們一起討論。”
他幾乎可以肯定,在未來5年,他的研究方向會發(fā)生更大的改變,因為技術(shù)的更新迭代非???。在不斷成長的同時,朱晨光也要求自己不斷學(xué)習(xí)。
比如,他堅持每天至少閱讀一篇學(xué)術(shù)論文,以此來掌握NLP領(lǐng)域的最新知識與研究動態(tài)。既是為了能夠及時調(diào)整自己的研究內(nèi)容、以適應(yīng)產(chǎn)品的需求,也是為了緊跟潮流、不被時代淘汰。
5 寫在最后
雖然已離開校園多年,但朱晨光在少年時養(yǎng)成的“競爭生存意識”仍在不斷驅(qū)使他繼續(xù)學(xué)習(xí)。他稱:“無論是公司還是個人,不進步都會被淘汰?!?/p>
在微軟做科研,最忙碌的情況一般是頂會投稿截止時間逼近,以及產(chǎn)品準備上線前夕。但總的來說,他在下班之后還是有時間看看書、充充電。
他看書的種類很廣,不只限于自然語言處理,還有統(tǒng)計、機器學(xué)習(xí)、信息論等。他認為,如果只關(guān)注自己的工作內(nèi)容本身,很快就會落后。而且,在帶組后,他不僅需要關(guān)注個人的科研,還要保證組內(nèi)的成員都走在正確的道路上,這就要求他走在前沿,當一個合格的掌舵人。
在帶小組時,他也要求組內(nèi)的成員至少同時進行兩項工作,以備在一項工作沒有進展時、隨時有另一項工作頂替,不至于一潰即散。
對于立志從事人工智能研究的學(xué)生,朱晨光提了三點建議:
首先,有三門課一定要學(xué)好,那就是數(shù)學(xué)、英語與計算機?!皩W(xué)計算機并非是只學(xué)編程,還要經(jīng)常閱讀前沿的研究成果,這就需要一定的英語能力;要弄清楚研究背后更深層次的原理,那就需要了解數(shù)據(jù)。”
其次,要勤于溝通,與前輩、師長及同學(xué)多交流,避免方向出錯。他提到,在申請學(xué)校、實習(xí)與做研究時,他與競賽時認識的朋友、清華與斯坦福的同學(xué)與老師、微軟的領(lǐng)導(dǎo)與同事交流,他們都給了他很多指導(dǎo)與建議,讓他少走了很多彎路。
最后,一定要在廣泛涉獵的基礎(chǔ)上堅持一個方向,比如機器學(xué)習(xí)。朱晨光說:“只要保持專注,堅持不懈,成功一定在不遠處。”
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。