RSS Feed
 深度學習及其在凝態物理上的應用 – 上篇:什麼是深度學習

深度學習及其在凝態物理上的應用 – 上篇:什麼是深度學習

機器學習是一個歷史悠久的領域,早在 1950 年代就由英國的計算機科學家圖靈提出了,此後隨著各式各樣模型的提出,機器學習逐漸成為了一個成熟發展的領域。然而在很長的一段時間,這個領域並沒有得到相當的注意,甚至經歷了好幾次的 AI 寒冬[1],一直到 2012 年開始才重新走入公眾的視野,到了 2015 年,AlphaGo 大敗韓國頂尖圍棋高手李世石,機器學習才走入了大爆發的領域。好奇的人可能都很想問,究竟在 2012 年之後發生了什麼事情導致 AI 大爆發呢?

在電腦視覺領域有一個著名的圖片數據集叫做 ImageNet[2],最早是 2009 年由當時在 Princeton 大學的李飛飛等人所建構,這個數據集中現在包含了超過一千四百萬張的圖片,每張圖片上的內容都被人工標註了上面所包含的物體,總計達兩萬多類,是一個相當龐大的數據集。自 2010 年開始,開始由任教於 Stanford 的李飛飛主導,舉辦了ILSVRC大賽。該大賽的主題相當簡單,每次從ImageNet數據集中抽取大約一百萬張影像,共一千種類別,參賽的團隊提出新的演算方法透過電腦來辨識圖片上的內容是否與人工標記的結果相同,準確率高者得名。在此前受限於演算法能力的不足,準確率一直無法有效地提升上來,一直到 2012 年由 U of Toronto 的 G. Hinton 所主導的團隊提出了基於現代深度學習架構的 AlexNet[3],一下子把準確率拉高了十幾個百分點,這一下子才讓機器學習變成了一個火熱的主題,到了 2015 年微軟研究院提出了 ResNet[4] ,機器的影像識別率第一次在 ImageNet 上超越了人類,而推動這此大變革的核心, 便是我們今天的主題:深度學習!

 深度學習及其在凝態物理上的應用 – 下篇:深度學習與凝態物理

深度學習及其在凝態物理上的應用 – 下篇:深度學習與凝態物理

前面我們花了不少篇幅講述了深度學習的原理以及歷史,然而我們卻沒有提及深度學習究竟在物理上有何應用,所以這篇裡面,我們就來好好聊聊深度學習究竟在凝態物理上有何應用。

在開始討論應用之前,我們必須要了解到一個事實:深度學習本身是數據科學的一個分支。因此深度學習本身存在兩個面向,一個是數據,一個是科學。提別提出這點是什麼意思呢?我想強調的是,既然深度學習在本身是數據科學的一部分,它在物理上的應用自然也該從數據以及科學兩個面向來做討論。

從數據上的角度來看,任何有數據的領域,深度學習都可以作為一個強而有力的工具,例如在實驗上,我們可以使用深度學習找尋出實驗數據的內在規律,分析以往難以用簡單的物理公式分析的問題,又例如在做計算時,我們可以先用理論計算出一部分的數據,然後餵給模型,讓它大批量的替我們發現更多仰賴昂貴的計算資源才能獲得的訊息。這是從數據的面向來看的。

這時候可能有人會問,那如果我從事的領域並不涉及大量的數據,我又該怎麼涉足深度學習的研究呢?這就是屬於科學的面向了。事實上深度學習的理論本身和物理上的熱力學是息息相關的,除了諸多從資訊熵的角度討論深度學習的工作持續的在發表外,最近也有一些工作表明深度學習與物理上的重整化群是存在高度關聯的,這些都是有志於從理論的角度切入深度學習的物理學者可以努力的方向。此外深度學習還涉及大量的理論數值計算技巧,例如對非凸問題的優化,例如在深度學習的優化過程中透過引入噪音來提升泛化性等等,這些理論在發展的過程中,都與數學還有物理產生過多次的碰撞,激盪出許多火花。過去這幾年對於深度學習得基礎研究越來越多,所以也有許多人從拓樸,幾何的方向切入深度學習,相關的工作可謂一言難盡。

在接下來的討論裡,我將簡單的摘要一些最近與凝態物理相關的工作,讓大家有個粗淺的認識。(這些工作中,不見得每個工作都使用了深度學習,有些可能只使用的是傳統的淺層學習,不過理論上淺層學習能做得好的問題,深度學習通常可以做得更好,所以下面的介紹中我就不做特別區分了。)


« 1 ... 5 6 7 (8) 9 10 11 »