人工智慧為應用科學帶來的改變

  • 物理專文
  • 撰文者：楊安正、陳南佑、李玟頡、陳冠朋
  • 發文日期：2022-04-01
  • 點閱次數：2320
Print   PDF

無所不在的人工智慧

人工智慧(Artificial Intelligence)一詞在1956年於達特茅斯學院 (Dartmouth College)所舉行的研討會中1，由約翰・麥卡錫（John McCarthy）首次提出，在歷經了20世紀70、80年代兩次的寒冬，隨著計算機性能的提升以及研究者不懈的努力，迎來了新一波的浪潮，最為人所知的就是2016年3月由DeepMind發展的AlphaGo擊敗圍棋世界冠軍李世乭九段2–4。事實上人工智慧早已悄悄地走入我們的日常生活影響了我們的生活習慣，舉凡停車場車牌辨識、上班人臉辨識打卡，到手機行動助手甚至是串流影片即時翻譯等等，過去科幻小說中對於人工智慧的想像看似一步一步實現當中，但距離能表現人類所具備所有智能行為的通用人工智慧還是有一段距離，如何發展出通用人工智慧仍然是目前人工智慧研究的主要目標。本文僅就目前人工智慧為應用科學帶來的改變，進行介紹，希望以此拋磚引玉，啟發更多不同領域的研究人員嘗試利用此一工具解決研究上面臨的難題。


用機器學習加速量子化學計算

 量子化學利用量子力學描述分子中電子行為，透過求得電子的波函數，進而得到分子的穩定構型、反應路徑及多種分子的性質。但是問題的統御方程式--多體薛丁格方程在超過三個電子的系統是沒有精確解，多種近似理論紛紛被提出，例如共價鍵理論(Valence bond)、分子軌域論(Molecular orbital)以及密度泛函理論(Density functional theory, DFT)，而即便是近似解也需要花費相當多的計算資源與時間才能得到，這大大的降低了量子化學的進展。2007年蘇黎世聯邦理工學院的約格·貝勒（Jörg Behler）和米歇爾·帕里內羅（Michele Parrinello）提出一個DFT位能曲面的神經網路表達形式5，以此為基礎，理論化學家紛紛設計多種不同的神經網路模型試圖攻克這問題。德國柏林工業大學的克勞斯-羅伯特·繆勒(Klaus-Robert Müller)提出了一個基於深度學習的神經網路SchNet6,7用以表示電子的交互作用，能大大提升描述非線性位能曲面的能力進而提高探索模型，如圖一所示。在SchNet模型中使用了連續濾波卷積層(continuous-filter convolutional layers, cfconv)來表達某一原子與其鄰近原子的所有交互作用，連續濾波卷積層是離散型卷積層的通用型式，而離散型卷積層被廣泛用於處理影像、聲音等資料，而原子的組態並非離散，所以透過泛化後的連續濾波卷積層，我們可以將複雜的交互作用轉化為卷積後的結果。無獨有偶，加州理工學院的湯瑪士·米勒（Thomas Miller）也提出了一個基於圖神經網路(graph neural network, GNN)的量子化學計算架構OrbNet8，網路架構如圖二所示。使用具對稱性的原子軌域基底(symmetry-adapted atomic orbitals, SAAO)作為特徵，OrbNet最大的特色是改變了薛丁格方程式中電子的對應方式，圖神經網路採用圖的資料結構，把資訊用節點(Nodes)和連結(Edges)表示，直覺來想，我們可能會把原子視作為節點，將原子之間的鍵結視為為連結，但這並不是最適合量子化學領域的表達方式。OrbNet將電子軌域視為節點，而連結就是軌域之間的相互作用，這樣可以和薛丁格方程式有著更自然的對應。量子化學是一個非常重要的基礎領域，它同樣也可以是先進的機器學習技術的應用場域，以上兩個的研究的成果，讓我們更有信心資料驅動的機器學習模型一定能為量子化學帶來進展。

fig1.jpg
圖一 SchNet模型架構6，由分子構型表示模組(atom embedding)、交互作用模組(atom-wise layers, cfconv)以及性質預測模組(property prediction network)所組成。



fig2.jpg圖二 模型架構8，除了使用具對稱性的原子軌域作為特徵基底，獨到的圖神經網路與薛丁格方程式對應關係都是讓此架構成功的原因。


機器學習在計算材料的應用

計算材料是材料領域中的一大分支，利用計算機的運算能力，搭配不同尺度的理論探討材料分子的行為，可以是材料性質的理論計算，也可以是材料製造過程或是應用階段的模擬，不同尺度的理論從微觀的量子力學(ab initio)、介觀的統計力學(分子動力學)，一直到巨觀的連體力學(有限元素法)。如同量子化學問題可以利用機器學習技術來描述量子力學的統御方程式--薛丁格方程，在連體力學的問題上也可以使用機器學習技術來描述統御方程式。筆者所屬的研究團隊與陽明交大材料系鄒年棣老師也實踐了這一流程9，我們將骨釘植體周邊細胞再生癒合的模擬用機器學習技術進行替代，Mechano-regulatory method10是一個被廣泛用於細胞再生癒合的模擬中，此方法多以有限元素模擬進行實作，包含兩個步驟，首先是根據給定的材料參數(楊氏係數、波松比、滲透性)以及邊界條件(幹細胞濃度)，透過彈性力學與流體力學的統御方程式求得各處的受力情形及組織液流速，其次是根據「用進廢退」的現象來決定骨細胞分化的類型，這工作提出了一個複合式的機器學習網路(如圖三所示)，第一個區塊利用一個U-Net代換統御方程式的求解。第二區塊是利用兩個分類器來取代rule based的細胞分化參照。在過去研究者只要修改了某一個模擬參數，就需要消耗可觀的計算資源來進行有限元素模擬，改用機器學習模型行推論比起模擬計算可以縮短1000倍的時間。此外我們應用了模型的可詮釋性分析(interpretability analysis)，找出對於骨細胞分化影響至關重要的區域並且設計數值實驗進行驗證，替換影響細胞分化驗證結果如圖四所示。此一結果也展現出機器學習模型比起原有模擬的優勢，過去設計人員可能需要時間累積而且難以轉移的經驗，現在都可以從過往的資料內化成一個機器學習模型而且可以隨著訓練資料的累積不斷的精進，這對於骨釘植體設計等同於另闢了一個邁向最佳設計的途徑。


fig3.png

圖三 用以取代Mechano-regulatory method流程的網路架構9，此網路由三個子網路所組成，subnet-1代換統御方程式的求解，subnet-2,3取代細胞的分類。



fig4.png
圖四 利用機器學習的可詮釋性分析，可以幫助我們在設計階段就找出至關重要的區域9。

結語

使用機器學習技術來描述問題的統御方程式，在筆者所在的研究群內，我們是以「物理引擎AI化」來稱呼此一概念，而此一概念也漸漸為人所知，從越來越多領域研究人員把研究上所遇到的難題改用機器學習技術解決可見一斑，甚至NVIDIA也推出了NVIDIA Modulus11作為建構可以取代物理模擬的神經網路工具。但即使如此機器學習和資料驅動的模型要為人類在科學探索上使用還有很大一段路要走，許多人說機器學習就像個黑盒子，知其然不知其所以然，這點出了機器學習的一項缺點，若不知其所以然，又要如何從學理出發進行模型的改良或精進?筆者認為機器學習就像微積分等數學工具一樣，是人類發展用來探索萬物道理的一種工具，現在還在還在這個方法發展的初期，但即使如此機器學習也已經在許多研究難題上展現一條新的道路，現在正是需要有更多人力投入發展之時，你準備好了嗎?

 

References

  1. McCarthy, J., Minsky, M. L., Rochester, N. & Shannon, C. E. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. AIMag 27, 12–12 (2006).
  2. Silver, D. et al. Mastering the game of Go with deep neural networks and tree search. Nature 529, 484–489 (2016).
  3.  Silver, D. et al. Mastering the game of Go without human knowledge. Nature 550, 354–359 (2017).
  4.  Silver, D. et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science 362, 1140–1144 (2018).
  5. Behler, J. & Parrinello, M. Generalized neural-network representation of high-dimensional potential-energy surfaces. Phys. Rev. Lett. 98, 146401 (2007).
  6. Schütt, K. et al. SchNet: A continuous-filter convolutional neural network for modeling quantum interactions. Adv. Neural Inf. Process. Syst. 30, (2017).
  7.  Schütt, K. T., Sauceda, H. E., Kindermans, P.-J., Tkatchenko, A. & Müller, K.-R. SchNet - A deep learning architecture for molecules and materials. J. Chem. Phys. 148, 241722 (2018).
  8. Qiao, Z., Welborn, M., Anandkumar, A., Manby, F. R. & Miller, T. F., 3rd. OrbNet: Deep learning for quantum chemistry using symmetry-adapted atomic-orbital features. J. Chem. Phys. 153, 124111 (2020).
  9. Hsu, C.-W., Yang, A.-C., Kung, P.-C., Tsou, N.-T. & Chen, N.-Y. Engineer design process assisted by explainable deep learning network. Sci. Rep. 11, 22525 (2021).
  10. Chou, H.-Y. & Müftü, S. Simulation of peri-implant bone healing due to immediate loading in dental implant treatments. J. Biomech. 46, 871–878 (2013).
  11. NVIDIA Modulus. NVIDIA Developer https://developer.nvidia.com/modulus (2019).



 

相關文章：

  1. 深度學習及其在凝態物理上的應用 – 上篇：什麼是深度學習，皮旭庭，物理雙月刊40卷第6期。
  2. 深度學習及其在凝態物理上的應用 – 中篇：CNN與RNN，皮旭庭，物理雙月刊40卷第6期。
  3. 深度學習及其在凝態物理上的應用 – 下篇：深度學習與凝態物理，皮旭庭，物理雙月刊40卷第6期。