【模型探索】Google推出自動尋找AI模型的AI

Go Smart

【模型探索】Google推出自動尋找AI模型的AI

谷歌宣布發布Model Search「模型探索」,其是一個開放源代碼平台,旨在幫助研究人員高效,自動地開發機器學習模型。 Google表示「模型探索」與領域無關,能夠找到適合數據集和問題的模型架構,同時最大程度地減少編碼時間和計算資源。

AI模型的成功通常取決於其在各種工作負載下的性能。但是,設計一個好模型通常極具挑戰性,AutoML算法便應運而生,可以幫助研究人員無需手動實驗就能找到合適的模型。但是,這些算法經常需要大量計算,並且需要數千種模型進行訓練。

基於Google TensorFlow機器學習框架的Model Search可以在單台機器上運行,也可以在多台機器上運行。模型搜索由多個訓練者,一個搜索算法,一個轉移學習算法以及一個儲存評估模型的數據庫組成。 「模型探索」以自適應和異步的方式運行AI模型的訓練和評估實驗,以使所有訓練者共享從他們的實驗中獲得的知識,同時獨立進行每個實驗。在每個週期的開始,搜索算法都會查找所有已完成的試驗,並決定下一步要嘗試什麼,然後在此之前對找到的最佳架構之一進行「變異」,然後將結果模型分配給培訓師。

Model Search From Google

為了進一步提高效率和準確性,模型搜索在實驗過程中採用了轉移學習。例如,它使用知識提煉和權重共享,從先前訓練過的模型中引導出模型中的某些變量。這樣可以加快培訓速度,並通過擴展機會發現更多,表面上更好的體系結構。

運行「模型探索」後,用戶可以比較在搜索過程中找到的許多模型。此外,他們可以創建自己的搜索空間,以自定義模型中的架構元素。

ResNet 示例 from Google

Google表示,在一項內部實驗中,模型探索以最小的迭代改進了生產模型,特別是在關鍵字查找和語言識別方面。 它還設法在經過大量研究的CIFAR-10開源成像數據集上找到適合圖像分類的體系結構。

Google研究工程師Hanna Mazzawi和研究科學家Xavi Gonzalvo在博客中寫道:「我們希望模型探索代碼將為研究人員提供一個靈活的,與領域無關的框架,以進行機器學習模型發現。通過基於給定領域的先前知識,我們相信該框架具有強大的功能,可以在提供由標準構件組成的搜索空間時,針對經過深思熟慮的問題構建具有最新性能的模型。」

Tags: , ,