作為深度學(xué)習(xí)的重要分支之一，計(jì)算機(jī)視覺已被廣泛運(yùn)用在各類圖像數(shù)據(jù)處理領(lǐng)域。此外，得益于掃描探針顯微鏡（SPM）技術(shù)的發(fā)展，研究人員能夠直觀地從單分子乃至單原子尺度上分析材料從而深入對材料和物質(zhì)的理解。然而，在SPM圖像中提取關(guān)鍵信息一直依賴于專業(yè)實(shí)驗(yàn)人員的主觀識(shí)別。當(dāng)數(shù)據(jù)量變得龐雜時(shí)，這一提取方式的低效性和主觀性尤為突出。因此，找到一個(gè)能夠準(zhǔn)確、快速分析SPM圖像數(shù)據(jù)并提高實(shí)驗(yàn)分析效率的方法成為了迫切需求。
近日，上海大學(xué)材料基因組工程研究院孫強(qiáng)教授團(tuán)隊(duì)和南開大學(xué)王小野教授團(tuán)隊(duì)合作，開發(fā)了一個(gè)深度學(xué)習(xí)SPM圖像分析框架。該框架運(yùn)用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法（Mask R-CNN）以實(shí)現(xiàn)SPM圖像二元或多元納米結(jié)構(gòu)的識(shí)別、分類和實(shí)例分割。
在該深度學(xué)習(xí)框架中，工作流程從標(biāo)準(zhǔn)SPM圖像采集開始，然后通過t-SNE算法進(jìn)行圖像評估，該算法用于確認(rèn)高分辨率SPM圖像中分子的可分性。隨后，在原始SPM圖像中選擇一個(gè)小區(qū)域進(jìn)行標(biāo)記，實(shí)驗(yàn)人員只需人工標(biāo)記約20個(gè)分子就能完成訓(xùn)練準(zhǔn)備工作。接下來利用數(shù)據(jù)增強(qiáng)技術(shù)將這一張標(biāo)記后的圖像拓展為一個(gè)2000多張圖像的圖像庫作為計(jì)算機(jī)視覺模型（Mask R-CNN）的數(shù)據(jù)集。最后，機(jī)器視覺模型在利用上述數(shù)據(jù)集訓(xùn)練后將自動(dòng)批量分析其余SPM圖像并輸出預(yù)測結(jié)果。 為了展現(xiàn)框架對分子識(shí)別的靈敏性，作者使用了在SPM圖像中極為相似的兩種三角形的分子作為研究測試體系。實(shí)驗(yàn)結(jié)果表明，該深度學(xué)習(xí)框架可以高效、準(zhǔn)確地辨識(shí)出兩種分子在SPM圖像上的細(xì)微差別并以像素級精確度勾勒出分子輪廓。該框架為加速SPM圖像分析、數(shù)據(jù)挖掘以及新材料的發(fā)現(xiàn)提供了一種新思路。 論文信息 A Deep-Learning Framework for the Automated Recognition of Molecules in Scanning-Probe-Microscopy Images Zhiwen Zhu,Jiayi Lu,Fengru Zheng,Cheng Chen,Yang Lv,Hao Jiang,Yuyi Yan,Akimitsu Narita,Klaus Müllen,Xiao-Ye Wang,Qiang Sun Angewandte Chemie International Edition DOI: 10.1002/anie.202213503
