基于transformer的晶体材料特性预测模型：crystaltransformer
近年来，基于Transformer架构的化学分子性质与结构预测模型取得了显著进展，例如OrbNet和3D-Transformer。这些模型有效利用Transformer处理原子间相互作用和三维结构的能力，从而高效地表示复杂的原子间相互作用。 复旦大学的研究人员在此基础上，开发了一种名为CrystalTransformer的新模型，该模型生成名为ct-UAE的通用原子嵌入（Universal Atomic Embedding），为每个原子学习独特的“指纹”，捕捉其在材料中的功能和相互作用。
这些原子嵌入随后被应用于不同的深度学习模型中。研究人员利用均匀流形近似和投影（UMAP）聚类方法对原子进行分组，并分析嵌入与真实原子属性之间的关联。这项研究成果已于2025年1月31日发表在《Nature Communications》期刊上，论文标题为“Transformer-generated atomic embeddings to enhance prediction accuracy of crystal properties with machine learning”。
加速新型晶体材料的发现对于推动清洁能源、信息处理等技术发展至关重要。而传统的原子信息嵌入方法在提高材料特性预测精度方面存在局限性。CrystalTransformer生成的ct-UAE作为一种通用的原子指纹，具有广泛的适用性。
实验结果表明，基于CrystalTransformer的ct-UAE能够准确捕捉复杂的原子特征。在材料项目数据库中，使用形成能作为目标时，CGCNN模型的预测精度提高了14%，ALIGNN模型的预测精度提高了18%。 ct-UAE还展现出良好的可移植性，适用于各种数据库。
基于多任务ct-UAE的聚类分析能够对元素周期表中的元素进行有效分类，并揭示原子特征与目标晶体特性之间的合理联系。在预测混合钙钛矿数据库中的形成能时，MEGNET模型的精度提高了34%，CGCNN模型的精度提高了16%，这充分展现了ct-UAE在解决数据稀缺性问题上的潜力。
论文链接：https://www.php.cn/link/f46b28e1e1b9a56483b1e4058f9f9d97
以上就是复旦团队提出Transformer生成的原子嵌入策略，可通过ML提高晶体特性的预测准确性的详细内容，更多请关注【创想鸟】其它相关文章！
