籍贯为安定郡乌氏县（今甘肃泾川县东北）。父輩移居函关（今河南新安县东）。九歲時遭逢安史之乱，舉家迁赴江南，大历四年己酉（769年）守父丧，師從李華、獨孤及。崔元翰稱他“立德玩詞以為文”。建中元年（780年）赴長安应举，登文辞清丽科，授太子校书郎。贞元五年（789年），召为监察御史。崔恭認為梁肅的文章是“儒林之綱紀”。權德輿謂梁肅為人“篤厚誠明”。與王仲舒、杨顼、裴枢为忘形之契。

梁肃篤信天台宗，廣德二年（764年）定居常州，為湛然弟子。《宋高僧傳》卷六《唐台州國清寺湛然傳》載：“其朝達得其道者唯梁肅學士。”又與皎然、元浩、靈沼、釋去諠、釋法禺等高僧交遊。贞元九年（793年），在万年县永康里逝世，享年四十一岁。第二年春正月，葬於京师之南小赵村之原。作品多佚，《新唐书·艺文志》著录《梁肃集》20卷。《全唐文》存其文6卷。