Он женился на Джанет, единственной дочери и наследнице сэра Александра Мензиса Фозергиллского, второго сына сэра Роберта Мензиса из Уима. Джанет передала свои земли Фозергилл своему свёкру, Александру Стюарту, 28 октября 1379/80. В грамоте, датированной 24 декабря 1409, Джеймс упоминается как брат Александра Стюарта, графа Мара. Он также является предком Стюартов Атолла, среди которых наиболее известными являются Стюарты Гарта (Garth).

Его сын, Джон Горм Стюарт, был одним из тех, кто захватил убийц короля Якова I в 1437.