寺并不是一开始就是寺庙，曾经是一处别院，四百年前，这不大的别院却曾住过历史上赫赫有名的大荔朝最贤名的皇帝鹿知山与皇后穆南枝两人，据说，这座不起眼的别院，曾经是帝后最爱的一处院落，帝后二人每年都有大半时间居住在这里，尤其是每年夏秋两季，帝后两人更是舍不得挪地儿，连奏折都会在这里批阅。
据野史记载，说是帝后在后院儿自己动手种了不少果树，每年到了夏秋时节，别院里头便是瓜果飘香，皇后因此连宫都舍不得回，尤其是到了石榴成熟的时候，皇后每天都要吃三四个碗口大的石榴，而且还得是皇上亲手剥皮皇后娘娘才肯吃，伺候他们的宫女纷纷表示每天都眼酸耳酸口酸五内俱酸，程度堪比喝一大坛的山西老醋……
不过就是这么恩爱的帝后，终其一生却没能留下一子一女，这成为了史上一大奇案，对此，后世众说纷纭，可是这却并不耽搁这对帝后成为了后世夫妻恩爱的楷模。
后来，新帝登基，为了纪念这一对恩爱帝后，便将西槐别院修缮之后，改为了西槐寺，供天下人祭拜，这座西槐寺自建成之后，便就被世人视作祈求夫妻恩爱情长的圣地，每天都慕名而来的人来到这里祭拜祈求，因此西槐寺香火不断，甚至一度连京中圣寺甘露寺都比不上。