寺院初建于晋武帝司马炎秦始元年至太康十年（公元265—289年），距今一千六百多年，初名遵善寺。隋文帝二年（公元582年）改名大兴善寺。隋唐时代，长安佛教盛行，当时有印度僧人那莲提黎耶舍阐那崛多和达摩笈多等先后来此寺翻译经典，传授“密宗”。唐开元四年至八年（公元716—720年）又有号称“开元三大士”的印度僧人善无畏、金刚智和不空等先后在此传授密宗，因此这里便成为长安城翻译佛经的三大译场之一，被视为中国佛教密宗的发源地。这里现辟为公园，向旅游者开放。