乾隆四十五年(1780年),适逢乾隆皇帝七十寿辰,六世班褝与各蒙古王公汇集避暑山庄,敬献佛像,为其祝寿。普宁寺堪布喇嘛察鲁克斯自筹资金恳请建庙,乾隆皇帝恩准在原赐达什达瓦部居住地选址,并依《缘起经》中“此有故彼有,此生故彼生”之意,取名为“广缘寺”。