当寺は永正元年（一五〇四）、天隠(てんいん) 玄鎖(げんさ) 大和尚（？ ～一五二三）により開かれた。開基は越後新発田よりこの地に移った安中(あんなか) 出羽守 忠親(ただちか) 公（一四一三～一五〇六）。当地には新田氏時代よりお堂があったとも云う。当初は「桂昌院」と呼ばれていた。



本尊は釈迦牟尼仏、脇士には阿弥陀仏と弥勒菩薩となっている。現本堂は享和三年（一八〇三）に建立されている。間口八間、奥行き九間。伽藍は庫裡、山門、鐘楼堂よりなっている。古くは山門下に総門もあったという。



安中城の艮（うしとら）の方角に位置する当寺は、鬼門除けの意味とともに、有事の際に砦としての役割を持っていたとも伝えられている。今も残る石垣は往事をしのばせている。

寺伝では本堂床下に地下通路が掘られており、そこを抜けると峠を越えて隣町に逃げることもできると云われていた。近年取り壊した旧庫裡（古くは本堂として利用）には、床の間の掛け軸裏の抜け穴や、吊り梯子や隠れ二階も残されていた。



創建当初は安中氏の外護を受け、安中家歴代当主により市内に末寺も二ヵ寺開かれている。また、信州とのつながりも深く、歴代住職により五ヵ寺の末寺が開創されている。



徳川期には、三代家光公より御朱印状が与えられ、五十七石余の朱印地を明治になるまで得ていた。



また、五代綱吉の時代には、綱吉の生母が出家し、桂昌院を名乗ったために改名を求められ、「清光禅院」の名を与えられたものの、時の住職がこれを良しとせず、「桂昌院」から「桂昌寺」と改めた経緯を持つ。



鐘楼堂の梵鐘は、安中城主であった井伊直好の正室長生院殿白顔宗清大姉の菩提のために、寛文三年（一六六三）に鋳造されたが、月日を経て音が悪くなったので、嘉永三年（一八五〇）に高崎の鋳物師小林弥兵衛（現小島鉄工所）によって、境内にて鋳直したものである。大戦中に鐘類の供出に際して、県内の鋳工の作品一個に限り供出を免れ、現在まで残されたものである。