寺伝によると、室町幕府八代将軍・足利義政公の頃、文安元年（一四四四年）に八王子の城主であった、北条安祝（あんしゅく）公の開創と伝えられる。

開祖は崇芝性岱（そうししょうたい）禅師で、禅師が三十一歳の時、武州岡の知足院（埼玉県）から開山として入院され、四十二歳にして遠州（現在の静岡県西部）石雲院の開山として請せられ、浄牧院の後席を高弟である、仏宗活通禅師・浄牧二世大空玄虎（だいくうげんこ）大和尚に譲られた。

大空玄虎大和尚は学僧で、観音の化身の再誕といわれ伊勢神宮からの帰依をうけ勅特の禅師号を賜られた高僧であり、その名著「碧巌大空抄」は当院の土窟の中で著述されたもので貴重な資料として有名である。本尊釋迦牟尼仏の胎内には観世音菩薩が奉安されており、大空玄虎大和尚の化身と伝えられている。

以来、浄牧三世辰応性寅（しんのうしょういん）大和尚の法孫が住して、本寺である石雲院の筆頭末寺として輪番昇住する事が、明治の初年まで及んだ。浄牧八世品芝梵序（ほんしぼんじょ）大和尚の時、天正十八年（一五九〇年）徳川氏江戸入場と共に、品芝梵序大和尚は三浦の一族（後北条）であったことから、当院の広大な寺領は没収された。

しかし、浄牧九世玉室応珍（ぎょくしつおうちん）大和尚が昇住するに及んで、天正十九年（一五九一年）徳川幕府より朱印地三十石を賜り、保護していた北条氏および一門徒党の中枢の寺として復活したが、正保元年（一六四五年）・正徳二年（一七一二年）の災禍で伽藍は灰燼と化し、寛文・文化期に再興した。

その後、大正十二年（一九二三年）の関東大震災により荒廃した伽藍を昭和になって修復に着手し、檀信徒の力を集め大改修を図り、復興が進み寺の面目を一新するに至っている。

境内には、本堂・開山堂・書院・方丈・鐘楼・山門、さらに観音堂・坐禅堂・衆寮・会堂（斎場）が建立され、観音堂には十一面観音と妙覚道了尊（小田原最乗寺より分身）が奉祀され、本堂内には大像の延命地蔵尊が安置されている。境内参道脇には石像の十一面観音・六地蔵尊・仏足跡と仏陀の立像が祀られている。

史跡には、徳川時代の武家神谷一族と鈴木一族の墓がある。

開創以来五百四十年の現在、旧境内の五分の一（約五千坪）となったが、大樹が茂り武蔵野における曹洞宗の名刹として門景風致を有している。

尚、関東路の百八地蔵尊の百七番霊場となっている。