方外院は、貞治元年(1362年)に、南明寺(山梨県富士川町)の3世・梅林禅芳和尚によって開創されました。当初は本栖湖(富士五湖の1つ)のほとりにあり、山号の「龍湖山」も本栖湖に由来します。
戦国時代、甲斐の武田信玄公が三河へ出陣のおり、本栖湖の付近で雷雨が激しくなり軍を進めることができなくなりました。その際、当院の観音様に祈願したところ、たちまち雷雨が晴れ、無事に三河に向かうことができました。信玄公はこの仏恩に感謝し、観音様を厚く保護したと伝えられます。
その後、武田家の滅亡の混乱や本栖湖畔の村々の衰退などにより、慶長2年(1597年)、当院は現在の地(山梨県身延町)に移されました。
江戸時代には、全国的に観音信仰や巡礼が盛んになる中で、当院も甲斐三十三観音霊場の1つとして人々の信仰を集めていました。
江戸時代末期、当地は米の不作に苦しんでいました。その時、観音様のお告げに基づいて巨大な千匹馬の絵馬が作成され、明治5年(1872年)に奉納されました。それ以後、米は豊作が続いたということです。