当山は、小森山圓福寺（中北上1319番地）と称していたが、後醍醐天皇が隠岐島を脱出、船上山の名和長年に身を寄せられた1333年頃兵火によって焼失。
その後180年ほど放置されていたが、永正13（1516）年に幻住寺六世大網愚溪大和尚が、岩谷城主大河原彈正の懇請を容れて、大永5（1525）年10月10日に中北上1161番地に、山号を山形臥龍に似たるを以て澤龍山とし、「澤龍山小林庵」開山。
本尊「十一面観世音菩薩」は、岩谷城を築城した山名教清寄進の岩谷山慈悲門寺の本尊であったが、当時（戦国時代）の情勢により開基・大河原彈正が少林寺に移したものと伝えられる。
慶長2（1597）年、大河原彈正の三男智麟首座小林修理の修繕を得て、庵から寺に改称「小林寺」とした。
明和4（1767）年頃の中北上村は、相州小田原の大久保藩の領地で西川代官所（現在の美咲町）を設けて領内を支配していた。当山七世物外璿山大和尚が、その西川代官高橋文右衛門の賛助に依り、五十余ヶ村民の出役を得て現地（中北上1150番地）に移転改築し、寺名を小から少に改め「少林寺」とした。
天保12（1841）年に当山十三世泰山豊秀大和尚が、少林寺の旧跡地に少林寺末寺として「龍頭山観音寺」を開山。平成18（2006）年に建物の老朽化のため少林寺に合併し廃寺となる。
昭和53（1978）年、庫裡再建。平成5（1993）年、本堂・開山堂・客殿再建、位牌堂改築。
その後180年ほど放置されていたが、永正13（1516）年に幻住寺六世大網愚溪大和尚が、岩谷城主大河原彈正の懇請を容れて、大永5（1525）年10月10日に中北上1161番地に、山号を山形臥龍に似たるを以て澤龍山とし、「澤龍山小林庵」開山。
本尊「十一面観世音菩薩」は、岩谷城を築城した山名教清寄進の岩谷山慈悲門寺の本尊であったが、当時（戦国時代）の情勢により開基・大河原彈正が少林寺に移したものと伝えられる。
慶長2（1597）年、大河原彈正の三男智麟首座小林修理の修繕を得て、庵から寺に改称「小林寺」とした。
明和4（1767）年頃の中北上村は、相州小田原の大久保藩の領地で西川代官所（現在の美咲町）を設けて領内を支配していた。当山七世物外璿山大和尚が、その西川代官高橋文右衛門の賛助に依り、五十余ヶ村民の出役を得て現地（中北上1150番地）に移転改築し、寺名を小から少に改め「少林寺」とした。
天保12（1841）年に当山十三世泰山豊秀大和尚が、少林寺の旧跡地に少林寺末寺として「龍頭山観音寺」を開山。平成18（2006）年に建物の老朽化のため少林寺に合併し廃寺となる。
昭和53（1978）年、庫裡再建。平成5（1993）年、本堂・開山堂・客殿再建、位牌堂改築。
