当山は、徳川御三家紀州藩と関連深く、藩祖徳川頼宣（南龍院）は慶安3年（1650）に初めて瀬戸村に巡遊、その節当山に御成、その後寛文2年（1662）にも来山され、尚又、二代藩主光貞、三代綱教、四代頼職、五代吉宗（八代将軍）親子をはじめ歴代藩主たちが幾度もご来遊している。天明元年（1781）5月には、藩主の御取立てによって、田辺龍泉寺末寺から総本山知恩院直轄の寺に昇格し、その上、紀州徳川家の葵紋付の幕提灯、仏具等の寄進を受け、寺には、藩祖の位牌を祀り、藩主家と関係ある寺として一種の格式をもっていた。またこの御報恩と御礼のため住職は、毎年春秋二回藩主の御機嫌伺いに若山（和歌山）吹上御殿へ参上、その折、珍しい貝が手に入れば献上するのが例となっていた。
本覚寺が「貝」を多数蒐集し、湯治客らが観覧したことから、「貝寺」と称せられるようになった。