寺の起源は豊後大神氏の菩提寺と伝わっている。
慶長8（1603）年、日出藩初代藩主木下延俊により現在地に移転。日出藩の鬼門を守護する祈祷寺として栄えた。御本尊の木造千手観音立像及び仏涅槃図は鎌倉時代の秀作で県指定有形文化財となっている。