創建は1060年ほど前の天徳4（960）年。江戸時代、日出藩木下家は、豊臣秀吉の正室ねねの甥、木下延俊を藩祖とし、慶長6（1601）年より16代にわたり速見郡内を治めた。
日出藩の総鎮守として歴代藩主が寄進した多くの石鳥居、石灯籠には、徳川の時代にも拘わらず幕末に至るまで「豊臣」姓が刻まれている。