豊臣秀吉公没後、北政所ねね様は高台寺建立を発願し、慶長10年、伏見城の化粧御殿とその前庭を、その山内に移築して移り住みました。ねね様が77歳で没するまで、19年間この地で余生を過ごされました。その後、甥の木下利房公により、この地を圓徳院とし、高台寺の塔頭寺院とされました。