O Memorial dos Antepassados é o local onde recordamos as virtudes dos precursores que se dedicaram ao Caminho. Há três altares, sendo consagradas as almas da família Nakayama ao centro; do Pessoal do Serviço à direita; e dos condutores de igreja, yobokus e seguidores à esquerda. O edifício atual (inaugurado em 1914) foi construído na ocasião da Era Taisho como Residência de Oyassama. É uma construção de 13,5 m por 19,8m. Como foi construída a Residência atual de Oyassama na "1ª etapa da obra da Era Showa", passou a ser utilizada como o Memorial dos Antepassados.