甲賀武士であった遠藤宗家は、德川家康公が江戸城に入府してから青山百人町にある青山甲賀屋敷に居住した。青山百人町は、現在の表参道駅にある善光寺周辺に位置する旧町名。（現在の南青山/旧港区赤坂青山南町五丁目六丁目と同北町五丁目の一部）

その後、千駄ヶ谷甲賀屋敷を拝領する。現在の千駄ヶ谷にある国立競技場。（昭和三十九年に開催されたオリンピックのメイン会場）の辺り。その他に青山権田原にも幕府から鉄砲演習場を拝領する。

その際に甲賀稲荷神社を建立しており、明治十八年（1885年）、青山練兵場（現在の外苑）設置のために鳩森八幡神社に遷座、合祀されることになる。昭和初期に神主であられた矢嶋宮司の著作『鳩森八幡略縁起』によると、この鳩森神社も甲賀衆と縁のある神社で、昭和十三年（1938年）五月に神社の前に安置した神像の中から、『御修覆記』並びに『奉納、甲賀百人姓名書』が発見される。この文書は、弘化四年（1847年）のもので甲賀組が米と金を寄進したという記事が伝えられている。

その中に【御納戸同心　遠藤左太夫】と記されている。これは、明治時代に高徳寺檀家総代、甲賀稲荷神社氏子大惣代を務めた遠藤宗家 第十五代当主 遠藤榮の祖父である、遠藤宗家 第十三代当主にあたる。御納戸同心とは、德川将軍家の金銀、衣類、調度品などを管理する職務。

德川屋敷は現在の千駄ヶ谷にある全郵政会館付近に明治10年（1877年）約10万坪の土地に家屋があった。赤坂溜池の旧相良邸から、十三代将軍御台所の天璋院、十四代将軍德川家茂公生母の実成院、英国留学中の德川家達公は明治15年（1882年）帰国後から移住した。

大正6年（1917年）新邸を落成する。敷地面積1万2千坪、建坪900坪、砂利を敷詰め、中央に植込み、建物は洋館、玄関に向かって左側は和風造りの式台付であった。庭の一部には総檜造り銅葦にて15坪の神殿が建てられた。御神体の御木像は、江戸城紅葉山にあったものを奉納する。新邸が落成するに併せ、旧邸の母屋付近に明治20年（1887年）明治天皇が行幸された碑が立っている。

甲賀稲荷神社を中心に新旧德川宗家邸、德川慶喜公四男の里夫人、遠藤宗家邸、遠藤宗家親戚である太田道灌子孫が住んでいた。


■　德川公爵邸　
宗家本邸：豊多摩郡千駄ヶ谷町　（現：渋谷区千駄ヶ谷）10万坪
本邸設計：曾禰中條建築事務所（曽祢中条）
本邸施工：石井組
本邸工期：大正15年8月−昭和3年5月