遠藤宗家の青山甲賀屋敷は、現在の表参道交差点に程近く、善光寺（信州善光寺の東京別院）の辺りである。青山百人町と呼ばた当時は善光寺の門前として栄え、現在の青山通りの両側には甲賀百人武士の屋敷があった。

幕末の「江戸切絵図」には、「百人町ト云」とあり、江戸城の本丸と大手門の百人番所を警備した遠藤宗家の先祖である甲賀組である。さらに、この切絵には現在の青山通りが、江戸時代に大流行した大山詣（おおやままいり）の際に通る「大山街道」の一部として描かれている。江戸時代から現在の表参道周辺は、常に賑わっていた。

信州の別院としてある青山の善光寺は、善光寺第109世が徳川家康公に請願し、谷中に7500坪の土地を寄付されて建立した。しかし、1703（元禄16年）年の大火により焼失。その後、間口75間、奥行き100間の広さの土地を青山にもらい移された。

浄土宗寺院の善光寺は、1558（永禄元年）年谷中に創建、1705（宝永2年）年光蓮社心誉知善上人明観大和尚の代に当地へ移転、江戸時代には信州善光寺本願上人の東京宿院であった。1915（大正4）年に再建されたもので、本堂の前にある線香立てに葵の紋が付いていることから、徳川将軍家との強いつながりと歴史を感じずにはいられない。信州善光寺は、源頼朝を始め、名だたる武将が取り合いをした寺としても有名である。



【　南命山善光寺　】
同所（青山）百人町右側にあり信州善光寺本願上人の宿院にして浄土宗尼寺あり本尊阿弥陀如来ハ丈長一尺五寸脇士観音勢至の二菩薩ハ共に一尺つつあり称徳天皇の景雲元年八月十五日夜法如尼和州當麻の紫雲庵にて念佛誦持の頃信州善光寺の如来来現ありしを拝し奉り直に一刀三禮にして其御形を模さる、是則當寺の本尊なり。當寺は永禄元年戊午の創建にして始ハ谷中にありしを中興光蓮社心誉知善上人明観大和尚の時宝永二年台命に依て此地へ遷されるとあり、今谷中に善光寺坂と号るハ其旧地あるの故にして其旧跡ハ今の玉林寺の地なりと云、什宝は中将姫自の毛髪を以て製造せる所の六時此名号あり観音堂。本堂の左に並ぶ堂内観音百躰を安す本尊ハ聖観音にして其丈に尺あまりあり恵心僧都の作なり當寺むかし谷中にありし頃自ら火中を遁れ坐給ひし霊像なりといへる、故に字をして火除とも又は火災の時榎榎に罷うつり給ひしより榎観世音とも称せるといへり（江戸名所図会より）