遠藤宗家が所属していた甲賀百人組とは、江戸幕府の鉄砲百人組の一つで、江戸の青山甲賀町（港区北青山一丁目、神宮球場近辺）に集住した。与力二十人、同心百人で構成され、うち甲賀出身者は与力十人と同心百人全員であった。甲賀組は関ヶ原合戦の後、伏見城籠城戦で戦死した者の子孫を中心に結成された。

寛文年間（1661年～1672年）頃には、第五代将軍綱吉公の兄である甲府宰相徳川綱重公（第六代家宣公父）の邸地であったが、後に小身の武士の屋敷地となった。町内を南北に通る道が三本あったことから、里俗（その土地の呼称）に三筋町と呼ばれており、明治五年（1872年）、町名を青山三筋町一・二丁目とした。江戸時代の二丁目の辺りは、遠藤宗家が所属していた甲賀百人組の屋敷地があり、甲賀町とも呼ばれていた。二丁目の西北には、六方向に道が分かれる六道の辻があり、その近辺には立石の里俗称もあった。

明治十九年（1886年）、町の北部が青山練兵場に含まれ、明治二十四年（1891年）、町の南部に陸軍大学校が置かれた。大正年中、練兵場は明治神宮外苑となり、町家は1軒も存在していなかった。現在の北青山三丁目一番の北端から北方へ原宿と称し、鎌倉から奥州への宿駅であったとの伝承がある。天正十九年（1591年）に伊賀者への一括給地があり、元文三年(1738年)8月から町方支配となって青山原宿町と唱えた。

これ以前に江戸幕府に入府した徳川家康公の命により、天正七年（1579年）甲賀組の遠藤宗家らが開基家として、赤坂青山北町（現在の北青山）に高徳寺を建立した。その際、甲賀組が信仰の対象としていた浄土宗寺院を近江国の甲賀郡から、江戸に移転した。そのことから、遠藤宗家第十五代当主　遠藤榮（大正天皇侍従）等が、檀家総代を務めた。浄土宗寺院の寂照山唯心院高徳寺（山號及別號寂光山唯心院　京都知恩院末）は、晃誉上人居的和尚が元和九年（1623年）に開山した。江戸時代には淳澄、源流、隆察など増上寺学寮出身の僧侶が晋山している。

三千余坪ある高徳寺の境内は、本堂の瓦葺屋棟に金色の徳川将軍家葵章を附する。本尊は、阿弥陀如来（行基菩薩作）。左右は、観音勢至。山之手六阿彌陀の第三番の札所や満願稲荷社、寿延観音堂、子安観音堂、鐘楼（梵鐘の銘宝永元年）などは、徳川幕府の全面的な援助で造営された。

嘉永二年（1849年）十一月、『徳川幕府寺社奉行』に録上したもののなかに、【浄土宗京都知恩院未寂光山唯心院高徳寺】とあり、甲賀組が幕府から給った年貢地が原宿村にあり、今では寺の年貢地になっていると記述されている。

『寛政重修諸家譜』巻一四一二に慶長五年（1600年）、関ヶ原の合戦の前哨戦として家臣・鳥居元忠は家康公の命により石田三成らの攻撃から伏見城を死守した際、望月山中等の伏見城名古屋丸を守った甲賀衆が討ち死にし、その数は七十名におよんだとされている。高徳寺に伝わる過去帳の第一巻（過去帳十四冊蔵、慶長五子年八月朔日）に、遠藤宗家先祖 遠藤左太夫も討ち死にした者七十名の一人として記されている。（院号：先祖遠藤左太夫 慶長五年七月戒日【大誉忠節禅完門】）


■ 遠藤宗家
第五十代 桓武天皇を祖としながらも皇室を離れ、臣籍降下により平姓を賜る。遠藤姓の始まりは、遠江守（とおとうみのかみ＝遠江国の国司の長官）に就任した藤原氏から起こったとされる。家紋は左三つ巴紋であり、「巴（ともゑ）」の起りには、武具である弓を射る時に使う鞆（とも）を図案化したもので、鞆絵とされている。その後、水が渦巻いているのに似通っているため、巴の字を当てたとされる。そのため、防火のまじないとされ、平安期の末期ごろから鎧瓦（軒先に葺く瓦）、車輿、衣服の文様に用いられた。遠藤左太夫を始祖とする遠藤宗家（旗本）は、甲賀百人武士。徳川将軍家 直参御目見得。明治元年（1868年）の明治維新以降、華族令の制定により明治十七年（1884年）に士族となり、第十五代当主遠藤榮（大正天皇 宮内庁 東宮侍従）を経、現在、第十七代当主寛（弁護士）に至る。