遠藤宗家は、遠江守（遠江国の国司の長官）に就任した藤原氏から起こったとされる。
京の都から遠い浜名湖という意味で、遠淡海。それが転じて遠江。つまりは、浜松市を中心とする静岡県西部エリアのこと。京の都から近い琵琶湖が近淡海、転じて近江、つまりは今の滋賀県である。

平安初期の天慶3年（940年）、征東大将軍藤原忠文は、平将門討伐のため坂東に向かっていた。その途中、遠江国に至ったときに平将門の死を知らされている。忠文の孫の藤原為方は「遠藤六郎大夫・摂津守・惣官」となり、以後、藤原氏を出自とするこの遠藤氏は広く栄える。この系統が現在、多くの遠藤姓のルーツとなっている。別に工藤為憲の後裔・相良維兼が、遠江守に任ぜられ遠藤氏を名乗ったとする説もあるが、遠藤家の「遠」は遠州に通じる。

三井宗家は、藤原道長の6男・長家から5代目の藤原右馬之助信生が近江に移転した藤原氏から起こったとされる。平安末期の康和2年（1100年）、信生が琵琶湖の領地を視察した際、三つの井戸から財宝を発見し、これを祝したことから三井姓に改めた。後に三井右馬信生は、近江に地方官として就任する。

後に平安時代の藤原家を由緒にもつ両家は、江戸へ下ることとなる。
遠藤宗家甲賀百人武士は、徳川将軍家の旗本直参御目見得として、江戸城大手門百人番所を警備した。三井宗家は、武士を廃業して「越後屋」を開き、後に三井財閥へと発展した。