明治7（1874）年3月1日、秋田県平鹿郡旧西成瀬村（現横手市）安養寺に地主の息子として生まれた。明治16（1883）年、萩袋安養寺小学校（後の西成瀬小学校）に入学。明治26（1893）年に上京し、大八洲学校および国語伝習所（いずれも同じ経営者が開設する私塾）で古典文学を学ぶ傍ら、あるべき標準語の追求・習得に努めた。明治28（1895）年に帰郷し、隣村の駒形小学校准訓導を経て、明治29（1896）年から母校西成瀬小学校で教鞭を執った。そこで遠藤が熱心に取り組んだのは、話しことばの指導、標準語教育である。その教育活動は、昭和27（1952）年8月31日に没するまで、実に58年の長きにわたるものであった。
遠藤の標準語教育の特徴は、日常言語の陶冶を通じて生活態度全般を陶冶することをめざす点にある。
指導法も言語学・音声学の理論の裏づけと、実践的な内容を伴うものであった。当時の一般的な標準語教育が、方言を悪いことばと見なし、矯正しようとするものであったのに対し、遠藤は、方言を純化させることにより標準語に至ると考え、方言自体を否定することはしなかった。
その理念を受け継いだ西成瀬小学校では、独自のことば教育が100年にわたって行われ、「ことばの学校」として、教科書の教材に取り上げられたり、新聞・ラジオ・テレビなどで全国にたびたび紹介された。
遠藤の没後の昭和44（1969）年に、稿本「言語教育の理論及び実際」「方言訛音矯正の実際一斑」を併せた
『言語教育の理論及び実際』（遠藤熊吉先生顕彰会）が刊行されている。
