该寺的始建年代尚未考证出来。有记载的最早的重建时间是清朝康熙初年。中华民国时期，该寺向西扩建，形成如今的规模。原来该寺正门外有一座影壁，上书“开天古教”四字。

　　2003年，因该寺年久失修，西城区人民政府决定全面修缮该寺。同年，修缮工程正式启动，被列为西城区重点建设项目。2007年9月，该寺经修复完工后正式恢复对外开放。同时，该寺被北京市宗教局指定为2008年奥运会涉外接待宗教活动场所。原存该寺的中华民国时期绥远都统马福祥所题“万物归真”匾额被重新安放于寺内。法源清真寺经过此次重修，占地面积达到2800平方米，建筑面积达到4000平方米，为原来建筑面积的4倍。

　　2007年，法源清真寺被西城区人民政府批准为西城区文物保护单位。