光绪十六年(1890年),李存义在军人刘坤一帐下教士兵练武,屡建功绩。后到保定开万通镖局。他一把单刀,所向披靡,无人敢劫他的镖。八国联军侵华时,53岁的李存义参加义和团,奋勇杀敌,每战必先。他曾率众夜袭天津老龙头火车站,痛杀守站俄兵。
民国元年(1912年),李存义在天津创办北方最大的民间武术团体一中华武士会,亲任会长,教授形意拳。之后,李存义应约到上海精武体育会教拳。
李存义参考《五行拳谱》、《连环拳谱》及谭腿而创编了十六路的《拳术教范》,又编写了《刺杀拳谱》,对推广形意拳做出突出贡献。
他晚年在家乡南小营村传授拳术,村前街、后街都设有练武场,村民习拳练武蔚然成风。李存义教授门徒数百人,较著名的有尚云祥、黄柏年、周玉祥、王俊臣、孙禄堂、褚桂亭、李彩亭、李耀亭、马振玉、郝恩光、李文豹等。