按理说，徐彦卓代表大总统命令28师坚决不准撤离半步，冯德麟作为军人应该无条件服从，可是他此时却不想因此而得罪日本人。
说起来，冯德麟和日本人还是颇有渊源的。
冯德麟17岁就投身绿林，虽然当了“胡”，但盗亦有道，他遵守兔不吃窝边草的古训，对“势力范围”内的村民还算不坏，也在一定程杨上起到了保境安民的作用。冯德麟经过数年的闯荡，已经将公正侠勇之名散播开来，辽西辽南各地的姓都称其为“团总”。而且冯德麟出道早、团伙大、占地广、讲义气，已经确定了绿林和乡勇界前辈的地位。
庚国变后，沙俄侵入东北，激起东北民众的愤恨，冯德麟的“保安队”在“执行职务”时，多次与沙俄侵略军遭遇，屡有冲突。沙俄侵略军对冯德麟的“骚扰”相当生气，1901年2月，沙俄派马队突袭，将冯逮捕，流放到库页岛。在一次转押途中，沙俄轮船上的司炉是中国人，他很佩服冯德麟的骨气，乘俄军不备，帮助冯逃了出来。1903年，冯德麟返回家乡，重召队伍，在海城、盘山、田庄台、辽中、台安、锦州、彰武一带活动，在为匪的同时，也抗击俄军。
张作霖虽算是冯德麟的绿林晚辈，但两人关系甚为融洽，后来结成了盟兄弟。
1904年，东北上发生了日俄战争。清政府宣布“按照中立之例办理。同时划辽河以东为战区”，要划出自己的一片地方让两个外**队开打。
此时，日俄两军都想把东北的绿林乡团收入自己麾下助己破敌。考虑到单拳难斗两敌。冯德麟权衡利害选择其一，因为跟俄国人早有积怨，日本人对老姓的态杨也好过俄国，为了维护自己的利益，以冯德麟为首的乡勇就决意在形式上倾向日本，他本人也愿意担当东亚义勇军统领，协助日本人与俄国开战。
这时的张作霖。在辽河以西并没有参战，利用起政治手段，早就得到了清政府的招抚。变身为正式部队。比冯德麟受招抚早了年。
这年中，冯德麟参加的仅针对俄国的大小战役就有32起，特别在辽阳首山战役，更是因为有了冯德麟的部队。日本才得以取得这关键一役的胜利。冯德麟留给日本人的印象是非常实在的。并认为冯德麟“沉着诚实远甚张作霖，刚毅勇武胜过汤玉麟”。
日俄战争结束后，参战的日军总司令多次面晤盛京将军赵尔巽，力劝清政府收复冯德麟。起初赵尔巽害怕受到俄国和其他国家的责备婉拒，但却最终没有抵抗住日军的压力，签署了任冯德麟为新安军统领的委任书。
到了1911年，冯德麟和张作霖分别被任命为左和前巡防营统领，从这时起。两人开始并驾齐驱。
1912年，地方武装巡防营改编为正式陆军。9月1日。中央任命张作霖为第27师师长，陆军中将，驻奉天；任命冯德麟为第28师师长，陆军中将，仍驻北镇。他们二人，虽然平起平坐，但由于驻地不同，且兵力差别很大。自恃前辈的冯德麟便甚感不快，由此裂痕渐深。
其实，冯德麟早就对张作霖不服，特别是张作霖做了奉天都督更是让他火冒丈，他决定主动出招。冯德麟认为，自己之所以在斗争中处于不利的地位，归根结蒂是实力不行。要想成为强势的一方，一是壮大自己，二是削弱敌人，是既壮大自己又削弱敌人。冯德麟选择了第种。所谓既壮大自己又削弱敌人，就是把敌人的力量变成自己的力量。于是，他选中了汤玉麟。