1950年，正當已經垂垂老矣的馬占山(李幼斌 飾)回想起日本侵華，戰火紛飛，生靈涂炭的過往，他的孫兒前來探望，要馬占山講述他打仗時的故事。1931年，時任黑龍江省黑河警備司令兼東北步兵第三旅旅旅長的馬占山帶領部下喬裝的喪葬隊伍與日本人護送兵器糧食的隊伍狹路相逢。
一番對決后，馬占山全殲日本人的隊伍劫下軍火，卻在回去的路上中了山賊許三響(孫小飛 飾)的埋伏，兩人械斗，許三響不敵，帶領手下撤退。日本人黑木因軍火被劫對漢奸大發脾氣，勒令其三天內找出軍火。洮昂鐵路局局長萬國賓面見黑龍江軍事參謀長謝珂(施京明 飾)，言及日本人已經快攻打到洮南一事，謝珂認為要守住黑龍江，就必須要請馬占山出戰。
北平發來電報勒令馬占山要忍耐克制，盡管吉林、遼寧被占，戰事緊迫也不得與日本人開戰，馬占山大怒。關東軍高層召開會議討論如何攻占黑省，關東軍司令官本莊繁(張光北 飾)認為，只要找到一個中國人，將其武裝起來，讓中國人來打中國人，就不會遭到蘇聯軍的為難。
特務機關長土肥原賢二(劉威 飾)當即表示他手下就有這樣一個中國人。洮遼縣鎮守使兼東北騎兵32師張海鵬(劉金山 飾)面見馬占山，說起日本人軍火被劫一事，馬占山裝做不知，表示如果日本人敢借此事挑起戰爭，他肯定會幫助張海鵬。又談及守住洮南一事，卻探不出馬占山的意思，敗興而去。
馬占山立下軍令，要部下嚴陣以待。一隊小兵喝酒后情緒高漲，沖上街頭打砸日本人的商鋪，馬占山得到消息前來阻止，將鬧事的人一舉拿下，并無意中發現柜臺后的端倪，馬占山用計破開柜臺，發現后面的密室和其中的軍用電臺，借此拿下商鋪老板黑木先生，鬧事的人皆被處以五十鞭的軍法處罰。
帶頭人孫大江(江水 飾)自認做錯欲自殺，被馬占山救下并收服。馬占山一番闊論，激起士兵們的愛國熱情，決心驅除日寇，保衛河山。馬占山回府看見家中女眷還在唱曲不由大怒，勒令她們不許作樂。漢奸張彪接到日本女軍官指令，夜里來軍營劫走黑木，馬占山收到消息，親自攔劫，槍決張彪。
山匪頭子靠山王在許三響面前歪解張彪之死誣陷馬占山，許三響決意為張彪報仇，半路攔截馬占山的家眷。
