二郎刀最早的雙刃長柄刀出現在西漢時期。是一種專門用來砍殺騎兵戰馬的兵器,故有“斬馬劍”之稱。二郎刀的缺點是,在實戰的劈殺中,雙刃劍身常常折斷。為解決這個問題,就必須把刀刃部分加厚。但是作為短兵器的普通劍,刀刃又不能加得太厚。這才出現了在一根長柄前端安上一個又寬又厚的雙刃劍身,這就是斬馬劍。在斬馬劍的基礎上,在隋、唐時期出現了陌刀。唐朝軍隊就是用這種兵器武裝的。在日本的正倉院的御物中,仍能看到這樣的兵器。在宋代《武經總要》中的掉刀就是雙刃刀,據說也是從陌刀發展而成的。只是到了明朝以後,才把這種雙刃長柄刀叫做二郎刀。
考究二郎刀這一名稱的由來,則出於明代《封神演義》以及《西遊記》小說中的神將二郎真君。在小說中的二郎神最喜愛的刀,就是三尖兩刃刀。由於這些小說流傳甚廣,人們就把這種兵器習慣地稱之為二郎刀了。
另外,《水滸傳》中的九紋龍史進,使用的也是這種刀。
