1960年5月，征地60餘畝的上街區新建中學開工建設，校址在濟源路，9月建成，招收4個班共200名國中生，12月根據河南省教育廳《關於校名編排意見》，上街區新建中學更名為鄭州市第四十一中學，此校名沿用了40年，鄭州二外至今還被人們習慣地稱為四十一中。 後來，校區被各單位不斷蠶食，縮小為今天的濟源路老校區。
1976年後，隨著鄭州五十六中建成招收國中生，鄭州四十一中學逐步改為高中。1984年，鄭州四十一中增設職高班。1994年後，上街區政府進一步調整辦學思路，1995年，鄭州四十一中停止職高招生，恢復國中招生，初、高中並行辦學，成為一所完全中學。
2000年底，經原鄭州市教委、上街區政府批准同意，鄭州四十一中改建為鄭州市第二外國語學校，學校定位為外語特色完全中學。2001年5月12日，鄭州市第二外國語學校舉行了隆重的揭牌儀式。
鄭州二外老校區(現分離)
老校區成立鄭州市第二外國語中學2007年10月底，南海翔校長率領新的鄭州二外實現了整體搬遷。
鄭州二外新校區2008年8月底，原鄭州100中學高中部和鄭州市第二外國語學校合併，組成新的鄭州市第二外國語學校，以鄭州二外新校區為校址。王寶鈞仍任鄭州市第二外國語學校校長。
新校區教學設施先進，為上街區條件最好的學校。在區政府的支持下，未來的鄭州二外新校區將建設成為精品花園學校。
2002年，鄭州二外首次榮獲鄭州市高中教育教學先進單位，此後連續6年獲此殊榮。2007年5月，經專家組考察，鄭州二外被鄭州市人民政府教育督導團認定為鄭州市示範性高中，成為上街區第一所也是目前唯一一所市級示範性高中。
50年崢嶸歲月，鄭州二外師生不甘小、不示弱，敢於拼搏，在激烈的教育競爭中披荊斬棘，站穩了腳跟，贏得了發展，並不斷勇攀高峰。
