秦 初置汝陰縣，治今阜陽市區，屬陳郡。
汝陰令印 漢初 為汝陰縣，高祖二年(公元前206年)汝陰縣改屬汝南郡；高祖六年封夏侯嬰為汝陰侯於此；王莽新朝改汝陰名為汝墳；東漢復稱汝陰縣，屬汝南郡；更始初年，淮陰王劉玄封劉信為汝陰王，建武年間劉秀改封劉信為汝陰侯；永初二年(108年)安帝封劉顯為阜陽侯，封邑不在今阜陽市，但阜陽地名始見。
三國 魏初為汝陰縣，屬汝南郡；景初二年(238年)析沛國置汝陰郡；後廢，汝陰縣復屬汝南郡。
西晉 泰始二年(266年)復置汝陰郡，同廓設汝陰縣；泰始元年，晉武帝封司馬駿為汝陰王，後改封司馬謨為汝陰王。
東晉十六國 西晉永嘉之亂後，汝陰郡先後屬漢(前趙)、後趙、前燕、前秦、後燕、東晉。漢劉淵封子劉景為汝陰王；劉曜封子劉厚為汝陰王；後趙石虎封子石琨為汝陰王。
南北朝時期 宋永初元年至景平元年(420—423年)為汝陰郡，屬豫州。
魏 太常八年至太平真君八年(423—447年)汝陰為魏占領，屬魏之豫州，但未設治，因宋將汝陰郡先僑置於司州(今河南信陽)後僑置於合肥，稱南汝陰，屬南司州；北魏神三年(430年)太武帝封長孫道生為汝陰公；後封孔照為汝陰侯。
宋 元嘉二十四至二十七年(447—450年)，收復原汝陰地，未設治，南汝陰仍僑置合肥；文帝封子劉渾為汝陰王。
齊 於建元元年(479年)代宋之後，改南豫州稱豫州，於南汝陰郡同廓設汝陰縣，均屬豫州，終齊之世，原汝陰地仍屬北魏。
魏 太平真君十一年至孝昌四年(450—528)原汝陰地屬魏，孝昌四年前在此未設治，其間於和平二年(461年)文帝封拓跋天賜為汝陰王；太和二十年(496年)孝文帝封拓跋景和為汝陰王。北魏孝昌四年亦即武泰元年，於原汝陰郡置潁州，此為州治之始。同年，潁州為梁占。
梁 大通二年至太清三年(528—549)原汝陰地屬梁，置胡城縣，太清年間因侯景之亂為高澄占領。
隋 開皇三年(583年)改汝陰郡為潁州，大業初年復稱汝陰郡。
唐 初稱汝陰郡；武德四年(621年)改名信州；武德六年改名潁州；天寶元年(742年)復名汝陰郡；乾元元年(758年)復名潁州，同廓設汝陰縣，屬河南道。
五代 梁、唐、晉、漢、周均為潁州。
宋 初稱潁州，同廓設汝陰縣；政和六年(1116年)升潁州為順昌府，屬京西北路，是為府治之始。金 皇統元年(1141年)占領順昌府，改為潁州，同廓設汝陰縣，屬南京路。
元 至元二年(1265年)廢汝陰縣入潁州，屬河南行省汝寧府。 東晉僑置
東晉鹹和五年(330年)，在合肥僑置汝陰縣，為僑置汝陰郡治所。
南朝宋永初元年(420年)，汝陰縣改屬南汝陰郡，併兼南豫州、南汝陰郡治。
南朝齊時，僑置的豫州，又稱西豫州遷治汝陰，同時設北陳郡。仍兼南汝陰、北陳郡治。
南朝梁天監五年(506年)，改南汝陰郡為汝陰郡，遷豫州治汝陰。
普通七年(526年)十一月，豫州遷治壽春，遷南豫州治汝陰。
太清元年(547年)七月甲子，改設合州於汝陰，汝陰縣兼合州，汝陰郡、南頓郡等治。
北周大定元年(581年)二月，隋代北周，汝陰縣隨合州改屬隋朝，仍其舊制。隋開皇三年(583年)，廢郡，撤縣，改合州為廬州，汝陰縣改合肥縣。
