西漢高祖十一年（前196年）置陽泉縣（（今安徽霍邱縣城西北40公里的臨水坡下有漢陽泉縣遺址），屬九江郡。
王莽篡漢，廢六安國為安風郡，陽泉屬之。
東漢初陽泉屬揚州六安國（仍治六，今六安市西裴家灘）。
建武八年（３2年)閏月，封竇融為安豐侯，初食安豐（治今河南固始縣東南）、蓼（治故蓼城，今固始縣蓼城崗遺址）、陽泉、安風4個縣，後僅食1個縣。
十三年，撤銷六安國，併入廬江郡，陽泉改屬揚州廬江郡（改治皖縣，今潛山縣梅城鎮）。
建初三年（７8年)，陽泉改屬劉恭六安王國（仍都六安，今裴家灘）。和帝即位（８９年），國除，復屬揚州廬江郡。
建安十九年，陽泉（今臨水鎮）為廬江郡治。
三國魏齊王曹芳（２４０～２５４年）間廬江郡改治六安，（今裴家灘）。陽泉縣屬廬江郡。
西晉鹹熙二年（２６5年)陽泉縣改名泉陽縣（治今臨水鎮），仍屬揚州廬江郡。東晉廢。
南朝梁在泉陽縣故地設決口縣（治臨水鎮），大通三年（５２9年)，改決口縣為臨水縣，均屬安豐郡。
武定六年（５４8年)臨水縣縣境入東魏，設汝陰縣（治臨水鎮），屬揚州淮南郡（均治壽春，今壽縣城關鎮）。
南朝陳太建五年（５７3年)五月，伐北齊，汝陰縣境入陳，復為臨水縣（治今臨水鎮），屬霍州（治岳安，今霍山縣城關鎮）邊城郡（治邊城，今河南固始縣境）。
北周建德五年（５７6年)入北周，廢臨水縣，以後就沒有恢復了。
