衡水歷史悠久。上古時代因地跨黃河，現轄區分屬冀、兗二州。饒、昌、武城、武羅均系境內主要封邑方國。春秋時期多歸晉國。戰國時代為燕、趙之地。公元前221年秦始皇統一中國后屬鉅鹿郡。漢代屬冀州刺史部，先后設有廣川國、信都國和安平國，現轄縣市區多為此時建置。三國時系魏國冀州域，冀州治自鄴始移信都，境內分屬安平、博陵、渤海三郡。晉代仍為冀州所轄。隋時，南部屬冀州，北部屬公元596年所置深州。唐代屬河北道。宋初冀州屬河北東路，深州屬河北西路。元初，觀州治所移至蓚縣城（今景縣城），并于公元1265年復稱景州。此后直至明、清，先后為中書省、京師、直隸省所轄，境內仍由冀、深、景三州分領。

中華民國初期，各州皆改為縣，直隸于省。至1914年，現轄區分屬大名道、保定道、津海道管理。1928年，直隸省改稱河北省，同時廢道，各縣直隸于省。

1937年抗日戰爭爆發后，現轄區分屬中國共產黨領導的晉察冀邊區之冀中區和晉魯豫邊區之冀南區。1948年5月，兩邊區合并改稱華北行政區。1949年8月1日始設衡水專區，轄原冀南、冀中兩區之部分縣域，包括衡水、冀縣、棗強、武邑、深縣、武強、清河、恩縣、夏津、武城、故城、景縣、阜城等13縣，屬新建立的河北省。1952年11月7日衡水專區奉華北行政委員會之命撤銷，其轄區之夏津、恩縣、武城3縣劃歸山東省，衡水、深縣、武強、武邑、棗強、冀縣6縣劃歸石家莊專區，景縣、故城、阜城3縣劃歸滄州專區，清河縣劃歸邢臺專區。1962年6月27日，國務院批準衡水專區復置，下轄衡水、冀縣、棗強、武邑、深縣、武強、饒陽、安平、故城、景縣、阜城計11縣。1970年，衡水專區改稱衡水地區。1982年1月，衡水鎮升為衡水市。1983年3月，衡水縣省入衡水市。1993年9月，冀縣改建為冀州市。1994年深縣改建為深州市。1996年5月31日，國務院批準撤銷衡水地區，改設地級衡水市，同時撤銷原縣級衡水市，改設桃城區。2016年,國務院批準撤銷冀州市建冀州區。