衡水历史悠久。上古时代因地跨黄河，现辖区分属冀、兖、二州。饶、昌、武陵、武城、武罗均系境内主要封邑方国。春秋时期多归晋国。

战国时期为燕赵之地。公元前221年秦始皇统一中国后属钜鹿郡，汉代属冀州刺史部，先后设有广川国、信都国和安平国。现辖县市区多为此时建置。三国时为魏国冀州域。冀州治自郑始移信都，境内分属安平博陵渤海三郡。晋代仍为冀州所辖。隋时，南部属冀州，北部属公元596年所置深州，唐代属河北道。宋代冀州属河北东路，深州属河北西路。元初，观州治所移至  县城（今景县）并于公元1265年复称景州。此后直至明清，先后为中书省、京师、直隶省所辖。境内仍由冀深景三州分辖。

  中华民国初期，各州皆改为县，直隶于省。直1914年，现辖区分属大名道、保定道、津海道管理。1928年，直隶省改称河北省，同时废道，各县直属于省。

1937年抗日战争爆发后，现辖区分属中国共产党领导的晋察冀边区之冀中区和冀鲁豫边区之冀南区。1948年5月，两边区合并改称华北行政区。1949年8月1日始设衡水专区，辖衡水冀县、枣强、武邑、深县、武强、清河、恩县、夏津、武城、故城、阜城等13线，隶属新建的河北省。1952年11月7日，衡水专区奉华北行政委员会之命撤销。其辖区之夏津恩县武城3县划归山东省。衡水、深县、武强、武邑、枣强、冀县等6县划归石家庄专区，景县、故城、阜城划归沧州专区，清河县划归邢台专区。1962年6月27日，国务院批准衡水专区复置，下辖衡水、冀县、枣强、武邑、深州、武强、安平、饶阳、故城、景县、阜城计11个县。1970年，衡水专区改为衡水地区。1982年11月，衡水镇升为衡水市。1983年3月，衡水县并于衡水市。1993年9月，冀县改为冀州市。1994年深县改为深州市。1996年5月31日，国务院批准撤销衡水地区，改设地级衡水市。同事撤销原县级衡水市，改称桃城区。2016年6月，国务院批准撤销冀州市建冀州区。