漢代為烏貪訾離國地。
隋時屬西突厥。
唐歸北庭都護府管轄。
宋屬高昌回鶻。
元屬別失八里行尚書省。
明代為衛(wèi)拉特蒙古諸部的游牧地。
1778年置綏來縣，沙灣在綏來縣西境。
1915年析綏來縣設沙灣縣，屬迪化道，縣治小拐（今克拉烏依市小拐鄉(xiāng)）。
1917年改隸塔城道。
1929年縣治遷沙灣莊（今老沙灣鎮(zhèn)駐地），隸塔城行政區(qū)。
1950年屬塔城專區(qū)，全縣設3區(qū)（沙灣區(qū)、三道河子區(qū)、石河子區(qū)），24鄉(xiāng)。
1954年劃分為4個區(qū)，1956年新建第五區(qū)。
1956年沙灣縣人民政府遷至今三道河子鎮(zhèn)。
1958年成立東風、紅旗、星火、先鋒、勝旗、新先6個人民公社，有47個大隊，231個生產隊，同時成立天山牧場、火箭牧場。
1961年由星火公社分設烏拉烏蘇公社，1962年從紅旗公社分設安集海公社，1964年由東風公社析設四道河子公社和柳毛灣公社。
1965年成立沙灣鎮(zhèn)，1970年更名為三道河子鎮(zhèn)，1975年由紅旗公社析設大泉公社，1979年柳毛灣公社分設商戶地公社。
至1983年底全縣下設1個鎮(zhèn)、11個人民公社、1個林場、2個牧場，共59個大隊，228個生產隊，4個居民委員會。
1975～1977年沙灣縣劃歸石河子地區(qū)。
1978年后仍隸屬塔城地區(qū)。
1985年縣轄1鎮(zhèn)，13鄉(xiāng)，3場。
2000年縣轄9鎮(zhèn)，3鄉(xiāng)，3場。
2021年1月，撤縣設市。