Ковиљ су некада чинила два села Горњи и Доњи Ковиљ. Настали су постепено, прво Доњи Ковиљ уз чувени историјски манастир, а доста касније и Горњи Ковиљ развијајући се доста брзо.

Назив Ковиљ забележен је у 18. веку под именом Кабул, а такво је име носила и једна локална племићка породица,која се 1301. спомиње у Бачкој жупанији,а за време турске владавине забележен је и у Тителској нахији. Осим ових претпоставки постоји и претпоставка да је Ковиљ добио име по лепој цветно трави ''ковиље'', што је највероватније тачно.

Доњи Ковиљ је веома старо насеље и већ око 1650. како је речено, значи пре сеобе Арсенија III, био је насељен. Становници су се углавном бавили риболовом и сечом дрва у риту.

Били су, такође и добри војници који су неуморно мотрили на кретање турских лађа и бранили им прилаз са петроварадинске на шајкашку страну. Предео око овог насеља је већ 1702. год. као повољно место за логориште био војни шанац и терен сталних ратних окршаја. Тако да се и данас Доњи Ковиљ назива Шанац.

Горњи Ковиљ је настао око 1746. године као чисто српско насеље, увек је био богатији од Доњег Ковиља. Становништво се углавном бавило пољопривредом, занатством, трговином.
Ковиљ је до 1873. био у Шајкашко војној граници установљеној 1763. године. Оба Ковиља су 1769. распоређена у шајкаше и после једног века опет су присаједињени Бачко жупанији.

Шајкашка је прикњучена Угарској 1873. године, а од 1900-те године Ковиљ има још доста шума и обрадивог земљишта, парни млин као и циглану.

Велик број Шакаша је учествовао у Првом светском рату, и то на обе стране – маса их је дезертирала из аустроугарске војске и прикључивала се југословенско дивизији на Солунском фронту. Након Првог светског рата читава Шајкашка је представљала пољопривредну област без иоле развијене индустрије. У периоду између два рата у Ковиљу је, поред поменутих млина и циглане, радила и једна млекара.

Други светски рат би и Ковиљ да заборави заувек. Пуно младих ковиљчана је у ему учествовало, и није доживело његов крај. Након рата Ковиљ се развија, изграђује, модернизује те израста у једно од најлепших приградских насеља Новог Сада.

Повољан географски положај пружа велике шансе за развој поопривреде, индустрије, туризма и других делатности које би отвориле могућности за бољи стандард и живот у Ковиљу.