Jazyk COBOL byl vyvinut společným úsilím výrobců a uživatelů počítačů ve spolupráci s ministerstvem obrany USA. Ve dnech 28. – 29. května1959 se konala konference, jejímž cílem bylo uvážit různé aspekty zavedení společného jazyka pro programování elektronických počítačů. Konference rozhodla o zahájení tohoto projektu s tím, že jazyk by měl umožňovat:
sestavení programů v minimálním čase s minimálním programovacím úsilím
Byly vytvořeny tři komise pro vývoj jazyka, z nichž Short Range Committee měla sestavit návrh jazyka na základě tří existujících jazyků a jejich kompilátorů, totiž systémů FLOW-MATIC, AIMACO a IBM COMTRAN (COMmercial TRANslator). Tento jazyk byl poprvé popsán ve zprávě konference CODASYL. Zpráva byla vydána v dubnu 1960 pod názvem COBOL. Tento jazyk označujeme jako COBOL-60. Současně v průběhu této konference bylo zřejmé, že se jazyk bude dále vyvíjet. Pro modifikaci a doplňování jazyka byla sestavena komise z uživatelů jazyka i výrobců počítačů.
Na programovacím jazyku COBOL významně zapracovala Grace Hopperová, jejíž jazyk FLOW-MATIC spolu s nápady z jazyka COMTRAN od IBM tvořily základ COBOLu. Byl to její nápad, že programy by mohly být psány v jazyce, který by byl spíše blízký angličtině, než ve strojovém kódu nebo jazyce blízkém strojovému (jako jazyk symbolických instrukcí).
COBOL byl založený z velké části na její filozofii.
Na základě provedených změn a úprav byl v roce 1961 vydán COBOL-61, sestával ze dvou hlavních částí, REQUIRED COBOL-61a ELECTIVE COBOL-61. COBOL-61 EXTENDED byl vydán v roce 1963, obsahoval kromě prvků jazyka COBOL-61 zejména příkaz pro třídění, příkazy pro generování tiskových sestav a rozšířené aritmetické příkazy. Verze COBOL-65, jejíž základem byl COBOL-61 EXTENDED, byla doplněna příkazy pro operace se soubory v hromadných pamětech a byl zaveden nový typ indexace a příkaz pro vyhledávání informace v tabulkách. COBOL-68 zavedl komunikaci programů a dělení se zbytkem. Byly zrušeny nadbytečné ediční popisy, zjednodušeno užití knihovny programů a provedeno několik dalších úprav. Z této verze vychází COBOL-69. Tato verze byla rozšířena a doplněna příkazy pro manipulace s řetězy znaků a zavedeny příkazy pro manipulace s řetězy znaků a pro komunikaci s koncovými zařízeními. Ve specifikacích byla provedena některá zjednodušení. V jazyku COBOL-70 byl doplněn příkaz pro slučování souborů a příkaz pro obsazení položek ve shodě s jejich popisy.
V současné době je platná norma jazyka ISO 2000, která obsahuje také objektovou syntaxi. Programovací jazyk Cobol je nejrozšířenějším jazykem velkých (mainframe) aplikací.