Nat King Cole poślubił Marię Ellington 25 grudnia 1936 roku w Chicago, u szczytu swojego pierwszego odrodzenia w karierze. Byli szczęśliwym małżeństwem przez 20 lat i adoptowali pięcioro dzieci; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (kwiecień 1941) i dwie dziewczyny Carol „Cookie” Cole (1944) i Maria Cole (1947). Ich syn Nat Kelly Cole stał się znanym piosenkarzem, autorem tekstów i aktorem.
28 grudnia 1956 roku Maria Cole niespodziewanie zmarła na raka płuc w wieku 45 lat, pozostawiając Nata głęboko zdruzgotanego i załamanego. Był wdowcem do czasu, gdy 8 lipca 1965 roku poślubił piosenkarkę Marię Hawkins. Pozostali razem aż do przedwczesnej śmierci Nat King Cole’a w 1965 roku.
Kontrowersje dotyczące ojcostwa
W latach 90. zgłosiła się kobieta o imieniu Lorna Coles, twierdząc, że jest córką Nat King Cole'a z krótkiego romansu, jaki miał z jej matką w 1947 r. Badania DNA potwierdziły, że Lorna Coles rzeczywiście była biologicznym dzieckiem Nat King Cole'a.