Nie ma wątpliwości, że Dickens był zauroczony Ternanem. Pisał do niej pełne pasji listy, które zawierały wyraźne odniesienia do seksu. W jednym z listów napisał, że pragnie „posmakować tych dojrzałych czerwonych ust… pożreć [jej] soczyste ciało”.
Jednak zakres ich fizycznego związku nie jest znany. Niektórzy biografowie uważają, że tak naprawdę nigdy nie uprawiali seksu, inni uważają, że tak.
Jasne jest, że związek ten ostatecznie stał się ciężarem dla Dickensa. Miał poczucie winy, że zdradził żonę, obawiał się publicznego skandalu.
W 1858 roku Dickens zakończył romans i wysłał Ternana za granicę do Francji. Kilka lat później wróciła do Anglii, ale nigdy więcej nie zobaczyła Dickensa.
Sama Ternan nigdy nie mówiła publicznie o swoim związku z Dickensem. Według jednego z krewnych „zabrała to do grobu”.
Chociaż szczegółowe szczegóły ich związku mogą nigdy nie zostać poznane, nie ma wątpliwości, że romans między Charlesem Dickensem i Ellen Ternan był znaczący i ostatecznie tragiczny.