Dickens, Ellen Ternan'la 1857'de, o henüz 18 yaşındayken ve kendisi de 45 yaşındayken tanıştı. Ternan bir tiyatro oyuncusuydu ve Dickens ona hemen aşık oldu. Birkaç yıl süren gizli bir ilişkiye başladılar.
Dickens ve Ternan birbirlerine çok aşıklardı ve Dickens, karısı Catherine'den boşandıktan sonra evlenmeyi planladılar. Ancak Dickens'ın karısı ona boşanma izni vermeyi reddetti ve bu nedenle o ve Ternan hiçbir zaman açıkça birlikte olamadılar.
1865'te Dickens ve Ternan'ın Charles adında bir oğulları oldu. Dickens yeniden baba olacağı için çok mutluydu ve oğluna çok düşkündü. Ancak karısı çocuğun durumunu öğrenince çok sinirlendi. Olayı kamuoyuna ifşa etmekle tehdit etti ve Dickens, Ternan'dan ayrılmak zorunda kaldı.
Dickens ve Ternan 1865'ten sonra birbirlerini bir daha hiç görmediler. Dickens 1870'te öldü ve Ternan 1914'e kadar yaşadı. Hiç evlenmedi ve başka çocuğu da olmadı.