Hiç şüphe yok ki Dickens Ternan'a aşıktı. Ona açık cinsel göndermeler içeren tutkulu mektuplar yazdı. Bir mektubunda "o olgun kırmızı ağzı tatmayı... tatlı vücudunu yutmayı" özlediğini yazdı.
Ancak fiziksel ilişkilerinin boyutu bilinmiyor. Bazı biyografi yazarları aslında hiç seks yapmadıklarına inanırken, diğerleri yaptıklarına inanıyor.
Açık olan şey şu ki, bu ilişki sonunda Dickens için bir yük haline geldi. Karısını aldattığı için kendini suçlu hissediyordu ve kamuya açık bir skandaldan endişe duyuyordu.
1858'de Dickens ilişkiyi sonlandırdı ve Ternan'ı yurt dışına, Fransa'ya gönderdi. Birkaç yıl sonra İngiltere'ye döndü ama Dickens'ı bir daha hiç görmedi.
Ternan, Dickens'la olan ilişkisi hakkında hiçbir zaman kamuya açık bir şekilde konuşmadı. Akrabalarından birine göre "onu mezarına götürdü."
İlişkilerinin belirli ayrıntıları hiçbir zaman bilinemeyecek olsa da, Charles Dickens ile Ellen Ternan arasındaki aşkın önemli ve sonuçta trajik olduğuna şüphe yok.