Şarkının korosu, şarkıcının geçmiş ilişkinin kalıntılarını reddettiğini ve kendileri için yeni ve tatmin edici bir gelecek yaratma kararlılığını ifade eden "Artıklarını istemiyorum" dizesini tekrarlıyor.
Şarkı sözleri aynı zamanda şarkıcının ilişkinin sonuyla yüzleşirken yaşadığı duygusal yolculuğun da bir resmini çiziyor. Kendilerini hayatlarında bir "hayalet" gibi hissettiklerini, eski partnerleri olmadan dünyadaki yerlerini bulmaya çalıştıklarını anlatıyorlar.
Acıya ve belirsizliğe rağmen şarkı bir dayanıklılık ve umut duygusu uyandırıyor. Şarkıcı, hâlâ geçmişin etkisinde kalmış olabileceklerini kabul ediyor ancak ilerlemeye devam etme kararlılığını ifade ediyor.
Genel olarak "Your Leftovers" aşk, kayıp ve yeni başlangıç arayışı hakkında dokunaklı bir şarkı. Önemli bir ilişkiden ayrılmanın getirdiği ham duyguları ve zorlukları yakalıyor.