Şarkının sözleri adamın yaşadığı duygusal kargaşayı ve iç çatışmayı vurguluyor. Hâlâ "her gece ve gündüz" eski sevgilisini düşündüğünü ve onun da onu düşünüp düşünmediğini "merak etmeden duramadığını" itiraf ediyor. Devam etmesi gerektiğini kabul ediyor ancak kalbi hâlâ ona bağlı olduğundan bunu yapamayacağını düşünüyor.
Koro, adamın başka birinin ona sunduğu sevgiye karşılık veremediğini vurguluyor. "Çok çabalasan bile seni sevemiyorum" ve "Sahip olduklarımızın hayaletine hâlâ tutunuyorum" şarkısını söylüyor. Bu onun duygusal olarak yeni bir ilişkiye hazır olmadığını ve hala eski partnerine karşı olan hislerinin onu tükettiğini gösteriyor.
Şarkı boyunca adam geçmişe olan özlemini ve eski sevgilisiyle yeniden birlikte olma arzusunu dile getiriyor. "Keşke geri dönüp yaptığımız her şeyi geri alabilseydim" ve "Keşke seni tekrar kollarıma alabilseydim" şarkısını söylüyor. Bu, onun ayrılıktan pişman olduğunu ve ayrılıklarının gerçekliğini kabullenmekte zorlandığını gösteriyor.
Genel olarak, "Seni Sevemiyorum" kalp kırıklığı, kayıp ve geçmiş bir ilişkiden devam etmenin zorlukları hakkında dokunaklı bir şarkıdır. Hala bir ayrılığın ardından boğuşan ve yeniden aşkı bulamayan birinin duygusal çalkantısını ve kırılganlığını yansıtıyor.