Şarkının yaygın yorumlarından biri, bir ilişkinin sona ermesinin ve sevgilisini kaybetmenin yasını tutan bir adamın anlatılmasıdır. Şarkının sözleri, "cennetteki gözyaşlarını" ve "vücudumdaki kan yağmur damlalarını" anlatan görüntülerle ilişkinin hem acı hem de neşe kaynağı olduğunu öne sürüyor. "Tozun içinde mi bırakmak istedin" cümlesi ilişkinin bir kenara atıldığını ve artık harabeye döndüğünü gösteriyor.
Şarkının adı olan "Güvercinler Ağladığında" da anlamlıdır ve şarkıya başka bir anlam katmanı katmaktadır. Güvercinler çoğu zaman barışın ve sevginin sembolü olarak görülüyor ve şarkıda ağlamaları ilişkinin huzur ve uyumunun bozulmasına neden olduğunu gösteriyor. Şarkının sözleri, kahramanın umut ve amaç duygusunu kaybettiğini ve "delirdiğini" ve "başaramayacağını" hissettiğini gösteriyor.
Genel olarak "When Doves Cry" aşk, kayıp ve bir ilişkinin sonu gibi karmaşık temaları araştıran güçlü ve duygusal bir şarkıdır. Dünyanın her yerindeki dinleyicilerde yankı uyandıran son derece kişisel bir şarkıdır ve Prince'in en ikonik ve sevilen şarkılarından biri olmaya devam etmektedir.