Castagne, kariyerine 1995 yılında profesyonel kariyerine ilk kez çıktığı Virton'da başladı. 1997'de Anderlecht'e transfer oldu ve burada üç Belçika Pro Ligi şampiyonluğu ve iki Belçika Kupası kazandı. 2004'te Milan'a transfer oldu ve burada 2004'te Serie A şampiyonluğunu, 2007'de ise UEFA Şampiyonlar Ligi'ni kazandı.
Castagne, 1999'da Belçika formasıyla uluslararası ilk maçına çıktı. Ülkesinde 54 maça çıktı ve dört gol attı. 2002 FIFA Dünya Kupası'nda ve 2000 UEFA Avrupa Şampiyonası'nda Belçika'yı temsil etti.
Castagne, 2008 yılında futbolu bıraktıktan sonra Belçika televizyonu ve radyosunda uzman olarak çalıştı. Aynı zamanda birçok şirket kurmuş başarılı bir iş adamıdır.
Castagne, 2021'de Belçika Futbol Onur Listesi'ne alındı.