Castagne rozpoczął karierę w Virton, gdzie zadebiutował zawodowo w 1995 roku. W 1997 przeniósł się do Anderlechtu, gdzie zdobył trzy tytuły belgijskiej Pro League i dwa Puchary Belgii. W 2004 roku dołączył do Milanu, z którym zdobył tytuł Serie A w 2004 i Ligę Mistrzów UEFA w 2007.
Castagne zadebiutował w reprezentacji Belgii w 1999 roku. Następnie rozegrał 54 występy w reprezentacji swojego kraju, w których strzelił cztery gole. Reprezentował Belgię na Mistrzostwach Świata FIFA 2002 i Mistrzostwach Europy UEFA 2000.
Po zakończeniu kariery piłkarskiej w 2008 roku Castagne pracował jako ekspert w belgijskiej telewizji i radiu. Jest także odnoszącym sukcesy biznesmenem, założył kilka firm.
W 2021 roku Castagne został wprowadzony do belgijskiej Galerii Sław Piłki Nożnej.