Refren piosenki powtarza wers „Nie chcę twoich resztek”, wyrażając odrzucenie przez piosenkarza resztek poprzedniego związku i determinację do stworzenia dla siebie nowej, satysfakcjonującej przyszłości.
Teksty ukazują także emocjonalną podróż piosenkarza, gdy musi pogodzić się z końcem związku. Opisują, że czują się w swoim życiu jak „duch”, usiłujący znaleźć swoje miejsce w świecie bez byłego partnera.
Pomimo bólu i niepewności piosenka sugeruje poczucie odporności i nadziei. Piosenkarka przyznaje, że przeszłość może nadal ją prześladować, ale wyraża determinację, by iść dalej.
Ogólnie rzecz biorąc, „Your Leftovers” to przejmująca piosenka o miłości, stracie i poszukiwaniu nowego początku. Oddaje surowe emocje i wyzwania, jakie wiążą się z odejściem od znaczącego związku.