Po zakończeniu działalności The Naked Brothers Band Kaye pojawiła się w kilku filmach i programach telewizyjnych, w tym w filmie „The Wackness” (2008) i programie telewizyjnym „Royal Pains” (2009-2010). Wyreżyserował także kilka filmów krótkometrażowych i dokumentalnych.
W ostatnich latach Kaye skupił się przede wszystkim na karierze muzycznej. W 2012 roku wydał swój debiutancki album „Alone Together” i od tego czasu nieprzerwanie nagrywa. Odbył także liczne trasy koncertowe, zarówno jako artysta solowy, jak i ze swoim zespołem Josh Kaye Experience.
Oprócz kariery muzycznej Kaye angażuje się także w kilka przedsięwzięć filantropijnych. Jest zwolennikiem zdrowia psychicznego młodzieży i współpracował z kilkoma organizacjami w celu podniesienia świadomości na ten temat. Jest także zwolennikiem sztuki i współpracował z kilkoma szkołami i organizacjami społecznymi, aby zapewnić młodym ludziom możliwości udziału w sztuce.