Niewielka grupa Żydów babilońskich pozostała w Babilonie po podboju perskim i odegrała później ważną rolę w rozwoju kultury i religii żydowskiej w okresie Drugiej Świątyni. W tym czasie w Babilonie powstał Talmud babiloński, jeden z najważniejszych tekstów prawa żydowskiego.
W VII wieku Babilon został podbity przez arabskich muzułmanów i stał się częścią świata islamskiego. Miasto nadal podupadało i do X wieku zostało w dużej mierze opuszczone. Dziś ruiny Babilonu leżą w pobliżu miasta Hillah we współczesnym Iraku.