Perslerin fethinden sonra küçük bir grup Babil Yahudisi Babil'de kaldı ve daha sonra İkinci Tapınak döneminde Yahudi kültürünün ve dininin gelişmesinde önemli bir rol oynadılar. Yahudi hukukunun en önemli metinlerinden biri olan Babil Talmud'u bu dönemde Babil'de derlendi.
MS 7. yüzyılda Babil, Arap Müslümanlar tarafından fethedildi ve İslam dünyasının bir parçası oldu. Şehir gerilemeye devam etti ve 10. yüzyılda büyük ölçüde terk edildi. Bugün Babil'in kalıntıları, günümüz Irak'ındaki Hillah şehrinin yakınında bulunmaktadır.