587 a.C. 

Dopo aver saccheggiato i Tesori, Nebuchadnezzar  ( Nabucodònosor ) ordinò che circa 5.000 degli ebrei più importanti ed esperti fossero esiliati a  a Babilonia. Ciò venne fatto in quattro fasi, impiegando un certo numero di anni; gli ebrei restanti vennero lasciati a “lavorare la terra„ (30). Il Vecchio Testamento registra che  Re Jehoiachin venne preso con loro e successivamente liberato dal nuovo Re Evilmoradach di Babilonia dopo aver passato 37 anni in una prigione (31). Questo fatto è discusso, alcuni ritengono che quel Jehoiachin, all’età di 18 anni, morì nel 597 BC dopo un breve regno di soltanto tre mesi e molto prima dell'invasione Babilonese. Inoltre, Jehoiachin era il successore di Zedekiah (Tsidkiyáhu), benché quest’ultimo fosse stato lasciato senza autorità su Gerusalemme e sui relativi re  burattino. 

In seguito alla sommossa fallita alla fine dell'estate, Nebuchadnezzar, andò in collera contro Zedekiah presunto colpevole di slealtà e ingratitudine per i favori passati, lo condannò ad assistere all'esecuzione dei suoi tre figli prima di fargli togliere gli occhi. Zedekiah venne poi  inprigionato a Babylon dove morì nel 586 BC. 

539 a.C. 

C’era poco amore fra Persiani e Babilonesi, non più di quello che oggi c’è fra Iraniani e  Iracheni. Ciro, Imperatore della Persia, riuscì a conquistare Babilonia e continuò occupando la Siria, tutto Israele e oltre il Giordano. 

538 a.C. 

Con la riconquista di Gerusalemme e dopo quasi 50 anni di esilio, Ciro permise che gli ebrei esiliati tornassero per ricostruire il loro Tempio (32). Inoltre, con grande munificenza, ordinò la restituzione agli ebrei di tutti i tesori in origine saccheggiati da Nebuchadnezzar (33). Di nuovo, non c’era menzione dell'Arca. 

537 a.C.

La preparazione del nuovo Tempio era cominciata. In primo luogo, tuttavia, dovette essere preparata una piattaforma livellata più grande. Ciò rese necessaria la costruzione di muri di sostegno voluminosi, con massi che pesavano quasi 100 tonnellate. 

La costruzione del Tempio in se era definita, basata su un simile disegno ma molto più grande, anche se senza alcuni annessi. La pietra venne estratta dalla sottostante città vecchia. Questo per il suo colore bianco e la struttura fine. Si riteneva che anche Solomon avesse ottenuto la sua pietra dalla stessa cava, ma questo non è stato mai dimostrato. La cava ancora esiste sottoterra e l'accesso può essere realizzato dall'entrata situata fra Damasco ed i cancelli di Erode. Al giorno d'oggi, le Cave di  Re Salomone sono usate spesso durante l'anno per le riunioni Massoniche. 

Anche questa volta il tetto venne sostenuto da 14 colonne. Tuttavia, benchè fosse solenne, la struttura non fu decorata così generosamente come al tempo di Salomone, né erano state costruite le colonne al portico. L'esplorazione recente ha rivelato che le fondamenta intorno all'angolo sudorientale arrivano ad una profondità di 160 piedi (50 m). Significherebbe che in quei giorni queste pareti voluminose avrebbero potuto essere alte quasi 300 piedi (90 m). Questo, però, non è più evidente come, nel corso dei secoli, la ripida valle contigua al Monte Moriah è stata riempita di macerie dello scavo e di detriti di edifici tanto che oggi è diventata poco profonda. 

514 a.C.

Dopo numerosi ritardi, che hanno protratto i lavori per 23 anni, il Secondo Tempio infine venne completato e ri-consacrato nel regno di Darius I, Imperatore della Persia (34). Il lasso di tempo fra la dedica del primo Tempio (957 BC) e la ricostruzione del secondo Tempio (537 BC) era di 420 anni e non di circa 500 anni come alcuni ritengono. 

Durante la parte finale del primo secolo BC, il re Herod il Grande (37-4 BC) allargò la zona della piattaforma e ingrandì notevolmente il Secondo Tempio in un tentativo infruttuoso di guadagnare popolarità. Costruì un enorme chiostro quadrato o serie di portici con le stanze sia per il personale che per gli animali. Questo in seguito venne ulteriormente protetto da grandi fortificazioni e una torre, denominata successivamente Antonio. Nonostante vari attacchi dai siriani, greci e romani, e interrotti da periodi di abbandono, il Tempio rimase funzionale per quasi seicento anni.  

È interessante notare che, durante il periodo della dinastia ebrea di Hasmonaean (152 - 37 BC), una camera in pietra ben arredata (84 x 60 piedi o 26 x 18 m) venne costruita nel sottosuolo sotto la precedente Council House (o Sanhedrin-Sinedrio) a Gerusalemme. Venne utilizzata per molti anni dai muratori attivi di quel periodo. Si credeva che fosse stata usata per riti religiosi arcani ai tempi di Solomon. Tuttavia, non esiste prova per sostenere questo. Ancora esiste ed è situata appena ad ovest dell'Arco di Wilson vicino al Muro del Pianto. È considerata come uno degli esempi più fini di tali opere a partire dal periodo tardo Ellenistico. 

70 d.C. 

Poco tempo dopo la morte di Cristo venerdì 30 Marzo, AD 36, è iniziata la lunga e brutale occupazione Romana di Judah e di Gerusalemme in particolare. Ancora una volta, gli ebrei si ribellarono. Di conseguenza, l'imperatore Vespasiano inviò Tito per ristabilire l’ordine. L’ordine venne ristabilito con grande spargimento di sangue per la violenta opposizione ebrea che infine si concentrò sulla difesa di Gerusalemme. I soldati romani, nella loro collera, saccheggiarono e distrussero il Tempio malgrado gli ordini specifici del Cesare che lo vietavano. Non venne mai ricostruito. Una descrizione di un testimone oculare può essere trovata nelle scritture di Flavius Josephus, egli stesso un ebreo, che era stato un Generale dell’esercito, storico e diplomatico. In una fase, venne impiegato come negoziatore di pace fra Romani ed Ebrei. Era stato quasi provvidenziale che a Josephus fosse stato permesso di rimuovere tutti i rotoli sacri dal Tempio prima della demolizione. Sebbene i rotoli siano stati persi tragicamente, Josephus ha avuto almeno il loro riferimento completo per contribuire a scrivere grandi parti della storia antica con considerevole esattezza ed autorità. Il suo lavoro è ancora disponibile per lo studio. 

Una volta che i Romani ebbero la meglio, tutti gli ebrei vennero cacciati da Gerusalemme per i 150 anni successivi. Da allora in poi, la zona all'interno delle pareti della cittadella fu  mantenuta per l'uso esclusivo dei Pagani fino all'assalto violento dei mussulmani AD 638 sotto il Califfo Umar el-Sharif. Questo avvenne nel settembre AD 622, appena 16 anni dopo la fondazione della religione musulmana da Mohammed Ibn Abdullah (AD 570-632); un carovaniere commerciante. 

Dal 691 d.C., il Califfo Abdul Malik aveva spianato la zona all'interno della cittadella ed aveva eretto la Moschea di Sakhra (Casa della Roccia) adiacente al luogo originale del Tempio di Salomone. Dopo alcuni anni venne costruita di fronte la moschea di Al Aksa ugualmente racchiusa in quel luogo.