R. 1654 pátý dalajlama zahájil stavbu tzv. Bílého paláce (bílá část Potály). Devět poschodí bylo postaveno za tři roky a r. 1649 už se do paláce přestěhoval pátý dalajlama z kláštera Däpung. Ten také započal i stavbu tzv. Červeného paláce. R. 1682 ale zemřel. Aby se předešlo nepokojům a stavba byla bez problémů úspěšně dokončena, byla jeho smrt přiznána až r. 1694 po dokončení Červeného paláce, kde byl také pohřben. Od té doby byla Potála celoročním sídlem dalajlamů až do 18. století, kdy se stala pouze zimním sídlem a sídlem tibetské vlády, kdežto letním sídlem se stala Norbulinka.
Třináctý dalajlama se zasloužil o rozsáhlou rekonstrukci a rozšíření. Za kulturní revoluce neutrpěla Potála tak velké škody jako ostatní tibetské památky, zejména zásluhou ministerského předsedy Zhou Enlaie (Čou En-laj), jehož vojenské jednotky ji ochraňovaly. Díky tomu můžeme i dnes obdivovat obrovské bohatství nacházející se uvnitř paláce. Zlaté posmrtné stúpy dalajlamů posázené drahým kamením, zlaté stúpy Buddhy a jiných světců, několik set let staré thangky – náboženské obrazy.
