První zachované zmínky o lokalitě pocházejí z 6. století n.l. V pozdějších obdobích si tuto oblast zvolila za své hlavní a sídelní město většina vládnoucích vietnamských dynastií. Dnešní Hanoj byla na místě, na kterém se v podstatě nachází dnes, založena r. 1010, a to pod názvem Thang Long (viet. Thăng Long, Město vzlétajícího draka), což legenda interpretuje jako narážku na dračí zjevení, jež v těchto místech spatřil tehdejší král Ly Thai To. S krátkými přechodnými obdobími zůstal potom Thang Long hlavním městem až do r. 1802, kdy si dynastie Nguyen za své sídelní město zvolila Hue. R 1831 pak změnil král Minh Mang, druhý panovník této dynastie, název města na Ha Noi, což můžeme přeložit jako Město na vnitřní straně řeky, přičemž vnitřní stranou se rozumí jižní břeh Rudé řeky.
Zatímco Hue zůstalo sídelním městem vietnamských králů až do r. 1945, Hanoj se r. 1883 stala hlavním městem francouzského protektorátu Tonkin, zahrnujícího celou oblast severního Vietnamu okolo mořského zálivu. Status skutečného hlavního města Vietnamu získala Hanoj až v r. 1976, kdy došlo k definitivnímu sjednocení celé země a vyhlášení Vietnamské socialistické republiky.
Nejzachovalejší částí staré Hanoje, která je pod ochranou UNESCO, je její centrum se starými uličkamiv okolí Jezera navráceného meče. Většina z nich (obvykle se hovoří o „36 starých ulicích“, ale ve skutečnosti je jich více) byla původně spojena s řemeslnickými cechy. Každá ulice tak získala jméno podle specializace místních obyvatel: Uhelná, Rybářská, Vějířová, Bambusová, Bylinkářská a podobně. V některých ulicích se dodnes provozují původní řemesla, většině však zůstala pouze tato jména. Zhruba v dnešní podobě se plán dnešních „36 ulic“ ustálil v 15.–16. století. Přestože jde vlastně o vzácnou památku na minulost města, právě v této části Hanoje tepe život zřejmě vůbec nejintenzivněji, i díky sousedství tržnice Dong Xuan.
Jezero navráceného meče (Hồ Hoàn Kiếm, popř. Hồ Gươm)
K názvu jezera se váže legenda o Le Loiovi, hrdinovi a přemožiteli čínské armády v r. 1427. Tomu darovala samotná Nebesa kouzelný meč, aby v čele svých vojsk pomohl sužované zemi a vyhnal mingské okupanty. Když Le Loi vykonal svou povinnost, usadil se jako král a zakladatel nové dynastie Le v sídelním městě Thang Long. Jednoho dne se projížděl v loďce po jezeře uprostřed města, když se z něj vynořila velká želva a vyzvala jej k navrácení zázračného meče jeho původnímu majiteli. Tuto událost připomíná i Želví věž (Tháp Rùa) – malá věžová pagoda nacházející se na malém ostrůvku uprostřed jezera.
V 18. století byl na jezeře postaven větší Chrám Nefritové hory(đền Ngọc Sơn), zasvěcený bohu literatury a také národnímu hrdinovi Tran Hung Daovi. K chrámu vede červený Most jitřních paprsků (cầu Thê Húc) ze dřeva, v této podobě postavený v r. 1885.
Pagoda obrany státu (chùa Trấn Quốc)
Jeden z nejstarších buddhistických chrámů ve Vietnamu byl podle tradice založen v 6. století. Původně se nacházel na jiném místě a jmenoval se Pagoda založení (popř. počátku) státu (chùa KhaiQuốc). Na tomto místě jej však ohrožovala voda, a proto byl na počátku 17. století přesunut na nový ostrůvek u břehu Západního jezera, kde dostal dnešní jméno.
Pagoda na jediném sloupu (chùa Một cột)
Nedaleko Ho Či Minova mauzolea nalezneme jednu z nejvýznamnějších vietnamských staveb a jeden ze symbolů města Hanoje – dřevený pavilon stojící na jednom sloupu uprostřed malé vodní nádrže. Stavba pochází z r. 1049 a podle pověsti ji nechal vybudovat panovník Ly Thai Tong, kterému se ve snu zjevila bohyně Kuan-jin (viet. Quân-âm) sedící na lotosovém květu a nabízela mu na dlaních syna. Zanedlouho se panovníkovi skutečně narodil dlouho očekávaný syn a jako výraz vděčnosti nechal postavit tuto pagodu symbolizující lotosový květ. Bohužel r. 1954 byla svatyně Francouzi kompletně zničena a později musela být podle dochovaných plánů postavena znovu.
Chrám písemnictví (Văn Miếu)
Byl založen v r. 1070 za vlády krále Ly Thanh Tonga. O šest let později bylo při chrámu otevřeno první vzdělávací centrum – konfuciánská akademie (Quốc Tử Giám), určená k výchově vzdělanců a mandarínů. Obdélníkový areál zahrnuje mj. Pavilon souhvězdí literatury, Studnu nebeské čistoty, Pavilon ceremonií. Nalezneme zde také 82 kamenných stél, na kterých jsou vytesána jména 1306 úspěšných absolventů nejvyšších státních zkoušek z l. 1442–1779. Za tu dobu bylo vypsáno celkem 124 královských zkoušek, bohužel, asi třicet dalších stél se jmény dalších učenců se nezachovalo. Stély spočívají na zádech kamenných želv, tradičních konfuciánských symbolech moudrosti.
K dalším zajímavostem města patří například moderní stavba Ho Či Minova mauzolea dokončená v r. 1975 s nedalekým prezidentským palácem, který byl v r. 1906 postaven jako rezidence guvernéra Indočíny. Opodál nalezneme prostý domek na kůlech, v němž strávil Ho Či Min poslední léta svého života od r. 1958 do r. 1969, kdy zemřel. Jiným pozůstatkem koloniální éry města je Francouzi postavená katedrála svatého Josefa, vysvěcená v r. 1886. Kromě výše zmíněných památek najdeme v Hanoji celou řadu menších pagod, chrámů, muzejí a památníků.