Fort Saint Elmo har sina rötter i en vaktpost från 1400-talet. 1488 byggde aragonierna ett vakttorn på udden, helgat åt Sankt Elmo. Tornet förstärktes 1533 av Johanniterorden, men efter ett osmanskt räddningståg 1551 beslöt man att riva tornet och istället uppföra en stjärnfästning ritad av spanjoren Pietro Pardo. Den stod klar 1552.
1565 inleddes den stora belägringen av Malta. Fort Saint Elmo utsattes för enorma bombardemang från osmanska kanoner på Mount Sciberras och från batterier vid Marsamxett. Den lilla garnisonen – omkring 150 riddare, 600 soldater och ett sextiotal galärslavar – höll ut i 28 dagar innan fortet föll den 23 juni. Nästan alla försvarare stupade; endast nio malteser ska ha lyckats simma över till Fort St. Angelo. Fördröjningen gav stormästaren tid att förbereda försvaret av Birgu och Senglea, och förstärkningar från Spanien kunde anlända.
Efter belägringen lät stormästare Jean Parisot de Valette anlägga en ny stad på udden. Francesco Laparelli ritade befästningarna och det förstörda fortet byggdes upp igen, nu integrerat i stadsmuren. Under 1600-talet tillkom Vendôme-bastionen (1614) och Carafa-enceinten (1687), och på 1700-talet byggdes krutmagasin och förråd i Lower Saint Elmo. 1775 intogs fortet av rebeller i Prästernas revolt, men ordningen återställdes snabbt.
Under brittisk tid förändrades fortet ytterligare: ett musketeriparapet tillkom, och 1855 gjordes krutmagasinet i Vendôme om till vapenförråd. 1917 utfördes den första hjärtoperationen på en soldat här. Fortet blev platsen för det första flyganfallet mot Malta den 11 juni 1940, och under andra världskriget skadades delar svårt. Den 26 mars 1972 lämnade Royal Malta Artillery fortet, vilket avslutade en lång militär historia. Sedan 2008 står det på World Monuments Funds lista över hotade kulturminnen, men har genomgått omfattande restaurering och är idag National War Museum.