Idea oddania hołdu bezimiennym żołnierzom, którzy zginęli za ojczyznę, powstała we Francji po I wojnie światowej. W Polsce pierwsze inicjatywy budowy Grobu Nieznanego Żołnierza miały miejsce w 1921 r. W Warszawie utworzono wówczas Komitet Uczczenia Poległych 1914-1921. Koncepcją tą zajęło się również stowarzyszenie Polski Żałobny Krzyż. Kiedy na budowę pominika udało się zebrać ponad 115 tys. polskich marek inicjatywą zainteresowały się władze.
Na wniosek Prezydenta RP Stanisława Wojciechowskiego w 1923 r. utworzono Tymczasowy Komitet Organizacyjny Budowy Pomnika Nieznanego Żołnierza. Zaczął on jednak działać dopiero po umieszczeniu przez anonimowego fundatora na Placu Saskim w Warszawie tablicy z krzyżem i napisem "Nieznanemu Żołnierzowi, poległemu za Ojczyznę". Wśród rozważanych lokalizacji pomnika były m.in. okolice Cytadeli, Fort Legionów i wylot Mostu Poniatowskiego. Ostatecznie wybrano Plac Saski z uwagi na umieszczoną już tam płytę i zrezygnowano z planów konkursu na projekt.
24 stycznia 1925 r. na wniosek ministra spraw wojskowych gen. Władysława Sikorskiego Rada Ministrów uchwaliła budowę Grobu Nieznanego Żołnierza w arkadach Pałacu Saskiego w Warszawie, na autora projektu wybierając rzeźbiarza Stanisława Ostrowskiego.
Zgodnie z jego koncepcją w centrum pomnika, umieszczonego w trzech środkowych arkadach Pałacu Saskiego, znalazła się płyta z szarego kamienia z napisem "Tu leży żołnierz polski poległy za Ojczyznę". Na stalowej płycie wewnątrz napisano "Dnia 2 XI 1925 roku zostały złożone w tem miejscu zwłoki nieznanego żołnierza polskiego przeniesione z wybranego losem pobojowiska lwowskiego", zaś na trumnie wyryto "Trumna ta zawiera zwłoki Nieznanego Żołnierza polskiego wzięte z mogiły lwowskiej dnia 29 X 1925 roku".
Na płycie znalazł się znicz uformowany z dwóch aniołów, na sklepieniu - fresk z wieńcem laurowym, a po bokach - dwa metalowe lampiony. Grobowiec oddzielono granitowymi słupkami, ściany ozdobiły płaskorzeźby ze sztandarami w otoczeniu husarskich skrzydeł. Z przodu pomnika, gdzie miała stać warta oraz brązowe urny i znicze, umieszczono kamienne tablice z motywem mieczy otoczonych przez skrzydła husarskie. Tylną elewację tworzyły ozdobne kraty z motywami orła w koronie oraz Krzyża Walecznych i Virtuti Militari. Na filarach znalazły się granitowe tablice z miejscami bitew z lat 1914-20.
Wyboru Lwowa, jako miejsca pochodzenia szczątków bezimiennego żołnierza, dokonał losowo pomiędzy 15 polami bitew kawaler Virtuti Militari Józef Buczkowski.29 października 1925 r. na Cmentarzu Orląt Lwowskich ekshumowano trzy bezimienne groby żołnierskie. Znaleziono w nich zwłoki sierżanta, kaprala oraz ochotnika, przy którym złożono maciejówkę z orzełkiem. Jadwiga Zarugiewiczowa, matka poległego żołnierza, losowo wybrała trumnę, jak się okazało ze szczątkami wojskowego z maciejówką. Lekarz stwierdził u niego postrzał w głowę i w nogę, co dowodziło śmierci w boju.
Jego szczątki złożono w sosnowej trumnie, którą umieszczono w cynowej, a następnie w dębowej z motywem orła. Została ona wystawiona w kaplicy obrońców Lwowa, a później w bazylice katedralnej, gdzie odbyło się pożegnalnie nabożeństwo. Trumnę przewieziono w uroczystym kondukcie na dworzec, a potem specjalnym pociągiem do Warszawy. Na drodze przejazdu zebrały się tłumy. Całość uroczystości uwiecznił Centrofilm.
Zwłoki przybyły na stołeczny Dworzec Główny 2 listopada 1925 r., skąd kondukt przeszedł do katedry św. Jana na uroczyste nabożeństwo. Następnie trumnę na armatniej lawecie w uroczystym pochodzie przetransportowano na Plac Saski. Tam złożono ją do grobowca wraz z aktem erekcyjnym pomnika, 14 żalnikami z ziemią z pozostałych miejsc wytypowanych do uczczenia, srebrnym wieńcem od prezydenta i jedwabnym całunem z wizerunkiem orła. Przy pomniku-grobie zapłonęły znicze i zaciągnięto wartę. W uroczystościach jego odsłonięcia wzięli udział prezydent S. Wojciechowski, premier W. Grabski, gen. W. Sikorski, przedstawiciele duchowieństwa, zagraniczni goście oraz delegacje z całego kraju i tłumy warszawiaków.
Grób Nieznanego Żołnierza początkowo często odwiedzany, z czasem popadł w pewne zapomnienie. W 1926 r. przekazano go pod zarząd stołeczny, zaś 11 lat później w obliczu pewnych ubytków podjęto decyzję o jego odrestaurowaniu.
Podczas okupacji niemieckiej pomnik stał się miejscem ważnym dla warszawiaków, gdzie z narażeniem życia składano kwiaty dla uczczenia świąt narodowych. W grudniu 1944 r. Niemcy wysadzili w powietrze Pałac Saski, jednak fragment Grobu ocalał.
Decyzję o jego odbudowie podjęto już miesiąc później. Początkowo w miejscu pomnika żołnierze palili ognisko, pełniące rolę znicza. Z czasem teren został odgruzowany i wyłożony płytami.W listopadzie 1945 r. władze nakazały stworzenie projektu odbudowy Grobu Nieznanego Żołnierza. Pierwotnie istniały plany pozostawienia go w postaci ruin dla podkreślenia niemieckich zniszczeń. Ostatecznie zostały one jednak odrzucone, a odbudową Grobu zajął się architekt Zygmunt Stępiński.
Jego koncepcja polegała na odnowieniu trzech środkowych arkad Pałacu Saskiego połączonych sklepieniem. W przestrzeniach pomiędzy kolumnami znalazły się ozdobne kraty z motywem orła (bez korony) oraz Krzyżami Virtuti Militari, Grunwaldu i Walecznych. Na Grób położono nową płytę, nie umieszczono jednak tablic upamiętniających chwałę polskiego oręża z lat 1918-20, wmurowano natomiast nowe z nazwami miejsc walk Polaków z faszyzmem i hitleryzmem w latach 1936-1945. Stojące wcześniej znicze zastąpiono wazami z ziemią z 24 pól bitewnych II wojny światowej. Teren wokół wyłożono kamienną posadzką.
Ponowne odsłonięcie Grobu Nieznanego Żołnierza odbyło się 8 maja 1946 r. z udziałem przedstawicieli władz. Przy pomniku wprowadzono stałą wartę, organizowano także apele poległych w rocznice zakończenia II wojny światowej. W 1964 r. przeprowadzono restaurację Grobu wymieniając płytę nagrobną i posadzkę, montując oświetlenie i na nowo tynkując.1 lipca 1965 r. pomnik uznano za zabytek. Podczas następnych prac renowacyjnych w 1973 r. fragmenty z piaskowca zastąpiono szarym granitem.
W 1979 r. w czasie pierwszej pielgrzymki do ojczyzny Grób odwiedził papież Jan Paweł II.W 1989 r. złożono tam ziemię z Katynia. W roku kolejnym demokratyczne już władze zleciły przywrócenie przedwojennych tablic i dodanie nowych. Pierwsze z nich powróciły w Święto Niepodległości w 1990 r., a podczas obchodów 200-lecia Konstytucji 3 Maja w 1991 r. umieszczono 14 nowych tablic z polami bitew z lat 972-1683, 1768-1921 i 1939-45. W sumie jest ich obecnie 18.
Podczas świąt państwowych przy pomniku odbywają się uroczyste zmiany wart oraz składanie wieńców z udziałem przedstawicieli władz. Wartę honorową przy Grobie pełnią całodobowo żołnierze z Batalionu Reprezentacyjnego Wojska Polskiego, płonie przy nim również wieczny znicz.
