Der Wawelhügel, auf dem das Schloss und die Kathedrale stehen, wurde bereits vor 20.000 Jahren dauerhaft besiedelt. In der Nähe von Krakau bauten die Menschen bereits in prähistorischen Zeiten Salz ab und handelten damit. Im 9. Jahrhundert sind Wislanen von Method von Saloniki in der Gegend um Krakau beschrieben. Die Geschichte des Territoriums an der oberen Weichsel um Krakau begann vor der Eroberung durch die Polanen im Jahr 999 und vor der Gründung des ersten polnischen Staates. Entsprechend dem Gründungsmythos der Stadt, von Wincenty Kadlubek zuerst beschrieben, "errichtete Stammesfürst Krak die Stadt auf dem Wawelhügel über einer Drachenhöhle, nachdem er den dort hausenden Drachen getötet hatte".

Erste Überlieferungen von Slawen, die sich am Weichselufer ansiedelten, beziehen sich auf Chrobaten, die im 9. Jahrhundert in der Umgegend der späteren Stadt erwähnt werden und wahrscheinlich zeitweise zum Großmährischen Reich gehörten. Großmährische Chroniken berichten, dass Kyrill und Method dem (unbenannten) Herrscher der Wislanen die christliche Taufe angeraten haben. Es ist nicht bekannt, ob dieser das Angebot annahm. Doch soll bereits zu dieser Zeit die erste Kirche in Krakau an der Stelle eines heidnischen Kultortes (Standort der späteren Andreaskirche) errichtet worden sein. Im Jahr 965 wurde Krakau von dem arabisch-jüdischen Kaufmann Ibrahim ibn Yaqub zum ersten Mal urkundlich erwähnt. Im Jahr des Todes Boleslav II. von Böhmen (999) wurde Krakau, welches zum Böhmischen Gebiet gehörte, von Boleslaw I. Chrobry, Herzog der Polanen, erobert und kam damit unter die Herrschaft der nachmaligen polnischen Piasten.

Ende des 10. Jahrhunderts war Krakau bereits ein bedeutender Handelsplatz und wurde im Jahr 1000 von Boleslaw I. dem Tapferen (Boleslaw I. Chrobry) zum Sitz des Bistums Krakau erhoben. Die ersten steinernen Gebäude wurden errichtet (eine Burg auf dem Wawelhügel und diverse romanische Sakralbauten).

Unter Kasimir I. dem Erneuerer wurde Krakau 1038 Hauptstadt Polens. Kasimir verließ das von dem tschechischen Herrscher Bretislav I. zerstörte Gnesen, das bisher die Hauptstadt Polens war und wählte das günstiger gelegene Krakau als Königssitz. Gleichwohl blieb Gnesen Sitz des wichtigsten polnischen Erzbistums und damit des polnischen Primas. Wegen der neuen Rolle als polnische Hauptstadt entwickelte sich Krakau im 11. Jahrhundert sehr schnell. Zahlreiche Bauten im romanischen Stil entstanden. In dieser Zeit kam es aber auch zum Konflikt der weltlichen mit der kirchlichen Macht in Polen, der darin mündete, dass König Boleslaw II. der Kühne, der Sohn Kasimirs I., den Erzbischof Stanislaus in der Michaeliskirche 1079 erschlug. Stanislaus wurde zu einem der ersten Schutzpatrone Polens. Boleslaw II. musste aus Polen fliehen und wurde später in Ungarn vergiftet. Sein Bruder Wladyslaw I. Herman, der ihm 1079 auf den Thron folgte, verlegte für kurze Zeit die Hauptstadt weiter nach Plock.

Doch bereits Anfang des 12. Jahrhunderts sicherte sich Krakau wieder die Stellung der polnischen Hauptstadt. Nach dem Tod Boleslaws III. war Krakau von 1138 bis 1320 Hauptstadt des Seniorats Polen. Die Krakauer Fürsten waren im Rahmen der Senioratsverfassung den übrigen polnischen Teilfürsten übergeordnet und versuchten das Königreich Polen wieder zu vereinen. In dieser Zeit wanderten viele Juden und Deutsche nach Krakau ein und erwarben das Bürgerrecht. Gleichzeitig wurde Krakau im 13. Jahrhundert mehrmals von den Tataren belagert. Besonders verheerend war im Zuge der Schlacht bei Wahlstatt der erste Ansturm der Mongolen der Goldenen Horde im Jahr 1241, den nur die Wawelburg und der Stadtteil Okól überstanden. Die Bürger konnten in der Andreaskirche und auf der Burg Schutz finden. Nach dieser Zerstörung wurde Krakau im Stil der Gotik planmäßig auf einem Schachbrettmuster wieder aufgebaut.

1257 wurde Krakau nach Magdeburger Stadtrecht von Boleslaw dem Schüchternen neugegründet und wieder aufgebaut. In dieser Zeit wurden die Marktplätze und das schachbrettartige Straßennetz der Altstadt geformt, in das ältere Fragmente, wie die Marienkirche, eingebettet wurden. Boleslaw der Schüchterne und seine Frau, die Heilige Kinga, förderten den Salzabbau in Bochnia und Wieliczka untertage. Damit legten sie die Basis für den Reichtum der Stadt im Spätmittelalter. 1281 erfolgte der letzte große tatarische Angriff auf Krakau, den die vom Turmbläser gewarnten Bürger jedoch abwehren konnten.

Im Jahr 1311 erhob sich die deutsche Bürgerschaft unter Führung des Vogtes Albert gegen den polnischen Seniorherzog Wladyslaw I. Ellenlang. Nachdem er den Aufstand niedergeschlagen hatte, ließ Wladyslaw die meisten Deutschen aus der Stadt verbannen, einige hinrichten. Die Nationalität der Bürger wurde durch ein Schibboleth überprüft: Als Deutscher galt, wer soczewica, kolo, miele, mlyn nicht fehlerfrei nachsprechen konnte. Um 1480 waren wieder 36 Prozent der Einwohner mit Stadtrecht deutschsprachig und in der prächtigsten Pfarrkirche, der Marienkirche, wurde deutsch gepredigt - bis auf königlichen Erlass hin die deutschen Predigten in die Barbarakirche verlegt wurden.

Kasimir der Große gründete die Vorstädte Kazimierz (1335) und Kleparz (1366) und ließ die Wawelkathedrale und viele andere Kirchen im gotischen Stil umbauen bzw. neu errichten. Zu seiner Zeit kamen nach den Pestpogromen von 1348/49 besonders viele Juden nach Polen und Krakau, denen Kasimir III. weitgehende Privilegien und in der Ausweitung des Kalischer Toleranzedikts von 1265 die Religionsfreiheit sicherte. Entgegen einem weitverbreiteten Irrtum siedelten die Juden zunächst nicht in Kazimierz, sondern im heutigen Universitätsviertel um die St.-Anna-Straße.Die Stadtregierung Krakaus unterstand jahrhundertelang dem Krakauer Erzbischof als Fürstbistum. Während der Herrschaft von Wladyslaw II. Jagiello Ende des 14. Jahrhunderts wurde Krakau ein Mitglied der Hanse, verließ diese aber 1478 wieder.

Nach dem Tod Kasimirs III. des Großen 1370 kam sein Neffe Ludwig von Anjou an die Macht, der gleichzeitig auch König von Ungarn war. Nach dessen Tod bestieg die 12-jährige Hedwig 1384 den polnischen Thron als König (nicht Königin). Sie heiratete den litauischen Großfürsten Wladyslaw II. Jagiello und legte damit den Grundstein für die Union zwischen beiden Staaten. Sie verstarb sehr jung 1399 und vererbte ihr ganzes Vermögen der Krakauer Universität. Ihr Ehemann Wladyslaw II. Jagiello besiegte 1410 den Deutschen Orden bei Tannenberg militärisch und 1416 auf dem Konzil zu Konstanz juristisch. Nach der polnisch-litauischen Union von Krewo 1385 entwickelte sich Krakau als Hauptstadt einer der größten europäischen Kontinentalmächte ökonomisch, kulturell, wissenschaftlich und urban. Wladyslaw II. Jagiello gilt als Stammvater der Dynastie der Jagiellonen, die in Polen-Litauen, dem Königreich Böhmen und Ungarn regierten und starke familiäre Beziehungen mit Habsburg, Wittelsbach und Vasa unterhielten. Unter ihrer Herrschaft wuchs Krakau weiter und trat der Hanse bei. Der Fürstbischof regierte sehr geschickt ab 1434 für die minderjährigen Söhne Wladyslaw II. Jagiellos, Wladyslaw III. von Warna und Kasimir IV. Jagiello. Unter letzterem blühte Krakau in der Spätgotik auf.

1489 beendete Veit Stoß (poln. Wit Stwosz) aus Nürnberg die Arbeit am Hochaltar der Krakauer Marienkirche und fertigte dann den Marmorsarkophag für Kasimir IV. Jagiellonicus, Kallimachus sowie für Bischöfe von Krakau und Posen. Auch zahlreiche andere Künstler aus Italien, Holland und Süddeutschland kamen in der Zeit Kasimirs IV. nach Krakau und arbeiteten im Stil der Spätgotik und Renaissance. Drei seiner Söhne waren nacheinander polnische Könige, der älteste aber König von Böhmen und Ungarn. Die Könige Alexander und Jan I. Olbracht ließen die Stadtbefestigung gegen einen befürchteten Türkenansturm ausbauen. Ihr jüngerer Bruder Sigismund I. der Alte (Zygmunt I Stary) und dessen Sohn Sigismund II. August (Zygmunt II August) bauten Krakau zum Machtzentrum der jagiellonischen Länder in Polen-Litauen und Tschechien-Ungarn aus. Zu dieser Zeit zählte Krakau ca. 30.000 Einwohner.

1525 huldigte Albrecht, der Hochmeister des Deutschen Ordens, dem polnischen König auf dem Krakauer Marktplatz und wandelte auf Anraten Martin Luthers und mit Billigung des polnischen Königs den Ordensstaat in ein polnisches Lehen um. Albrecht schuf mit diesem Herzogtum Preußen als polnischem Lehen das erste Gebiet, das den lutherischen Glauben annahm. Die Konflikte um Reformation und Gegenreformation wirkten sich auch bald auf Krakau aus.

Sigismund II. August wurde 1530 zu Lebzeiten seines Vaters König von Polen und regierte bis zu dessen Tod 1548 mit diesem gemeinsam. Mitte des 16. Jahrhunderts wurde begonnen, die deutschsprachige Stadtregierung durch eine polnische bzw. italienische zu ersetzen. 1572 starb der letzte Jagiellonenkönig, Sigismund II. August. Sein Nachfolger aus Frankreich Heinrich von Valois regierte nur ein Jahr auf dem Wawel. Ihm folgte der Ungar Stephan Báthory, unter dem Krakau sich weiter im Stil des Manierismus entwickelte. Doch verlegte 1596 der polnische und zeitweise schwedische König sowie zeitweilige Zar von Russland Sigismund III. Vasa (Zygmunt III Waza) die Residenz nach Warschau, das bis 1526 (dem Jahr des Erlöschens des masowischen Piastenhauses) Hauptstadt des Herzogtums Masowien gewesen war, welches an die polnische Krone zurückfiel. Sigismund bevorzugte die Nähe Warschaus zu seinem schwedischen Erbkönigreich und zu seinen russischen Ambitionen. Ende des 17. Jahrhunderts und im 18. Jahrhundert lag Krakau abseits der polnischen Politik, die nun in Warschau ihren Mittelpunkt hatte. 1778 wurden in Krakau ohne die Vorstädte 8.894 Einwohner gezählt und 1782 insgesamt 9.193 Einwohner.

Im Zuge der Dritten Teilung Polens wurde Krakau 1795 in der Habsburgermonarchie dem Kronland Galizien zugeordnet, dem habsburgischen Anteil aus der Ersten Teilung Polens 1772. 1809 bis 1815 gehörte es zum von Napoléon errichteten Herzogtum Warschau und war nach dem Wiener Kongress als Republik Krakau bis 1846 ein Kondominat unter dem gemeinsamen Protektorat seiner Nachbarn Russland, Preußen und Österreich. Nach dem Krakauer Aufstand 1846 annektierte Österreich Krakau mit Zustimmung von Russland und Preußen. Es folgte eine zunächst von Germanisierungstendenzen der Wiener Führung geprägte Zeit, die jedoch nach der Niederlage Österreichs im Krieg gegen das sich formierende Italien und einer Schwächung der Zentralisten in Wien durch den österreichisch-ungarischen Ausgleich von 1867 von weitreichender Autonomie für Galizien abgelöst wurde.

Im cisleithanischen Teil der nunmehr als k.u.k. Monarchie bezeichneten Realunion, der liberal regiert wurde und allen Nationalitäten Gleichberechtigung einräumte, entwickelte sich Krakau erneut zum Zentrum polnischer Kunst und Kultur. Krakau wurde das Zentrum der neoromantischen Bewegung Junges Polen, des Jugendstils sowie des polnischen Modernismus. So wurde Krakau neben Warschau eines der bedeutendsten Zentren der polnischen Unabhängigkeitsbewegung. Mit Wien als damaliger Hauptstadt war Krakau seit 1856 durch die k.k. Nordbahn verbunden, die wichtigste Bahnstrecke der Monarchie. In den letzten zwei Jahrzehnten vor dem Ersten Weltkrieg erlebte Krakau eine sprunghafte Modernisierung, die nicht zuletzt vom jüdischen Bürgertum getragen wurde.

Am Ende des Ersten Weltkriegs sah sich Krakau ab 28. Oktober 1918 wie ganz Galizien als Teil des wieder erstehenden polnischen Staates. Dies wurde im September 1919 im Vertrag von Saint-Germain bestätigt. Krakau entwickelte sich in der Zwischenkriegszeit sehr schnell und war neben Warschau und Lemberg eines der wichtigsten kulturellen Zentren Polens.

Zu Beginn des Zweiten Weltkriegs nahm im Polenfeldzug die deutsche Wehrmacht Krakau am 6. September 1939 kampflos ein. Westgalizien wurde Bestandteil des Generalgouvernements für die besetzten polnischen Gebiete mit Sitz in Krakau. Unter Generalgouverneur Hans Frank wurden in Stadtnähe die berüchtigten Konzentrationslager Plaszow, Auschwitz und Auschwitz-Birkenau errichtet. Die deutschen Besatzer errichteten 1941 im Stadtteil Podgórze am rechten Weichselufer für jüdische Stadtbürger das Ghetto Krakau, in dem zeitweise 20.000 Menschen als Arbeitssklaven gefangen gehalten wurden. Im Herbst 1941 wurden 2.000 Menschen aus dem Ghetto für die Tötung "selektiert", weggebracht oder vor Ort ermordet. Das Ghettogelände wurde anfänglich mit Mauern abgesperrt. Nach weiteren Deportationen (1.-8. Juni und 27.-28. Oktober 1942) wurde das ganze Gelände im Dezember in Wohnbezirk A und Wohnbezirk B unterteilt. Das war die Vorbereitung für die endgültige Liquidation, die am 13. März 1943 begann. Die Besatzer vernichteten einen großen Teil der Kunstschätze des Wawels, insbesondere der polnischen Künstler. Die Bausubstanz Krakaus blieb aber zum großen Teil erhalten, da das NS-Regime Krakau als ursprünglich deutsche Stadt betrachtete. Krakau blieb von Bombardements und größeren Zerstörungen weitgehend verschont. Es verlor aber fast die Hälfte seiner Bevölkerung, so gut wie die ganze jüdische Gemeinde und insbesondere in der "Sonderaktion Krakau" vom November 1939 die universitäre Elite.

Als die Rote Armee im Januar 1945 im Zuge der Weichsel-Oder-Operation überraschend auf Krakau vorstieß, ließ Generalgouverneur Frank alle Deutschen evakuieren und verließ die Stadt,während sich die deutschen Truppen zur Oder zurückzogen. So konnte die Rote Armee am 19. Januar in das nahezu unzerstörte Krakau einziehen. Die Sowjetunion und das polnische kommunistische Regime unterdrückten die bürgerlichen und aristokratischen Strömungen der Krakauer. Am 11. August 1945 kam es zum Pogrom von Krakau an der jüdischen Bevölkerung. Die Behörden weigerten sich, einzuschreiten und die vom Tod bedrohten Menschen zu retten.

Aus ideologischen Überlegungen wurden in unmittelbarer Nachbarschaft zur Stadt das damals weltgrößte Stahlwerk und die sozialistische Trabantenstadt Nowa Huta (Neue Hütte) errichtet. Das Regime erhoffte sich durch einen größeren Anteil an "sozialistischen Arbeitern" den Einfluss der "kapitalistischen Intellektuellen" zu beseitigen. Nowa Huta wurde später während der Solidarnosc-Bewegung zu einem Brennpunkt des sozialen und politischen Reformwillens gegen den Kommunismus. Bis in die 1990er Jahre hinein schädigten die Emissionen des Stahlwerks die historische Bausubstanz Krakaus.

Im Jahre 1978 wurden die Altstadt von Krakau und der Wawel zum UNESCO-Weltkulturerbe erklärt. Das Salzbergwerk Wieliczka vor den Stadttoren Krakaus wurde 1978 ebenfalls UNESCO-Weltkulturerbe. Im selben Jahr wurde der Erzbischof von Krakau, Karol Wojtyla, zum Papst gewählt und nahm als solcher den Namen Johannes Paul II. an. Er besuchte Krakau während seines Pontifikates mehrmals. Diese Wahl hatte bedeutende Auswirkungen auf die polnische Oppositionsbewegung und indirekt auf die gesamte internationale Politik. Nach den Gesprächen am Runden Tisch 1988/89 und den ersten freien Wahlen 1989 konnte sich Krakau wieder frei entwickeln. Die Versäumnisse früherer Restaurierungsarbeiten konnten in den 1990er Jahren nachgeholt werden.