Prizren als Stadt wird erstmals zu Beginn des 11. Jahrhunderts in byzantinischen Quellen als Sitz eines Bischofs erwähnt. Eine Bulle des Kaisers Basileios II. nennt Prizren als eine dem Erzbistum Ohrid unterstellte Eparchie. Sie umfasste damals nur einen Teil des heutigen Kosovo. Spätestens 1216 wird Prizren - bis dahin unter byzantinischer Herrschaft stehend - Teil des Serbischen Reiches. Im serbischen mittelalterlichen Reich des Königs Stefan UroŠ IV. DuŠan war Prizren Handelszentrum; in seine Regierungszeit fällt auch die erste Erwähnung einer katholischen Kirche in Prizren.

Prizren kam im Jahr 1455 (andere Quellen nennen 1459) zum Osmanischen Reich. Die Errichtung der osmanischen Herrschaft bedeutete eine radikale Veränderung der gesellschaftlichen und politischen Zustände. Die alten Regierungsstrukturen der serbischen Adeligen wurden vernichtet und in Prizren galt fortan das neue osmanische System. Unter anderem bedeutete dies für die (albanischen) Katholiken mehr Religionsfreiheit, welche im Vergleich zum serbischen Gesetz bei den muslimischen Osmanen höher entwickelt war. Im Jahr 1488 übernahm Prizren die Hauptstadtfunktion eines Sandschaks. 1813 wurde sie zum Amtssitz eines Vilâyets erklärt und als man diese Behörde im Jahr 1843 nach Skopje verlegte, übernahm Prizren wieder seine alte Funktion als Sandschakzentrum. Im Zuge der Tanzimat-Reformen des Osmanischen Reiches im Verwaltungswesen wurde Prizren 1868 wieder zur Hauptstadt eines Vilâyets erklärt. Im Jahr 1874 wurden die Behörden des Vilâyets einmal mehr verlegt. Diesmal erklärte man Pristina zum neuen Hauptort des Vilâyets und Prizren kehrte zurück zur tieferen Stufe eines Sandschaks. Diese Aufgabe hielt sie inne bis zum Ersten Balkankrieg, als serbische Streitkräfte die Stadt am 31. Oktober 1912 einnahmen. Während des 19. Jahrhunderts war Prizren das zweitgrößte Wirtschafts- und Handelszentrum in den albanischen Gebieten. Das osmanische Jahrbuch von 1874 beziffert die damalige Einwohnerzahl mit 44.000. Am 10. Juni 1878 gründeten Intellektuelle und Politiker aus allen albanischen Gebieten die Liga von Prizren. Sie formierte eine Übergangsregierung mit Ymer Prizreni an ihrer Spitze. Auf diese Weise wurde die Stadt zu einem Zentrum des damaligen albanischen Raumes.

Nach dem Ersten Balkankrieg 1912/13 fiel das Kosovo mit Prizren vom Osmanischen Reich an das Königreich Serbien. Ende November 1915 besetzten österreichisch-ungarische Truppen Prizren, im Oktober 1918 räumten sie es. Danach wurde die Stadt Teil des Königreichs der Serben, Kroaten und Slowenen (ab 1929 Königreich Jugoslawien). Zu Beginn des Balkanfeldzuges (Jugoslawien kapitulierte am 17. April 1941) konnten jugoslawische Truppen bei Prizren die Wehrmacht vorübergehend stoppen. Im föderalen System des sozialistischen Jugoslawien ab 1945 kam Prizren zur neu geschaffenen Teilrepublik Serbien als Teil der Sozialistischen Autonomen Provinz Kosovo. Von 1999 bis 2008 gehörte die Stadt zu der unter UN-Verwaltung stehenden Provinz Kosovo, die sich am 17. Februar 2008 als unabhängige Republik erklärt hat.

Im Kosovokrieg, insbesondere nach Beginn der NATO-Militärintervention von 1999, flüchteten große Teile der albanischen Bevölkerung aus dem Kosovo über den Grenzübergang Vërmica nach Kukës in Albanien und nach Tetovo in Mazedonien. Nach dem Ende des Krieges kehrte der größte Teil der Flüchtlinge innerhalb weniger Wochen in den Kosovo zurück. Daraufhin verließen rund 97 % der Serben und 60 % der Roma das Stadtgebiet. Heute ist Prizren beinahe vollständig albanisch besiedelt. Während des Krieges kam es auch zur Zerstörung zahlreicher kultureller Denkmäler auf beiden Seiten, wie etwa des Gebäudes der albanischen Liga von Prizren durch Serben oder orthodoxer Kirchen durch Albaner.

Während der landesweiten pogromartigen Ausschreitungen vom März 2004, die in erster Linie gegen die serbische Minderheit im Kosovo gerichtet waren, sich aber auch gegen andere Minderheiten richteten, kam es in Prizren zu besonders gravierenden Verlusten an kulturellen Monumenten. Am 17. März 2004 griffen Albaner unter anderem das ehemalige serbische Viertel Podkalaja (unter der Stadtburg) an und zerstörten es völlig.