Das MMK wurde 1981 gegründet. Nach einer achtjährigen Planungs- und Bauphase wurde das Museum im Juni 1991 unter Jean-Christophe Ammann als Direktor eröffnet.

Durch die Bombardierungen der Frankfurter Altstadt im Zweiten Weltkrieg waren große Teile der Frankfurter Altstadt zerstört. Von den umfangreichen Neubauten und -planungen in den 1970er-Jahren versprach sich die Stadt, die Kulturlandschaft Frankfurts neu zu konzipieren – das heutige Museumsufer ist eng mit diesen Überlegungen verbunden. Auch die Gründung eines Museums für Moderne Kunst reicht in die Ära des damaligen Kulturdezernenten Hilmar Hoffmann zurück. Ab 1981 leitete der Kunsthistoriker und Theaterkritiker Peter Iden als Interimsdirektor das Museum.

Die Wahl für den Standort des Museums wurde 1982 getroffen und fiel auf eine Baulücke, die zuvor für städtische Ämter vorgesehen war. Nach einem offenen Realisierungswettbewerb für die Planung des Museumsbaus wurde der Wiener Architekt Hans Hollein am 17. Mai 1983 beauftragt das Projekt auszuführen.

Der Entwurf Holleins berücksichtigte mehrere Prämissen: die Integration des Neubaus in das urbane Umfeld durch die äußere Material- und Farbgestaltung, die räumliche Herausforderung des dreieckigen Grundstücks, das die Grundfläche vorgab, sowie die Konzeption des Museums, das einerseits nach funktionellen Notwendigkeiten ausgerichtet und andererseits von der Kunst ausgehend gedacht werden musste. Das Haus sollte ideale Bedingungen für die Präsentation erfüllen und einladend auf das Publikum wirken.

Die Stadt Frankfurt hatte 1981 große Teile der Sammlung des Darmstädter Industriellen Karl Ströher erworben. Mit ihren Schwerpunkten der amerikanischen Pop und Minimal Art sollte sie den Grundstock des Museums für Moderne Kunst bilden. Hans Hollein kannte die Sammlung sehr gut und hat diese Erfahrung in seine Überlegungen mit einbezogen: Im Museum sollte es keinen neutralen Raum geben, „sondern nur charakteristische Räume unterschiedlicher Größenordnung (und ihre Erschließung), mit denen das Kunstwerk eine Dialektik eingeht – in gegenseitiger Potenzierung“. So ist es ihm gelungen, auf dem dreieckigen Grundstück einen entsprechenden Baukörper räumlich so zu gliedern, dass ein Gang durch das Haus zu einem nachhaltigen Erlebnis wird.

Das Gebäude ist axial um eine zentrale, von oben belichtete Halle angelegt. Von hier aus erschließen sich die verschiedenen Bereiche und Geschosse des Museums. Die Lichtführung im Gebäude und das spannungsvolle Verhältnis der einzelnen, unterschiedlich proportionierten Räume zueinander setzen den Rhythmus des Gebäudes, das 30 Ausstellungsräume umfasst. Bis heute ist das Museum in seiner spezifischen, postmodernen Architektur singulär. Die Besucher*innen nehmen die Architektur über die Kunst und die Kunst mittels der Architektur wahr.