Anlässlich der Alpbacher Technologiegespräche 2002 gab Anton Zeilinger die Anregung für eine neue, herausragende wissenschaftliche Einrichtung für Grundlagenforschung. Ein grundlegendes Konzept wurde 2005 vorgelegt. Rechtliche Basis für das Institut ist das Bundesgesetz über das Institute of Science and Technology Austria (IST Austria). Ein internationales Komitee, bestehend aus Haim Harari, Olaf Kübler und Hubert Markl, veröffentlichte im Juni 2006 einen Bericht, der die Grundlage für die die Forschungseinrichtung wurde. Das Kuratorium wurde im Dezember 2006 bestellt.

Bis zur Ernennung des ersten Präsidenten lagen alle Entscheidungen in den Händen des von Haim Harari geleiteten Exekutivausschusses des Kuratoriums. Harari war nicht nur mit der Entwicklung des Campus and der Bestellung der Professoren betraut, sondern auch mit dem Aufbau der notwendigen Organisationstrukturen. Zu Beginn 2007 wurde Gerald Murauer als interimistischer Geschäftsführer angestellt und später vom ersten Präsidenten zum Geschäftsführer ernannt. Die Verwaltung wuchs langsam und erreichte im Herbst 2007 einen Mitarbeiterstand von sechs Personen.

Der Exekutivausschuss des Kuratoriums nahm die  Suche nach dem ersten Präsidenten zu Beginn 2008 auf. Einige Dutzend KandidatInnen wurden sorgfältig geprüft. Die endgültige Wahl Ende 2008 fiel auf Thomas Henzinger. Er nahm an allen wichtigen Entscheidungen im Jahr 2009, inbesondere an der Bestellung neuer ProfessorInnen, teil und trat sein Amt am Institut im September 2009 an.

Die offizielle Eröffnung des IST Austria erfolgte im Juni 2009, als die ersten theoretischen Forschungsgruppen ins Hauptgebäude und die Verwaltung ins Verwaltungsgebäude, das voestalpine Building, zogen. Auch der Hörsaal, das Gästehaus, das Campus-Restaurant und die Versorgungsanlagen wurden 2009 in Betrieb genommen. Die ersten experimentellen Forschungsgruppen bezogen das im Oktober 2010 eröffnete das erste Laborgebäude, das Bertalanffy Foundation Building, weitere werden folgen. 2011 haben 20 Forschungsgruppen ihre Tätigkeit auf dem Campus aufgenommen. In den nächsten Monaten werden zwei weitere Forschungsgruppen ihre Arbeit am Institut aufnehmen. Ende 2016 ist eine Größe von 40-50 ProfessorInnen und bis zu 500-600 WissenschaftlerInnen geplant.