Das Österreichische Historische Institut in Rom wurde 1881 auf Initiative des Wiener Universitätsprofessors Theodor von Sickel gegründet, der die Unterstützung Kaiser Franz Josephs für dieses Projekt gewinnen konnte. Die Öffnung der vatikanischen Archive für die historische Forschung weckte europaweit Interesse, zahlreiche Staaten richteten in diesen Jahren in Rom Forschungsinstitute ein, die bis heute bestehen.
Sickel leitete das Institut viele Jahre, sein Nachfolger wurde der „Historiker der Päpste“ Ludwig von Pastor, der in den zwanziger Jahren auch österreichischer Botschafter beim Hl. Stuhl war. Mit dem österreichisch-italienischen Kulturabkommen 1935 und der damit erfolgten Erweiterung der Aufgaben um jene der Vertretung kultureller Interessen wurde es bis 1981 als historische Abteilung des österreichischen Kulturinstituts geführt, seit 1982 ist es wieder eine selbstständige Einrichtung im Rahmen des Wissenschaftsministeriums und der Österreichischen Akademie der Wissenschaften.
Das heutige Institutsgebäude wurde in den Jahren 1935–1937 auf einem von Italien der Republik Österreich gestifteten Grundstück in der „Valle Giulia“ errichtet. Das Historische Institut in Rom leistet seit seiner Gründung herausragende Forschungen, zunächst vor allem zur mittelalterlichen Geschichte des habsburgischen Österreich.
Die Forschungsprojekte wurden sehr bald auf Themen der frühen Neuzeit ausgeweitet, als weitere Schwerpunkte kamen die Kunstgeschichte und später die Archäologie hinzu. Die Forschung ist aber nur eine der zentralen Säulen der Institutsarbeit. Das Institut war immer schon auch eine wichtige Dienstleistungseinrichtung für die österreichische Scientific community hinsichtlich der Vatikan- und Italienforschung.
Als Kommunikationsplattform, aber auch in seiner Netzwerkfunktion, war und ist das HI-Rom bemüht, Kontakte zwischen österreichischen und italienischen Forschungseinrichtungen zu fördern und zu intensivieren. Zu diesem Aufgabenbereich gehört auch die Weiterleitung von Anfragen aus Österreich und Italien an die jeweils zuständigen Stellen sowie die Vermittlung von wissenschaftlichen Kontakten – eine Aufgabe, die mittlerweile ganz Italien mit einbezieht.
Der dritte große Aufgabenbereich des Instituts ist die Nachwuchsförderung, bestehend aus dem Stipendienprogramm, der Unterstützung kurzfristiger Forschungsaufenthalte und einer Zusammenarbeit mit österreichischen Universitäten in Form von Lehrveranstaltungen und Rom-Exkursionen.