To vše se změnilo ohlášením System/360 (S/360) v dubnu 1964. System/360 byla jednotná řada kompatibilních modelů pro komerční i vědecké použití. Číslo „360“ naznačovalo „360stupňový“ nebo „všestranný“ počítačový systém. System/360 obsahoval funkce, které se dříve vyskytovaly pouze v komerční řadě (např. desítková aritmetika a adresování bajtů) nebo v technické a vědecké řadě (např. aritmetika s plovoucí desetinnou čárkou). Některé aritmetické jednotky a adresovací funkce byly u některých modelů System/360 volitelné. Modely však byly kompatibilní směrem nahoru a většina z nich byla kompatibilní i směrem dolů. System/360 byl také prvním široce používaným počítačem, který obsahoval vyhrazená hardwarová ustanovení pro používání operačních systémů. Mezi ně patřily programy a instrukce v režimech supervisor a application mode a také vestavěná zařízení pro ochranu paměti. Hardwarová ochrana paměti sloužila k ochraně operačního systému před uživatelskými programy (úlohami) a uživatelských úloh mezi sebou navzájem. Nový stroj měl také větší adresový prostor než starší mainframy, 24 bitů adresujících 8bitové bajty oproti typickým 18 bitům adresujícím 36bitová slova.
Menší modely řady System/360 (např. 360/30) byly určeny k tomu, aby nahradily řadu 1400 a zároveň poskytly snadnější cestu k upgradu na větší modely 360. Aby IBM usnadnila přechod z druhé generace na novou řadu, využila mikroprogramovací schopnosti modelu 360 k emulaci oblíbenějších starších modelů. Modely 360/30 s touto přidanou nákladovou funkcí tak mohly spouštět programy 1401 a větší modely 360/65 programy 7094. Pro spuštění starých programů bylo nutné počítač 360 zastavit a znovu spustit v režimu emulace. Mnoho zákazníků nadále používalo svůj starý software a jednou z funkcí pozdějších modelů System/370 byla možnost přepnout do režimu emulace a zpět pod kontrolou operačního systému.
Operační systémy rodiny System/360 zahrnovaly OS/360 (s PCP, MFT a MVT), BOS/360, TOS/360 a DOS/360.
Systém/360 se později vyvinul v System/370, System/390 a 64bitové stroje zSeries, System z a zEnterprise. System/370 zavedl možnosti virtuální paměti ve všech modelech kromě úplně prvních modelů System/370. Pro využití možností virtuální paměti byla zavedena varianta OS/VS1 OS/360 MFT, varianta OS/VS2 (SVS) OS/360 MVT a varianta DOS/VS DOS/360. Následoval systém MVS, který na rozdíl od dřívějších operačních systémů s virtuální pamětí spouštěl samostatné programy v samostatných adresových prostorech, nikoliv všechny programy v jednom virtuálním adresovém prostoru. Schopnosti virtuální paměti také umožnily systému podporovat virtuální stroje; hypervizor VM/370 spouštěl jeden nebo více virtuálních strojů se standardními operačními systémy System/360 nebo System/370 nebo s jednouživatelským systémem Conversational Monitor System (CMS). V systému VM s časovým sdílením by mohlo běžet více virtuálních počítačů, jeden pro každého uživatele, přičemž na každém virtuálním počítači by byla spuštěna instance systému CMS.