Dat veranderde allemaal met de aankondiging van het System/360 (S/360) in april, 1964. Het System/360 was een enkele serie van compatibele modellen voor zowel commercieel als wetenschappelijk gebruik. Het getal “360” suggereerde een “360 graden,” of “all-around” computersysteem. System/360 bevatte functies die voorheen alleen in de commerciële lijn (zoals decimale rekenkunde en byte-adressering) of de technische en wetenschappelijke lijn (zoals drijvende-kommaberekeningen) aanwezig waren geweest. Sommige rekeneenheden en adresseringsfuncties waren optioneel op sommige modellen van het System/360. De modellen waren echter opwaarts compatibel en de meeste waren ook neerwaarts compatibel. Het System/360 was ook de eerste computer die op grote schaal werd gebruikt met speciale hardwarevoorzieningen voor het gebruik van besturingssystemen. Hiertoe behoorden supervisor- en applicatiemodusprogramma’s en instructies, alsmede ingebouwde geheugenbeveiligingsfaciliteiten. Hardware geheugenbeveiliging werd aangebracht om het besturingssysteem tegen de gebruikersprogramma’s (taken) en gebruikerstaken tegen elkaar te beschermen. De nieuwe machine had ook een grotere adresruimte dan de oudere mainframes, 24 bits voor de adressering van 8-bit bytes tegenover de gebruikelijke 18 bits voor de adressering van 36-bit woorden.
De kleinere modellen in de System/360 lijn (b.v. de 360/30) waren bedoeld om de 1400 serie te vervangen en tegelijk een gemakkelijker upgrade pad te bieden naar de grotere 360s. Om de overgang van de tweede generatie naar de nieuwe lijn te vergemakkelijken, gebruikte IBM de microprogrammeercapaciteit van de 360 om de meer populaire oudere modellen te emuleren. Zo konden 360/30’s met deze extra kostfunctie 1401 programma’s draaien en de grotere 360/65’s 7094 programma’s. Om oude programma’s te kunnen gebruiken, moest de 360 worden stopgezet en opnieuw opgestart in emulatiemodus. Veel klanten bleven hun oude software gebruiken en een van de kenmerken van het latere System/370 was de mogelijkheid om over te schakelen naar emulatie modus en terug onder controle van het besturingssysteem.
Besturingssystemen voor de System/360 familie omvatten OS/360 (met PCP, MFT, en MVT), BOS/360, TOS/360, en DOS/360.
Het System/360 ontwikkelde zich later tot het System/370, het System/390, en de 64-bit zSeries, System z, en zEnterprise machines. System/370 introduceerde mogelijkheden voor virtueel geheugen in alle modellen behalve de allereerste System/370 modellen; de OS/VS1 variant van OS/360 MFT, de OS/VS2 (SVS) variant van OS/360 MVT, en de DOS/VS variant van DOS/360 werden geïntroduceerd om gebruik te maken van de mogelijkheden voor virtueel geheugen, gevolgd door MVS, dat, in tegenstelling tot de eerdere besturingssystemen met virtueel geheugen, afzonderlijke programma’s in afzonderlijke adresruimten liet draaien, in plaats van alle programma’s in een enkele virtuele adresruimte. Dankzij de mogelijkheden voor virtueel geheugen kon het systeem ook virtuele machines ondersteunen; de VM/370 hypervisor kon een of meer virtuele machines draaien waarop standaard System/360 of System/370 besturingssystemen of het single-user Conversational Monitor System (CMS) draaiden. Een time-sharing VM systeem kon meerdere virtuele machines draaien, één per gebruiker, waarbij elke virtuele machine een instantie van CMS draaide.