Alt dette ændrede sig med annonceringen af System/360 (S/360) i april, 1964. System/360 var en enkelt serie af kompatible modeller til både kommerciel og videnskabelig brug. Tallet “360” antydede et “360 graders” eller “all-around” computersystem. System/360 indeholdt funktioner, som tidligere kun havde været til stede i enten den kommercielle serie (f.eks. decimalaritmetik og byteadressering) eller den tekniske og videnskabelige serie (f.eks. flydende punktaritmetik). Nogle af de aritmetiske enheder og adresseringsfunktioner var valgfrie på nogle modeller af System/360. Men alle modeller var opadkompatible og de fleste var også nedadkompatible. System/360 var også den første computer i udbredt brug, der omfattede dedikerede hardwarebetingelser til brug af styresystemer. Blandt disse var supervisor- og programtilstandsprogrammer og instruktioner samt indbyggede hukommelsesbeskyttelsesfaciliteter. Hardwarehukommelsesbeskyttelse blev indført for at beskytte operativsystemet mod brugerprogrammerne (tasks) og brugeropgaverne mod hinanden. Den nye maskine havde også et større adresseområde end de ældre mainframes, nemlig 24 bit til adressering af 8-bit bytes i stedet for typisk 18 bit til adressering af 36-bit ord.
De mindre modeller i System/360-linjen (f.eks. 360/30) skulle erstatte 1400-serien og samtidig give en lettere opgraderingsvej til de større 360’ere. For at lette overgangen fra den anden generation til den nye serie brugte IBM 360’erens mikroprogrammeringsmuligheder til at emulere de mere populære ældre modeller. Således kunne 360/30’ere med denne ekstra omkostningsfunktion køre 1401-programmer, og de større 360/65’ere kunne køre 7094-programmer. For at køre gamle programmer skulle 360’eren standses og genstartes i emuleringstilstand. Mange kunder fortsatte med at bruge deres gamle software, og en af funktionerne i det senere System/370 var muligheden for at skifte til emuleringstilstand og tilbage igen under styring af operativsystemet.
Bedriftssystemerne til System/360-familien omfattede OS/360 (med PCP, MFT og MVT), BOS/360, TOS/360 og DOS/360.
System/360 udviklede sig senere til System/370, System/390 og 64-bit zSeries-, System z- og zEnterprise-maskinerne. System/370 indførte virtuelle hukommelsesfunktioner i alle andre modeller end de allerførste System/370-modeller; OS/VS1-varianten af OS/360 MFT, OS/VS2-varianten (SVS) af OS/360 MVT og DOS/VS-varianten af DOS/360 blev indført for at udnytte de virtuelle hukommelsesfunktioner, efterfulgt af MVS, som i modsætning til de tidligere operativsystemer med virtuel hukommelse kørte separate programmer i separate adresseområder i stedet for at køre alle programmer i et enkelt virtuelt adresseområde. Mulighederne for virtuel hukommelse gjorde det også muligt for systemet at understøtte virtuelle maskiner; VM/370-hypervisoren kunne køre en eller flere virtuelle maskiner, der enten kørte standard System/360- eller System/370-operativsystemer eller CMS-systemet (Conversational Monitor System) til en enkeltbruger. Et VM-system med tidsdeling kunne køre flere virtuelle maskiner, én pr. bruger, hvor hver virtuel maskine kørte en instans af CMS.