Toate acestea s-au schimbat odată cu anunțarea System/360 (S/360) în aprilie 1964. System/360 a fost o serie unică de modele compatibile atât pentru uz comercial cât și științific. Numărul „360” sugera un sistem de calculatoare de „360 de grade”, sau „all-around”. System/360 a încorporat caracteristici care anterior fuseseră prezente fie pe linia comercială (cum aritmetica zecimală și adresarea pe octeți), fie pe linia tehnică și științifică (cum aritmetica cu virgulă mobilă). Unele dintre unitățile aritmetice și caracteristicile de adresare erau opționale pe unele modele de System/360. Cu toate acestea, modelele erau compatibile în sus și majoritatea erau, de asemenea, compatibile în jos. System/360 a fost, de asemenea, primul calculator utilizat pe scară largă care a inclus prevederi hardware dedicate pentru utilizarea sistemelor de operare. Printre acestea se numărau programe și instrucțiuni pentru modul supervizor și modul aplicație, precum și facilități integrate de protecție a memoriei. Protecția hardware a memoriei a fost furnizată pentru a proteja sistemul de operare de programele (sarcinile) utilizatorului și sarcinile utilizatorului între ele. Noua mașină avea, de asemenea, un spațiu de adresare mai mare decât vechile mainframe-uri, 24 de biți adresând octeți de 8 biți față de 18 biți obișnuiți adresând cuvinte de 36 de biți.
Modelurile mai mici din linia System/360 (de exemplu, 360/30) au fost destinate să înlocuiască seria 1400, oferind în același timp o cale de upgrade mai ușoară către cele mai mari 360. Pentru a ușura tranziția de la a doua generație la noua linie, IBM a folosit capacitatea de microprogramare a lui 360 pentru a emula cele mai populare modele mai vechi. Astfel, modelele 360/30 cu această caracteristică cu costuri suplimentare puteau rula programe 1401, iar cele mai mari 360/65 puteau rula programe 7094. Pentru a rula programe vechi, 360 trebuia oprit și repornit în modul de emulare. Mulți clienți au continuat să folosească programele vechi, iar una dintre caracteristicile ultimului System/370 a fost posibilitatea de a trece în modul de emulare și înapoi sub controlul sistemului de operare.
Sistemele de operare pentru familia System/360 au inclus OS/360 (cu PCP, MFT și MVT), BOS/360, TOS/360 și DOS/360.
System/360 a evoluat ulterior în System/370, System/390 și în mașinile zSeries, System z și zEnterprise pe 64 de biți. System/370 a introdus capacitățile de memorie virtuală în toate modelele, cu excepția primelor modele System/370; varianta OS/VS1 a OS/360 MFT, varianta OS/VS2 (SVS) a OS/360 MVT și varianta DOS/VS a DOS/360 au fost introduse pentru a utiliza capacitățile de memorie virtuală, urmate de MVS, care, spre deosebire de sistemele de operare cu memorie virtuală anterioare, a rulat programe separate în spații de adrese separate, în loc să ruleze toate programele într-un singur spațiu de adrese virtuale. Capacitățile de memorie virtuală au permis, de asemenea, ca sistemul să suporte mașini virtuale; hipervizorul VM/370 ar rula una sau mai multe mașini virtuale care ar rula fie sistemele de operare standard System/360 sau System/370, fie sistemul Conversational Monitor System (CMS) pentru un singur utilizator. Un sistem VM cu partajare de timp ar putea rula mai multe mașini virtuale, una pentru fiecare utilizator, fiecare mașină virtuală rulând o instanță de CMS.