Allt detta förändrades med tillkännagivandet av System/360 (S/360) i april 1964. System/360 var en enda serie kompatibla modeller för både kommersiell och vetenskaplig användning. Siffran ”360” antyder ett ”360 graders” eller ”all-around” datorsystem. System/360 innehöll funktioner som tidigare endast hade funnits i antingen den kommersiella serien (t.ex. decimalaritmetik och byteadressering) eller i den tekniska och vetenskapliga serien (t.ex. aritmetik med flytande punkter). Vissa av de aritmetiska enheterna och adresseringsfunktionerna var valfria på vissa modeller av System/360. Modellerna var dock uppåtkompatibla och de flesta var också nedåtkompatibla. System/360 var också den första dator som användes i stor skala och som innehöll särskilda hårdvaruåtgärder för användning av operativsystem. Bland dessa fanns program och instruktioner för supervisor- och programläge samt inbyggda minnesskyddsfunktioner. Hårdvaru-minnesskydd tillhandahölls för att skydda operativsystemet från användarprogrammen (uppgifter) och användaruppgifterna från varandra. Den nya maskinen hade också ett större adressutrymme än de äldre stordatorerna, 24 bitar som adresserar 8-bitars byte jämfört med typiska 18 bitar som adresserar 36-bitars ord.
De mindre modellerna i System/360-serien (t.ex. 360/30) var avsedda att ersätta 1400-serien samtidigt som de erbjöd en enklare uppgraderingsväg till de större 360:orna. För att underlätta övergången från den andra generationen till den nya serien använde IBM 360:ans mikroprogrammeringsförmåga för att emulera de mer populära äldre modellerna. 360/30:or med denna extra kostnadsfunktion kunde således köra 1401 program och de större 360/65:orna kunde köra 7094 program. För att köra gamla program måste 360:an stoppas och startas om i emuleringsläge. Många kunder fortsatte att använda sin gamla programvara och en av funktionerna i det senare System/370 var möjligheten att växla till emuleringsläge och tillbaka under styrning av operativsystemet.
Operativsystemen för System/360-familjen omfattade OS/360 (med PCP, MFT och MVT), BOS/360, TOS/360 och DOS/360.
System/360 utvecklades senare till System/370, System/390 och 64-bitarsmaskinerna zSeries, System z och zEnterprise. System/370 introducerade virtuella minnesfunktioner i alla modeller utom de allra första System/370-modellerna; OS/VS1-varianten av OS/360 MFT, OS/VS2-varianten (SVS) av OS/360 MVT och DOS/VS-varianten av DOS/360 introducerades för att använda de virtuella minnesfunktionerna, följt av MVS, som till skillnad från tidigare operativsystem med virtuellt minne körde separata program i separata adressutrymmen, i stället för att köra alla program i ett enda virtuellt adressutrymme. Med hjälp av det virtuella minnet kunde systemet också stödja virtuella maskiner; VM/370-hypervisorn körde en eller flera virtuella maskiner som körde antingen vanliga System/360- eller System/370-operativsystem eller Conversational Monitor System (CMS) för enanvändare. Ett VM-system med tidsdelning kunde köra flera virtuella maskiner, en per användare, där varje virtuell maskin körde en instans av CMS.