Tutto questo cambiò con l’annuncio del System/360 (S/360) nell’aprile 1964. Il System/360 era un’unica serie di modelli compatibili sia per uso commerciale che scientifico. Il numero “360” suggeriva un sistema informatico “a 360 gradi” o “a tutto tondo”. Il System/360 incorporava caratteristiche che erano state precedentemente presenti solo nella linea commerciale (come l’aritmetica decimale e l’indirizzamento a byte) o nella linea ingegneristica e scientifica (come l’aritmetica in virgola mobile). Alcune delle unità aritmetiche e delle caratteristiche di indirizzamento erano opzionali su alcuni modelli del System/360. Comunque, i modelli erano compatibili verso l’alto e la maggior parte erano anche compatibili verso il basso. Il System/360 fu anche il primo computer in largo uso ad includere disposizioni hardware dedicate all’uso di sistemi operativi. Tra queste c’erano programmi e istruzioni in modalità supervisore e applicazione, così come strutture integrate di protezione della memoria. La protezione hardware della memoria era fornita per proteggere il sistema operativo dai programmi utente (task) e i task utente l’uno dall’altro. La nuova macchina aveva anche uno spazio di indirizzamento più grande rispetto ai vecchi mainframe, 24 bit che indirizzavano byte da 8 bit contro i tipici 18 bit che indirizzavano parole da 36 bit.
I modelli più piccoli della linea System/360 (ad esempio il 360/30) erano destinati a sostituire la serie 1400 fornendo al contempo un percorso di aggiornamento più facile ai 360 più grandi. Per facilitare la transizione dalla seconda generazione alla nuova linea, IBM usò la capacità di microprogrammazione della 360 per emulare i più popolari vecchi modelli. Così i 360/30 con questa caratteristica di costo aggiunto potevano eseguire 1401 programmi e i 360/65 più grandi potevano eseguire 7094 programmi. Per eseguire i vecchi programmi, la 360 doveva essere fermata e riavviata in modalità emulazione. Molti clienti continuavano a usare il loro vecchio software e una delle caratteristiche del successivo System/370 era la possibilità di passare alla modalità di emulazione e tornare sotto il controllo del sistema operativo.
I sistemi operativi per la famiglia System/360 includevano OS/360 (con PCP, MFT e MVT), BOS/360, TOS/360 e DOS/360.
Il System/360 si evolse successivamente nel System/370, nel System/390 e nelle macchine zSeries, System z e zEnterprise a 64 bit. Il System/370 introdusse le capacità della memoria virtuale in tutti i modelli diversi dai primissimi System/370; la variante OS/VS1 di OS/360 MFT, la variante OS/VS2 (SVS) di OS/360 MVT, e la variante DOS/VS di DOS/360 furono introdotte per usare le capacità della memoria virtuale, seguite da MVS, che, a differenza dei precedenti sistemi operativi a memoria virtuale, eseguiva programmi separati in spazi di indirizzi separati, piuttosto che eseguire tutti i programmi in un unico spazio di indirizzi virtuale. Le capacità di memoria virtuale hanno anche permesso al sistema di supportare le macchine virtuali; l’hypervisor VM/370 avrebbe eseguito una o più macchine virtuali che eseguivano sistemi operativi standard System/360 o System/370 o il Conversational Monitor System (CMS) a utente singolo. Un sistema VM in time-sharing potrebbe eseguire più macchine virtuali, una per utente, con ogni macchina virtuale che esegue un’istanza di CMS.