All das änderte sich mit der Ankündigung des System/360 (S/360) im April 1964. Das System/360 war eine einzige Serie kompatibler Modelle für den kommerziellen und wissenschaftlichen Gebrauch. Die Zahl „360“ deutete auf ein „360-Grad-“ oder „Rundum“-Computersystem hin. Das System/360 enthielt Funktionen, die zuvor nur in der kommerziellen Reihe (z. B. Dezimalarithmetik und Byte-Adressierung) oder in der technischen und wissenschaftlichen Reihe (z. B. Gleitkommaarithmetik) vorhanden waren. Einige der arithmetischen Einheiten und Adressierungsfunktionen waren bei einigen Modellen des System/360 optional. Die Modelle waren jedoch aufwärtskompatibel und die meisten auch abwärtskompatibel. Das System/360 war auch der erste weit verbreitete Computer, der über spezielle Hardwarevorrichtungen für die Verwendung von Betriebssystemen verfügte. Dazu gehörten Supervisor- und Anwendungsmodusprogramme und -befehle sowie integrierte Speicherschutzfunktionen. Der Hardware-Speicherschutz diente dazu, das Betriebssystem vor den Benutzerprogrammen (Tasks) und die Benutzer-Tasks voreinander zu schützen. Die neue Maschine verfügte auch über einen größeren Adressraum als die älteren Mainframes: 24 Bits adressieren 8-Bit-Bytes gegenüber den typischen 18 Bits, die 36-Bit-Wörter adressieren.
Die kleineren Modelle der System/360-Reihe (z. B. 360/30) sollten die 1400er-Serie ersetzen und gleichzeitig einen einfacheren Upgrade-Pfad zu den größeren 360ern bieten. Um den Übergang von der zweiten Generation zur neuen Linie zu erleichtern, nutzte IBM die Mikroprogrammierfähigkeit des 360, um die beliebteren älteren Modelle zu emulieren. So konnten die 360/30er mit dieser zusätzlichen Kostenfunktion 1401 Programme ausführen und die größeren 360/65er 7094 Programme. Um alte Programme auszuführen, musste der 360 angehalten und im Emulationsmodus neu gestartet werden. Viele Kunden benutzten ihre alte Software weiter, und eines der Merkmale des späteren System/370 war die Möglichkeit, unter Kontrolle des Betriebssystems in den Emulationsmodus und zurück zu wechseln.
Zu den Betriebssystemen der System/360-Familie gehörten OS/360 (mit PCP, MFT und MVT), BOS/360, TOS/360 und DOS/360.
Aus dem System/360 entwickelten sich später das System/370, das System/390 und die 64-Bit-Maschinen zSeries, System z und zEnterprise. System/370 führte virtuelle Speichermöglichkeiten in allen Modellen außer den allerersten System/370-Modellen ein; die OS/VS1-Variante von OS/360 MFT, die OS/VS2 (SVS)-Variante von OS/360 MVT und die DOS/VS-Variante von DOS/360 wurden eingeführt, um die virtuellen Speichermöglichkeiten zu nutzen, gefolgt von MVS, das im Gegensatz zu den früheren Betriebssystemen mit virtuellem Speicher getrennte Programme in getrennten Adressräumen ausführt, anstatt alle Programme in einem einzigen virtuellen Adressraum auszuführen. Der VM/370-Hypervisor führte eine oder mehrere virtuelle Maschinen aus, auf denen entweder Standard-System/360- oder System/370-Betriebssysteme oder das Conversational Monitor System (CMS) für Einzelbenutzer liefen. Ein Time-Sharing-VM-System konnte mehrere virtuelle Maschinen betreiben, eine pro Benutzer, wobei auf jeder virtuellen Maschine eine Instanz von CMS lief.