Tout cela a changé avec l’annonce du System/360 (S/360) en avril 1964. Le System/360 était une série unique de modèles compatibles pour un usage commercial et scientifique. Le chiffre « 360 » suggère un système informatique « à 360 degrés » ou « tout autour ». Le System/360 intégrait des fonctions qui n’existaient auparavant que sur la ligne commerciale (comme l’arithmétique décimale et l’adressage par octet) ou sur la ligne technique et scientifique (comme l’arithmétique à virgule flottante). Certaines des unités arithmétiques et des fonctions d’adressage étaient en option sur certains modèles du System/360. Cependant, les modèles étaient compatibles en amont et la plupart étaient également compatibles en aval. Le System/360 a également été le premier ordinateur largement utilisé à inclure des dispositions matérielles dédiées à l’utilisation de systèmes d’exploitation. Parmi celles-ci figuraient des programmes et des instructions en mode superviseur et en mode application, ainsi que des dispositifs intégrés de protection de la mémoire. La protection matérielle de la mémoire permettait de protéger le système d’exploitation des programmes (tâches) des utilisateurs et les tâches des utilisateurs entre elles. La nouvelle machine disposait également d’un espace d’adressage plus important que les anciens mainframes, 24 bits adressant des octets de 8 bits contre 18 bits typiques adressant des mots de 36 bits.
Les plus petits modèles de la gamme System/360 (par exemple, le 360/30) étaient destinés à remplacer la série 1400 tout en offrant une voie de mise à niveau plus facile vers les plus grands 360. Pour faciliter la transition entre la deuxième génération et la nouvelle ligne, IBM a utilisé la capacité de microprogrammation du 360 pour émuler les anciens modèles plus populaires. Ainsi, les 360/30 dotés de cette fonction supplémentaire pouvaient exécuter 1401 programmes et les 360/65 plus grands pouvaient exécuter 7094 programmes. Pour exécuter les anciens programmes, la 360 devait être arrêtée et redémarrée en mode émulation. De nombreux clients ont continué à utiliser leurs anciens logiciels et l’une des caractéristiques du dernier System/370 était la possibilité de passer en mode émulation et de revenir sous le contrôle du système d’exploitation.
Les systèmes d’exploitation de la famille System/360 comprenaient OS/360 (avec PCP, MFT et MVT), BOS/360, TOS/360 et DOS/360.
Le System/360 a ensuite évolué vers le System/370, le System/390 et les machines 64 bits zSeries, System z et zEnterprise. Le System/370 a introduit des capacités de mémoire virtuelle dans tous les modèles autres que les tout premiers modèles System/370 ; la variante OS/VS1 de l’OS/360 MFT, la variante OS/VS2 (SVS) de l’OS/360 MVT et la variante DOS/VS du DOS/360 ont été introduites pour utiliser les capacités de mémoire virtuelle, suivies par MVS qui, contrairement aux systèmes d’exploitation à mémoire virtuelle antérieurs, exécutait des programmes séparés dans des espaces d’adressage séparés, plutôt que d’exécuter tous les programmes dans un seul espace d’adressage virtuel. Les capacités de mémoire virtuelle ont également permis au système de prendre en charge des machines virtuelles ; l’hyperviseur VM/370 exécutait une ou plusieurs machines virtuelles exécutant soit des systèmes d’exploitation standard System/360 ou System/370, soit le système mono-utilisateur Conversational Monitor System (CMS). Un système VM à temps partagé pouvait exécuter plusieurs machines virtuelles, une par utilisateur, chaque machine virtuelle exécutant une instance de CMS.