Todo esto cambió con el anuncio del System/360 (S/360) en abril de 1964. El System/360 era una serie única de modelos compatibles para uso comercial y científico. El número «360» sugería un sistema informático de «360 grados» o «integral». El System/360 incorporaba características que anteriormente sólo estaban presentes en la línea comercial (como la aritmética decimal y el direccionamiento de bytes) o en la línea de ingeniería y científica (como la aritmética de punto flotante). Algunas de las unidades aritméticas y características de direccionamiento eran opcionales en algunos modelos del System/360. Sin embargo, los modelos eran compatibles hacia arriba y la mayoría eran también compatibles hacia abajo. El System/360 fue también el primer ordenador de uso generalizado que incluyó disposiciones de hardware dedicadas al uso de sistemas operativos. Entre ellas se encontraban programas e instrucciones de modo supervisor y de aplicación, así como facilidades de protección de memoria incorporadas. La protección de memoria por hardware se proporcionó para proteger el sistema operativo de los programas de usuario (tareas) y las tareas de usuario entre sí. La nueva máquina también tenía un espacio de direcciones más grande que el de los antiguos mainframes, 24 bits para direccionar bytes de 8 bits frente a los típicos 18 bits para direccionar palabras de 36 bits.
Los modelos más pequeños de la línea System/360 (por ejemplo, el 360/30) estaban destinados a sustituir a la serie 1400, al tiempo que proporcionaban una vía de actualización más fácil para los 360 más grandes. Para facilitar la transición de la segunda generación a la nueva línea, IBM utilizó la capacidad de microprogramación del 360 para emular los modelos antiguos más populares. Así, los 360/30 con esta característica de coste añadido podían ejecutar 1401 programas y los 360/65 más grandes podían ejecutar 7094 programas. Para ejecutar los programas antiguos, había que detener el 360 y reiniciarlo en modo de emulación. Muchos clientes siguieron utilizando su antiguo software y una de las características del posterior System/370 era la posibilidad de cambiar al modo de emulación y volver a él bajo el control del sistema operativo.
Los sistemas operativos de la familia System/360 incluían OS/360 (con PCP, MFT y MVT), BOS/360, TOS/360 y DOS/360.
El System/360 evolucionó posteriormente hacia el System/370, el System/390 y las máquinas de 64 bits zSeries, System z y zEnterprise. System/370 introdujo las capacidades de memoria virtual en todos los modelos, excepto en los primeros modelos de System/370; la variante OS/VS1 de OS/360 MFT, la variante OS/VS2 (SVS) de OS/360 MVT y la variante DOS/VS de DOS/360 se introdujeron para utilizar las capacidades de memoria virtual, seguidas por MVS, que, a diferencia de los anteriores sistemas operativos de memoria virtual, ejecutaba programas separados en espacios de direcciones separados, en lugar de ejecutar todos los programas en un único espacio de direcciones virtual. Las capacidades de memoria virtual también permitieron que el sistema soportara máquinas virtuales; el hipervisor VM/370 podía ejecutar una o más máquinas virtuales que ejecutaban sistemas operativos estándar System/360 o System/370 o el Sistema de Monitorización Conversacional (CMS) monopuesto. Un sistema VM de tiempo compartido podía ejecutar múltiples máquinas virtuales, una por usuario, con cada máquina virtual ejecutando una instancia de CMS.