Tudo isso mudou com o anúncio do System/360 (S/360) em abril de 1964. O System/360 foi uma série única de modelos compatíveis tanto para uso comercial como científico. O número “360” sugeria um sistema de computador “360 graus”, ou “all-around”. O System/360 incorporava características que anteriormente estavam presentes apenas na linha comercial (como a aritmética decimal e o endereçamento de bytes) ou na linha de engenharia e científica (como a aritmética de ponto flutuante). Algumas das unidades aritméticas e funcionalidades de endereçamento eram opcionais em alguns modelos do Sistema/360. No entanto, os modelos eram compatíveis com ascendente e a maioria também era compatível com descendente. O System/360 foi também o primeiro computador em larga utilização a incluir provisões de hardware dedicado para o uso de sistemas operacionais. Entre estes estavam programas e instruções de supervisão e modo de aplicação, assim como instalações de protecção de memória incorporadas. A proteção da memória de hardware foi fornecida para proteger o sistema operacional dos programas do usuário (tarefas) e das tarefas do usuário uns dos outros. A nova máquina também tinha um espaço de endereço maior do que os mainframes mais antigos, 24 bits endereçando 8-bit bytes vs. um típico 18 bits endereçando 36-bit palavras.
Os modelos menores na linha System/360 (por exemplo, o 360/30) tinham a intenção de substituir a série 1400 e ao mesmo tempo fornecer um caminho de atualização mais fácil para os 360s maiores. Para facilitar a transição da segunda geração para a nova linha, a IBM usou a capacidade de microprogramação do 360 para emular os modelos mais populares e antigos. Assim, os 360/30s com este recurso de custo adicional poderiam executar programas 1401 e os 360/65s maiores poderiam executar programas 7094. Para executar programas antigos, o 360 tinha que ser parado e reiniciado em modo de emulação. Muitos clientes continuaram usando seu software antigo e uma das características do posterior System/370 era a capacidade de mudar para o modo de emulação e voltar ao controle do sistema operacional.
Os sistemas operacionais para a família System/360 incluíam OS/360 (com PCP, MFT e MVT), BOS/360, TOS/360, e DOS/360.
O System/360 mais tarde evoluiu para o System/370, o System/390, e as máquinas 64-bit zSeries, System z, e zEnterprise. O System/370 introduziu capacidades de memória virtual em todos os modelos diferentes dos primeiros modelos System/370; a variante OS/VS1 do OS/360 MFT, a variante OS/VS2 (SVS) do OS/360 MVT, e a variante DOS/VS do DOS/360 foram introduzidas para usar as capacidades de memória virtual, seguidas do MVS, que, ao contrário dos anteriores sistemas operacionais de memória virtual, executava programas separados em espaços de endereço separados, ao invés de executar todos os programas em um único espaço de endereço virtual. As capacidades de memória virtual também permitiram que o sistema suportasse máquinas virtuais; o VM/370 hypervisor executaria uma ou mais máquinas virtuais executando sistemas operacionais padrão System/360 ou System/370 ou o Sistema de Monitoramento Conversacional de usuário único (CMS). Um sistema VM de tempo compartilhado poderia rodar várias máquinas virtuais, uma por usuário, com cada máquina virtual rodando uma instância de CMS.