それは1964年4月のSystem/360 (S/360) 発表で一変しました。 System/360は、業務用と科学用の両方に対応した1シリーズの互換機であった。 360」という数字は、「360度、オールラウンドなコンピューターシステム」を意味する。 System/360には、それまで商用ライン（10進数演算やバイトアドレッシングなど）か工学・科学ライン（浮動小数点演算など）のどちらかにしかなかった機能が盛り込まれていた。 演算装置やアドレッシング機能の一部は、System/360の一部のモデルでオプションとなっていた。 ただし、機種は上位互換性があり、ほとんどが下位互換性もあった。 System/360はまた、オペレーティングシステムを使用するための専用のハードウェア規定を含む、広く使用される最初のコンピュータであった。 その中には、スーパーバイザモードとアプリケーションモードのプログラムと命令、そしてメモリ保護機能が内蔵されていた。 ハードウェアによるメモリ保護は、オペレーティングシステムをユーザープログラム（タスク）から、またユーザータスク同士から保護するために提供された。 また、この新しいマシンは、古いメインフレームよりも大きなアドレス空間を持ち、36ビットワードをアドレスする一般的な18ビットに対して、8ビットバイトをアドレスする24ビットを備えていた。
System/360 ラインの小型モデル (例: 360/30) は、1400 シリーズを置き換える一方で、大型の 360 へのアップグレードパスを容易にすることを意図していました。 第2世代から新ラインへの移行をスムーズにするため、IBMは360のマイクロプログラミング機能を使用して、より人気のある旧モデルをエミュレートしました。 このため、360/30は1401プログラム、360/65は7094プログラムを走らせることができるようになり、コスト増となった。 古いプログラムを動かすには、一旦360を停止させ、エミュレーションモードで再起動させる必要があった。 多くの顧客は古いソフトウェアを使い続け、後のSystem/370の特徴の1つは、オペレーティングシステムの制御下でエミュレーションモードに切り替えたり戻したりできることだった。
System/360ファミリーのオペレーティング・システムには、OS/360 (PCP、MFT、MVT付き)、BOS/360、TOS/360、およびDOS/360が含まれます。
System/360はその後System/370、System/390、64ビットzSeries、System z、zEnterpriseマシンに発展しています。 System/370では、ごく初期のSystem/370を除くすべての機種で仮想メモリ機能が導入され、OS/360 MFTのOS/VS1、OS/360 MVTのOS/VS2（SVS）、DOS/360のDOS/VSが仮想メモリ機能を利用したものとなり、MVSではそれまでの仮想メモリOSと異なり全てのプログラムを単一の仮想アドレス空間で実行せず別々のアドレス空間で実行するものとなっていた。 VM/370ハイパーバイザーは、標準的なSystem/360やSystem/370オペレーティングシステム、またはシングルユーザーのConversational Monitor System（CMS）を実行する1つまたは複数の仮想マシンを実行することができた。 タイムシェアリングVMシステムは、ユーザーごとに1台の複数の仮想マシンを実行し、各仮想マシンはCMSのインスタンスを実行することができました
。