Mindez megváltozott a System/360 (S/360) 1964. áprilisi bejelentésével. A System/360 egyetlen, kereskedelmi és tudományos felhasználásra szánt, kompatibilis modellekből álló sorozat volt. A “360” szám “360 fokos” vagy “mindenre kiterjedő” számítógépes rendszert sugallt. A System/360 olyan funkciókat épített be, amelyek korábban csak a kereskedelmi vonalon (például a decimális aritmetika és a bájtcímzés) vagy a műszaki és tudományos vonalon (például a lebegőpontos aritmetika) voltak jelen. Az aritmetikai egységek és a címzési funkciók némelyike opcionális volt a System/360 egyes modelljeiben. A modellek azonban felfelé kompatibilisek voltak, és a legtöbbjük lefelé is kompatibilis volt. A System/360 volt az első széles körben használt számítógép is, amely dedikált hardveres rendelkezéseket tartalmazott az operációs rendszerek használatára. Ezek közé tartoztak a supervisor és az alkalmazásmódú programok és utasítások, valamint a beépített memóriavédelmi lehetőségek. A hardveres memóriavédelem az operációs rendszert a felhasználói programoktól (taskoktól) és a felhasználói taskokat egymástól védte. Az új gép a régebbi mainframe-eknél nagyobb címtartománnyal is rendelkezett: 24 bit 8 bites bájtokat címzett, szemben a 36 bites szavak tipikus 18 bites címzésével.
A System/360 termékcsalád kisebb modelljei (pl. a 360/30) az 1400-as sorozatot voltak hivatottak leváltani, miközben könnyebb frissítési lehetőséget biztosítottak a nagyobb 360-asokhoz. A második generációról az új vonalra való átmenet zökkenőmentesítése érdekében az IBM a 360 mikroprogramozási képességét a népszerűbb régebbi modellek emulálására használta. Így az ezzel a többletköltséggel rendelkező 360/30-asok 1401-es programokat, a nagyobb 360/65-ösök pedig 7094-es programokat tudtak futtatni. A régi programok futtatásához a 360-at le kellett állítani és emulációs üzemmódban újra kellett indítani. Sok ügyfél továbbra is használta a régi szoftvereit, és a későbbi System/370 egyik jellemzője volt, hogy az emulációs üzemmódba és vissza lehetett váltani az operációs rendszer vezérlése alatt.
A System/360 család operációs rendszerei közé tartozott az OS/360 (PCP-vel, MFT-vel és MVT-vel), a BOS/360, a TOS/360 és a DOS/360.
A System/360 később a System/370, a System/390 és a 64 bites zSeries, System z és zEnterprise gépekké fejlődött. A System/370 a legelső System/370 modellek kivételével minden modellben bevezette a virtuális memória képességeit; az OS/360 MFT OS/VS1 változata, az OS/360 MVT OS/VS2 (SVS) változata és a DOS/360 DOS/VS változata a virtuális memória képességek használatára került bevezetésre, majd az MVS, amely a korábbi virtuális memóriás operációs rendszerekkel ellentétben különálló programokat futtatott külön címterekben, ahelyett, hogy az összes programot egyetlen virtuális címterében futtatta volna. A virtuális memória képességei lehetővé tették a rendszer számára a virtuális gépek támogatását is; a VM/370 hipervizor egy vagy több virtuális gépet futtatott, amelyeken vagy a szabványos System/360 vagy System/370 operációs rendszerek, vagy az egyfelhasználós Conversational Monitor System (CMS) futott. Egy időmegosztásos VM rendszer több virtuális gépet futtathatott, felhasználónként egyet, és minden virtuális gépen a CMS egy példánya futott.