A korai számítógépek fix programmal rendelkeztek, csak azt az egy feladatot tudták elvégezni, amire építették. Például a számológép is egy számítógép, de programja csak matematikai műveletek elvégzését teszi lehetővé, és teljesen alkalmatlan szövegszerkesztésre, vagy játékok futtatására. Az első gépeket pont ezért nem is programozták, hanem tervezték. Ezt a rendszert váltotta le Neumann.
CPU Memória Perifériák | | | ===================== <- Busz
A Neumann elv egyik alap köve, hogy a CPU-t és a memóriát külön választjuk. Ugyanakkor ez képzi a szűk keresztmetszetet a rendszerben, mert az őket összekötő busz adatátviteli sebessége erőssen korlátozott, és a memória mennyiségéhez viszonyítva szinte elhanyagolható. Ez jelentősen rontja a számítási sebességet, ha a processzornak nagy mennyiségű adaton kell kevés műveletet elvégeznie. A CPU éppen ezért folyamatosan várakozásra van kényszerítve, amíg az adat a memóriába, vagy memóriából megérkezik. Ahogy a processzorok sebessége, és a memóriák mérete sokkal nagyobb ütemben fejlődött, mint a közöttük lévő busz, ez a szűk keresztmetszet egyre számottevőbbé vált.