Ein Prozessor hat im Herzen eine Algorithmische Logische Einheit (ALU). Diese ist die tatsächlich rechnende Einheit. Sie nimmt immer zwei Operatoren und führt Berechnungen mit ihnen aus. Welche Berechnung ausgeführt werden soll sagen gewissen Flags der ALU. Die Flags sind von vorangegangen Berechnungen gesetzt.
Um eine komplizierte Berechnung auszuführen sind also viele Schritte notwendig. Die Information muss aus dem Speicher in den Zwischenspeicher der CPU geholt werden, dort muss sie in die Register geladen werden und dann berechnet werde. Die Schritte werden alle in die Pipeline der CPU aufgeteilt, und können so nacheinander abgearbeitet werden.
Es gibt viele Hierarchien von Speicher. Je weiter der Speicher weg von der ALU ist, desto langsamer, größer und billiger wird er. Ist die von der CPU benötigte Information nicht im Speicher, so muss sie von der nächst höheren Hierarchieeben geladen werden und die CPU hat nichts zu tun. Eine wartende CPU kostet Effizienz. Darum ist die Pipeling möglichst mit unabhängigen Operationen zu füllen, damit eine Berechnung nicht auf Informationen der Anderen warten muss.
Je schneller ein Prozessor ist, desto längere Wartepausen muss er mitunter einschieben. Höhere Schaltgeschwindigkeit führt auch zu mehr Stromverbrauch und aufwändigerer Kühlung.