NPU: Der KI-Beschleuniger im Prozessor erklärt

Darum geht es in unserem Beitrag über NPUs:

• NPUs sind spezialisierte Chips für KI und maschinelles Lernen.
• Sie arbeiten bei KI-Aufgaben schneller und energieeffizienter als CPUs (herkömmliche Prozessoren) und GPUs (Grafikkarten).
• NPUs kommen in Smartphones, Smartwatches und Laptops zum Einsatz.
• Sie beschleunigen Funktionen und Tools wie Gesichtserkennung, Bildverbesserung und Sprachassistenten.
• NPUs schützen die Privatsphäre, indem sie Daten lokal statt in der Cloud verarbeiten.

Du fragst dich, wofür genau KI überhaupt steht? Informiere dich in unserem Beitrag: Was ist KI? Auf unserer KI-Seite findest du außerdem viele weitere Beiträge zum Thema.

Eine NPU – die Abkürzung steht für Neural Processing Unit – ist eine spezialisierte Hardware für künstliche Intelligenz (KI) und maschinelles Lernen. Stell dir vor, du hast einen Experten in deinem Computer oder Smartphone, der KI-Aufgaben wie Gesichts- und Spracherkennung oder Bildverarbeitung schnell und energieeffizient erledigt.

NPUs ähneln anderen bekannten Bauteilen wie Prozessoren (CPU) und Grafikeinheiten (GPU). Sie sind jedoch effizienter bei der Verarbeitung von KI-Algorithmen. NPUs sind speziell für die schnellen und parallelen Berechnungen beim maschinellen Lernen ausgelegt. Sie entlasten CPU und GPU und verbessern die Leistung in KI-Anwendungen.

Die smarten Chips können mehrere Billionen Operationen pro Sekunde (englisch „TOPS“) durchführen. Zum Beispiel erreicht die NPU des Apple-M4-Chips eine Geschwindigkeit von bis zu 38 TOPS. Die NPUs aus AMDs Ryzen-AI-300-Serie schaffen laut Hersteller bis zu 50 TOPS – das sind 50 Billionen Operationen pro Sekunde.

Warum braucht es neben CPUs und GPUs noch NPUs? Hier lohnt ein näherer Blick auf die Unterschiede:

CPU (Central Processing Unit)

Die CPU ist so etwas wie das Gehirn deines Computers. Sie übernimmt allgemeine Aufgaben wie die Verwaltung des Betriebssystems, das Starten von Programmen und das Ausführen von Skripten.

CPUs sind vielseitig und flexibel, was sie zu einem wichtigen Bestandteil eines jeden Computers macht. Sie arbeiten seriell, das heißt, sie erledigen Aufgaben nacheinander. Das macht sie besonders geeignet für komplexe, nicht parallele Berechnungen.

Allerdings sind CPUs bei KI-Aufgaben langsamer als NPUs.

GPU (Graphics Processing Unit)

Die GPU, auch Grafikeinheit genannt, wurde ursprünglich für die Grafikverarbeitung entwickelt. Sie kann viele Berechnungen gleichzeitig ausführen. Ein guter Gaming-PC ist in der Regel mit einer dedizierten Grafikkarte ausgestattet, deren hohe Rechenleistung macht sie ideal für grafikintensive Anwendungen wie Videospiele – aber auch für bestimmte KI-Aufgaben.

Hier erfährst du, wieso sich Grafikkarten gut für KI eignen. In einem kommenden Beitrag stellen wir die besten KI-Grafikkarten vor.

Allerdings verbrauchen GPUs oft mehr Energie und sind weniger spezialisiert auf bestimmte KI-Aufgaben als NPUs.

NPU (Neural Processing Unit)

Die NPU ist auf KI spezialisiert. Das heißt, sie ist optimiert für maschinelles Lernen und Inferenzaufgaben. Inferenz ist die Anwendung des gelernten Wissens (oft als „Modell“ bezeichnet) auf neue Daten. NPUs führen die hierfür erforderlichen Berechnungen besonders schnell und effizient durch.

Sie nutzen eine hohe Parallelisierung, um viele kleine Aufgaben gleichzeitig zu bearbeiten. Oft sind sie energieeffizienter als GPUs und in einzelnen Fällen bis zu 10.000-mal schneller. Das macht sie besonders geeignet für mobile Geräte, bei denen Leistung und Energieverbrauch gleichermaßen wichtig sind.

In vielen modernen Geräten sind CPU, GPU und NPU gemeinsam verbaut, auf einem sogenannten SoC (System on Chip). Chips mit einer NPU werden auch als KI-Prozessoren bezeichnet.

Du begegnest NPUs im Alltag häufiger, als du vielleicht denkst:

• Smartphones: Bereits 2017 führte Huawei mit dem Kirin 970 das erste Smartphone-SoC mit NPU ein. 2018 folgte Qualcomm mit dem Snapdragon 855. Heute haben die meisten Flaggschiff-Smartphones eine NPU, die oft unterschiedliche Bezeichnungen trägt: in Apples iPhones etwa „Neural Engine“ und in Googles Pixel-Smartphones „TPU“.
• Smartwatches: Die Apple Watch Series 9 verwendet den S9-Chip, der über eine integrierte NPU verfügt. Auch die Samsung Galaxy Watch 7 könnte laut Gerüchten 2024 mit eigener NPU erscheinen.
• Laptops: Mit den Chips vom Typ Intel Core Ultra und aus der AMD-Ryzen-8000-Serie erhielten jüngst auch die ersten Laptops eine leistungsstarke NPU. Wichtig sind ebenso die neuen ARM-Prozessoren für Laptops namens „Snapdragon X Plus“ und „Snapdragon X Elite“, die ebenso eine mächtige NPU enthalten. Sie sind zum Beispiel in den neuen Surface-Geräten von Microsoft verbaut und generell in den „Copilot+“ genannten Notebooks. In diesem Beitrag stellen wir die besten KI-Laptops vor.

Vielleicht denkst du: „Das klingt gut, aber wie hilft mir eine NPU konkret?“ Lass uns einige Beispiele anschauen:

Smartphones

Wenn du ein modernes Smartphone besitzt, profitierst du wahrscheinlich bereits von den Vorteilen einer NPU.

• Gesichtserkennung: Die NPU beschleunigt das Entsperren deines Geräts durch schnelle und präzise Erkennung deines Gesichts.
• Automatische Bildverbesserung: NPUs verbessern Bilder in deiner Kamera-App in Echtzeit, indem sie Farbkorrekturen und Anpassungen vornehmen.
• Sprachassistenten (z. B. Siri, Google Assistant): Dank NPUs arbeiten Sprachassistenten schneller und zuverlässiger, da sie deine Sprachkommandos effizienter verarbeiten und ausführen.
• Akku-Effizienz: NPUs sorgen dafür, dass all diese Funktionen weniger Strom verbrauchen. Somit verlängern sie die Laufzeit deines Geräts.

Laptops und Computer

Aktuell kommen NPUs in Laptops und Desktop-PCs hauptsächlich für Echtzeitaufgaben zur Verwendung, die KI nutzen. Beispiele dafür sind:

• Bildbearbeitung: Programme können Bilder in Echtzeit verbessern, indem sie Farben korrigieren oder die Haut glätten.
• Übersetzungsdienste: Dank schneller Sprachverarbeitung können Texte sofort übersetzt werden. Das ist besonders in Live-Chats und auf Reisen nützlich.
• Videokonferenzen: KI-Funktionen wandeln deine Stimme klar und deutlich in Text um. Sie blenden auch den Hintergrund aus und verfolgen deine Bewegungen, um die Kamera optimal auszurichten. Dafür sind „Windows Studio“-Effekte ein Beispiel.
• Generative KI auf dem Gerät berechnen: Mit einer starken NPU oder einer KI-Grafikkarte kannst du generative KIs wie Stable Diffusion direkt auf dem Gerät nutzen, ohne den üblichen Umweg über die Cloud.

Datensicherheit und Privatsphäre

NPUs tragen zur Datensicherheit bei, indem sie sensible Daten lokal auf deinem Gerät verarbeiten. Das reduziert die Notwendigkeit, Daten in die Cloud zu senden, und verringert das Risiko von Datenlecks und Hackerangriffen. So sind deine persönlichen Daten besser geschützt.

Konkret gibst du schließlich alle möglichen Informationen in KI-Chatbots ein, die Rückschlüsse auf deine Person ermöglichen. Wenn du dir etwa von einer KI bei den Schulaufgaben helfen lässt, wird daraus ersichtlich, dass du wahrscheinlich ein Schüler bist.

NPUs sind spezialisierte Chips, die für KI-Aufgaben und maschinelles Lernen entwickelt wurden. Im Vergleich zu normalen Prozessoren (CPUs) und Grafikchips (GPUs) können NPUs KI-Berechnungen schneller und energieeffizienter durchführen. Dadurch sind sie besonders geeignet für Anwendungen wie Gesichtserkennung und Sprachassistenten, bei denen es auf Geschwindigkeit ankommt.

Du findest NPUs heute schon in vielen Geräten, die du täglich nutzt – von Smartphones über Laptops bis zu Smartwatches. Dort sorgen sie dafür, dass KI-Funktionen flüssig laufen und wenig Strom verbrauchen. So hast du mehr Spaß an den smarten Extras und dein Akku hält länger durch.

Für einige anspruchsvolle KI-Aufgaben, etwa in der Forschung, sind dedizierte Grafikkarten aktuell noch die bessere Wahl. Aber NPUs werden immer leistungsstärker. Und wenn die Unterstützung durch Software weiter voranschreitet, können NPUs immer mehr KI-Aufgaben von der GPU übernehmen.

Langfristig wird sich jedoch noch zeigen, welches Bauteil für die meisten KI-Anwendungen die effizientere Lösung ist.

Tipp: In unserem Beitrag Microsoft Surface Laptops im Vergleich: Snapdragon X Elite vs. Plus vergleichen wir die beiden Prozessoren X Elite und Plus miteinander. Beide punkten mit einer integrierten NPU.