Das Internet wird auch als "Netzwerk von Netzwerken" bezeichnet: Es besteht aus vielen kleinen Netzwerken, die über Internet-Knoten miteinander verbunden sind.
Zu diesen Netzwerken gehören unter anderen
- Firmennetzwerke, über die alle Computer einer Firma verbunden sind,
- Providernetzwerke, an die die PCs der Kunden eines Internet-Providers angeschlossen sind und
- Universitätsnetzwerke.
An den Internet-Knoten werden die verschiedenen Netzwerke über leistungsstarke Verbindungen (Backbone) miteinander vernetzt. Ein solcher Internetknoten kann prinzipiell beliebig viele Netzwerke miteinander verbinden, so sind es beispielsweise durch DE-CIX, den größten Internet-Knoten Deutschlands in Frankfurt am Main mehr als hundert Netzwerke.
Schon in der Planung des ARPANET als dezentralem Netzwerk, das möglichst ausfallsicher sein sollte, lag die Ursache, dass es im heutigen Internet keinen Zentralrechner, keinen Internet-Knoten sowie keinen Ort gibt, an denen alle Verbindungen zusammenlaufen.
Diese geplante Dezentralität wurde jedoch auf admininistrativer Ebene des Internet nicht durchgängig eingehalten. Internet Corporation for Assigned Names and Numbers (ICANN)), die zuständige Organisation für die Pflege der Zuordnung von IP-Adressen auf Domain-Namen untersteht wenigstens indirekt dem Einfluss des US-Wirtschaftsministeriums und unterhält so genannte Root-Server in zahlreichen Ländern. Um den Einfluss der Vereinigten Staaten auf das Domain Name System einzugrenzen, wurde das freie Open Root Server Network aufgebaut.
Die netzartige Struktur sowie die Heterogenität des Internet sorgen für eine sehr hohe Ausfallsicherheit. Für die Kommunikation zwischen zwei Nutzern des Internet existieren meistens mehrere mögliche Kommunikationswege, und erst bei der tatsächlichen Datenübertragung wird entschieden, welcher Weg benutzt wird. Dabei können zwei hintereinander versendete Datenpakete beziehungsweise eine Anfrage und die Antwort je nach Auslastung auch verschiedene Kommunikationswege durchlaufen. Deshalb hat der Ausfall einer physikalischen Verbindung im Internet meistens keine gravierenden Auswirkungen, sondern kann durch die Verwendung alternativer Kommunikationswege kompensiert werden.
Privatpersonen greifen auf das Internet entweder über einen Schmalband- (zum Beispiel per Modem oder ISDN) oder Breitband-Zugang (zum Beispiel DSL) eines Internet-Providers zu. Firmen oder staatliche Einrichtungen sind häufig auch per Standleitung mit dem Internet verbunden. Die einzelnen Arbeitsplatzrechner erhalten dabei meistens eine private IP-Adresse, die per NAT maskiert wird. Auf diese Rechner kann aus dem Internet nicht direkt zugegriffen werden, was meistens auch aus Sicherheitsgründen erwünscht ist.