Comment les serveurs d'IA et les cartes réseau intelligentes peuvent-ils prendre en charge les charges de travail d'IA en périphérie ?

Les charges de travail d'IA en périphérie nécessitent à la fois des ressources de calcul et un déplacement efficace des données. Serveur IA fournit la plateforme informatique pour les applications d'IA, tandis que Carte réseau intelligente Elle peut gérer des fonctions spécifiques de réseau, de stockage et de sécurité en dehors du processeur hôte. La combinaison de ces deux couches matérielles permet de mieux séparer le calcul applicatif du traitement de l'infrastructure.

L'intérêt de cette combinaison dépend de la charge de travail, du trafic réseau, de la connectivité PCIe et des interfaces requises. Plutôt que de considérer un serveur d'IA et une carte réseau intelligente comme des périphériques interchangeables, il est plus pertinent d'examiner comment leurs fonctions s'articulent au sein d'une architecture de calcul en périphérie.

Que fournit un serveur d'IA ?

Un serveur d'IA fournit l'environnement informatique nécessaire aux charges de travail exigeant d'importantes ressources de traitement. Le site web répertorie Serveur d'IA multi-GPU des produits au sein de sa gamme de produits Cloud & Datacenter, ainsi que des solutions de serveurs universelles.

Pour le déploiement d'une IA en périphérie, le choix d'un serveur ne se limite pas à sa capacité de calcul. La mémoire, le stockage, l'extension PCIe, les interfaces réseau, l'alimentation et le refroidissement peuvent également influencer la circulation des données au sein du système.

On peut considérer une architecture typique comme :

Sources de données → Réseau → Serveur d'IA → Application d'IA

Le serveur d'IA est utilisé pour le traitement côté application, tandis que la couche réseau gère la communication entre la plateforme informatique et les appareils connectés.

Cette distinction est importante lorsqu'un système périphérique reçoit des données provenant de sources multiples et traite ces informations localement.

Quoi Fait Une poignée NIC intelligente ?

UN Carte réseau intelligente Il combine la connectivité réseau avec des capacités de traitement supplémentaires. Selon sa configuration, certaines fonctions de réseau, de stockage et de sécurité peuvent être déportées du système hôte.

La gamme de cartes réseau intelligentes (Smart NIC) proposée sur le site web inclut des cartes d'accélération dotées d'interfaces Ethernet haut débit et PCIe. La série NR06, par exemple, est disponible en configurations 10 GbE SFP+ ou 25 GbE SFP28 selon le modèle.

Les informations publiées couvrent également les fonctions de déchargement réseau, de stockage et de sécurité. Cela confère à la carte réseau intelligente un rôle qui dépasse la connectivité réseau conventionnelle.

Dans un système d'IA embarqué, cette relation peut être représentée comme suit :

Trafic réseau → Carte réseau intelligente → Serveur d'IA

La carte réseau intelligente (Smart NIC) gère les tâches d'infrastructure désignées, tandis que la plateforme hôte reste responsable de la charge de travail principale de l'application.

Comment IA Les serveurs et les cartes réseau intelligentes fonctionnent-ils ensemble ?

Ces deux produits remplissent des fonctions différentes au sein du même système.

Un Serveur IA fournit l'environnement informatique pour les applications d'IA. Carte réseau intelligente assure la connectivité réseau et peut traiter des fonctions d'infrastructure spécifiques.

Une architecture combinée peut donc être structurée comme suit :

Capteurs / Appareils connectés
↓
Réseau Ethernet
↓
Carte réseau intelligente
↓
Connexion hôte PCIe
↓
Serveur IA
↓
Application d'IA

Cette division peut s'avérer utile lorsqu'un système périphérique doit gérer à la fois des applications gourmandes en calcul et un trafic réseau important.

La carte réseau intelligente n'a pas besoin d'exécuter elle-même l'application d'IA. Elle peut se charger des tâches de réseau, de stockage ou de sécurité appropriées, tandis que le serveur se concentre sur les tâches applicatives.

Comment Peut Les cartes réseau intelligentes déchargent-elles le traitement ?

Le trafic réseau peut consommer les ressources de l'hôte par le biais du traitement des paquets, des opérations de sécurité, du déplacement des données et d'autres fonctions d'infrastructure.

Le site web décrit l'architecture Smart NIC avec des capacités de déchargement pour les fonctions de réseau, de stockage et de sécurité, ainsi que la séparation entre le traitement du plan de contrôle et celui du plan de données.

Pour un serveur d'IA, cette séparation peut s'avérer pertinente lorsque le trafic réseau et le traitement des applications se disputent les ressources de l'hôte.

Le chemin de traitement peut être considéré comme suit :

Données entrantes → Carte réseau intelligente → Transfert/traitement des données → Serveur d'IA

L'objectif n'est pas de décharger systématiquement le processeur de toutes les tâches d'infrastructure. Le système peut plutôt attribuer des fonctions adaptées à la carte réseau intelligente en fonction de ses capacités matérielles et de son architecture logicielle.

Cela fait des exigences en matière de charge de travail un critère important à prendre en compte lors du choix d'une carte réseau intelligente.

Pourquoi Fait L'importance du PCIe ?

PCIe assure la connexion hôte entre la carte réseau intelligente et la plateforme serveur.

Les spécifications du produit NR06 mentionnent des interfaces PCIe 4.0 ×8 et PCIe 3.0 ×8 via MCIO, ainsi qu'une connexion à doigts d'or PCIe 4.0 ×8.

Pour un serveur d'IA équipé d'une carte réseau intelligente (Smart NIC), l'interface PCIe doit correspondre à la plateforme hôte et aux exigences de transfert de données prévues.

Lors de l'évaluation d'un carte d'interface réseau PCIe Pour résoudre ce problème, plusieurs facteurs doivent être examinés conjointement :

• Génération PCIe
• Configuration des voies
• Compatibilité de l'hôte
• Bande passante du réseau
• Nombre de ports réseau
• exigences en matière de transfert de données

La vitesse du réseau ne détermine pas à elle seule les performances du système dans son ensemble. La connexion entre la carte réseau intelligente et la plateforme hôte fait également partie intégrante du chemin de données global.

Comment Faire Les interfaces Ethernet ont-elles un impact sur l'IA en périphérie ?

La bande passante du réseau devient importante lorsqu'un système d'IA reçoit de grandes quantités d'informations provenant d'équipements connectés.

La série NR06 propose, selon le modèle, des configurations prenant en charge les interfaces 10 GbE SFP+ et 25 GbE SFP28. Ses spécifications publiées mentionnent également la prise en charge de l'Ethernet haut débit et du protocole RDMA dans les configurations concernées.

L'architecture du réseau peut donc être représentée comme suit :

Appareils connectés → Ethernet haut débit → Carte réseau intelligente → Serveur IA

Le choix de l'interface doit se fonder sur les besoins réels en trafic. Le nombre de ports, le type d'Ethernet, la bande passante, les ressources PCIe et le flux de données attendu sont autant d'éléments qui influencent la configuration appropriée.

Par exemple, un système comportant plusieurs sources de données à large bande passante peut avoir des exigences réseau différentes de celles d'une installation périphérique plus petite avec un trafic local limité.

Comment Fait Cette technologie Fit Edge Computing ?

Informatique de périphérie Le site web identifie l'informatique de périphérie parmi ses axes technologiques et applicatifs et aborde l'inférence IA en périphérie.

Dans ce type d'architecture, la carte réseau intelligente (Smart NIC) peut faire partie de la couche de traitement réseau, tandis que le serveur d'IA fournit la couche de calcul applicative :

Sources de données → Carte réseau intelligente → Serveur d'IA → Inférence locale

Le traitement des données au plus près de leur source peut s'avérer pertinent lorsque l'analyse locale, les conditions du réseau ou les exigences de transfert de données rendent le traitement centralisé moins adapté à un déploiement particulier.

L'architecture réelle dépend de facteurs tels que le volume de données, les exigences de traitement, la disponibilité du réseau et l'environnement applicatif.

Quand est-ce un Une carte réseau intelligente est-elle utile avec un serveur d'IA ?

Il peut être judicieux d'évaluer une carte réseau intelligente (Smart NIC) lorsqu'un serveur d'IA doit également gérer un traitement réseau ou d'infrastructure important.

Informatique de périphérie industrielle

Les systèmes industriels peuvent générer des données à partir d'équipements connectés et de périphériques locaux. Un serveur d'IA peut traiter les charges de travail des applications tandis que la carte réseau intelligente assure la connectivité réseau et certaines fonctions de déchargement.

Bord Données Traitement

Lorsque les données doivent être traitées au plus près de leur source, la mise en réseau et le calcul deviennent des composantes étroitement liées d'une même infrastructure. Une carte réseau intelligente (Smart NIC) peut assurer l'interface réseau entre le trafic entrant et le système hôte.

Distribué IA de périphérie

Les déploiements en périphérie de réseau distribués peuvent utiliser plusieurs nœuds de calcul nécessitant un réseau haut débit. Une carte réseau intelligente peut assurer le traitement réseau tandis que le serveur d'IA gère les charges de travail applicatives.

Ces scénarios décrivent des architectures système possibles plutôt que des applications produit fixes. Le choix du matériel doit être adapté aux exigences de chaque déploiement.

Comment Devrait Un serveur d'IA et une carte réseau intelligente peuvent-ils être sélectionnés ?

La sélection doit commencer par la charge de travail et se poursuivre par l'analyse des interfaces matérielles.

1. Définir la charge de travail de l'IA

Déterminer le type de traitement requis, tel que l'inférence par IA ou toute autre analyse de données au niveau de l'application.

2. Identifier Réseau Exigences

Vérifiez le nombre d'appareils connectés, le trafic prévu, la bande passante requise et les types d'interfaces réseau.

3. Vérifier PCIe Compatibilité

Vérifiez que le serveur d'IA fournit une connexion PCIe adaptée à la carte réseau intelligente sélectionnée.

4. Révision Données Mouvement

Analysez comment les informations circulent entre les interfaces réseau, la mémoire, le stockage et les ressources applicatives.

5. Déterminer les besoins de déchargement

Déterminez si les fonctions de réseau, de stockage, de sécurité ou autres fonctions d'infrastructure sont adaptées au déchargement matériel.

6. Considérer le bord Environnement

Pour les déploiements en périphérie de réseau, la consommation d'énergie, le refroidissement, l'installation physique, la maintenance et les conditions de fonctionnement peuvent également influencer la configuration.

Tous les systèmes d'IA en périphérie ne requièrent pas la même configuration. Certaines charges de travail peuvent se contenter d'un serveur d'IA, tandis que d'autres peuvent tirer profit d'une carte réseau intelligente lorsque le traitement réseau devient une composante importante du système global.

La configuration finale doit refléter la relation réelle entre les besoins informatiques, le trafic réseau, les interfaces et les conditions de déploiement en périphérie.

FAQ

Que fait un serveur d'IA dans l'IA en périphérie de réseau ?

Il fournit l'environnement informatique nécessaire aux applications d'IA et au traitement local des données.

Que signifie un Intelligent Rien à faire?

Il assure la connectivité réseau et peut décharger le traitement spécifique de l'infrastructure.

Comment ça marche PCIe connecter une carte réseau intelligente à un serveur d'IA ?

PCIe assure la connexion hôte entre la carte réseau intelligente et la plateforme serveur.

Pourquoi combiner un Intelligent NIC avec serveur d'IA ?

Cette combinaison permet de séparer le traitement réseau des tâches de calcul au niveau applicatif.

Chaque bord IA Le système a-t-il besoin d'une carte réseau intelligente ?

Non. Cette exigence dépend du trafic réseau, du type de charge de travail et de l'architecture du système.