To position itself in the emerging “AI factories” market, NetApp has chosen pNFS as its technical path. The extension to the NFS specification, which appeared in the early 2000s, is designed to improve parallel access by separating out the metadata server. That server can then distribute different data layouts to clients depending on the underlying systems.

NetApp has selected the Flex Files layout, which lets multiple NFS servers be aggregated under a single namespace. The company sees this as particularly well suited to AI factories, where it avoids the coordination overhead created by separate mount points. By contrast, it rejected the enterprise NAS “shared-everything” model, mainly because it does not provide this kind of disaggregation.

Lustre does support pNFS, but its metadata server remains monolithic. NetApp also dismissed the usual scaling approach of partitioning the namespace, arguing that it merely shifts the bottleneck elsewhere. Instead, it has favored a newer technology that has recently been added to the pNFS ecosystem: Lattice.

That choice also gives context to NetApp’s acquisition of PEAK:IO. Open sourced with support from the Linux Foundation, Lattice provides a user-space runtime built around a shared authority plane based on a RonDB cluster. This architecture makes scaling easier — up to 72 nodes — and enables ephemeral metadata server instances.

Storage orchestration is handled through direct RPC calls. At present, the engine implements the NFSv4.2/pNFS personality, but the longer-term goal is to make it a foundation for other distributed architectures as well.

With technical support from Los Alamos National Laboratory, the project has begun moving toward an open-core model. Several modules — including data restructuring, weighted distribution and tiering — are emerging under the influence of PEAK:IO, the startup now owned by NetApp.

The resulting platform, Novus, is intended to deliver more than 100 TB/s of aggregate bandwidth at zettabyte scale, with “near-linear” scaling. For now, data must reside on ONTAP arrays, with no SDS option yet available, and the metadata server runs on x86 hardware.

One important limitation of Lustre is that it requires a specific kernel to be maintained on each node. That constraint does not apply to pNFS, which is natively integrated into Linux.

Pour se positionner dans les « usines IA », NetApp a choisi sa voie : ce sera pNFS.

Cette extension de la spécification NFS a émergé au début des années 2000. Elle favorise les accès parallèles en désagrégeant le serveur de métadonnées.

Ce dernier peut communiquer aux clients différents layouts (agencements de données) en fonction des systèmes. NetApp a choisi celui dit Flex Files, qui permet d’agréger des serveurs NFS dans un même namespace. Une solution qu’il juge idéale à l’échelle des usines IA pour éviter la charge de coordination associée à des points de montage séparés.

L’option du NAS d’entreprise à architecture shared-everything a été écartée, essentiellement faute d’opérer cette désagrégation.

Lustre l’implémente*… mais le serveur de métadonnées est monolithique. La réponse classique pour passer à l’échelle – partitionner le namespace – n’a pas convaincu NetApp, qui estime qu’elle ne fait que décaler le goulet d’étranglement. Il lui a préféré une technologie qui s’est récement greffée à l’écosystème pNFS : Lattice.

L’acquisition de PEAK:IO prend tout son sens

Publié en source ouverte avec le soutien de la Fondation Linux, Lattice fournit un moteur d’exécution en espace utilisateur, articulé autour d’un plan d’autorité partagé (un cluster RonDB). Ces propriétés facilitent la mise à l’échelle – jusqu’à 72 nœuds – et ouvrent la voie à des instances de serveurs de métadonnées éphémères.

L’orchestration avec l’infrastructure de stockage repose sur des appels RPC direct. Le moteur implémente pour le moment la personnalité NFSv4.2/pNFS. L’objectif est d’en faire un socle pour d’autres architectures distribuées.

Avec le concours technique du laboratoire de Los Alamos, le projet a commencé à évoluer vers un modèle open core. Des modules (restructuration des données, répartition pondérée, hiérarchisation…) émergent sous l’impulsion d’une start-up : PEAK:IO. NetApp la connaît d’autant plus qu’il en a fait l’acquisition.

Novus est censé fournir plus de 100 To/s de bande passante agrégée, à une échelle de l’ordre du zettaoctet, avec un scaling « quasi linéaire ». Pour le moment, les données doivent résider sur des baies ONTAP (pas encore d’option SDS). Le serveur de métadonnées tourne sur du matériel x86.

À consulter en complément :

VAST Data s’approprie le calcul confidentiel sur GPU NVIDIA

AI gateway : la prochaine bataille des infrastructures IA

Stockage d’entreprise : les disques durs en phase de regain

Microsoft veut optimiser chaque token d’IA

AI gigafactories : les détails de l’appel d’offres

* Autre limite de Lustre : il exige un noyau spécifique à maintenir sur chaque nœud. Cette nécessité n’existe pas avec pNFS, intégré nativement dans Linux.

Illustration générée par IA

The post NetApp a choisi son camp pour investir les « usines IA » appeared first on Silicon.fr.