Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Ray sur SageMaker HyperPod
Ray est un framework unifié open source permettant de faire évoluer les applications AI et Python. Il fournit la couche de calcul pour le traitement parallèle. Vous n'avez donc pas besoin d'être un expert en systèmes distribués pour exécuter des tâches sur un cluster. Ray Core distribue le travail et les bibliothèques Ray AI couvrent le traitement des données, la formation distribuée, le réglage des hyperparamètres, l'apprentissage par renforcement et le service de modèles. Pour plus d'informations, consultez la section Présentation
Ray on SageMaker HyperPod exécute vos charges de travail Ray sur un HyperPod ordinateur orchestré par Amazon EKS, à l'aide de l'opérateur open source KubeRay . Votre code Ray, les API Ray et les ressources KubeRay personnalisées restent inchangés.
En restant parfaitement aligné sur l'open source Ray, il HyperPod ajoute des fonctionnalités autour de celui-ci au lieu de remplacer une partie quelconque de celui-ci :
-
Une interface Web spécialement conçue pour gérer les charges de travail Ray dans Amazon SageMaker Studio qui regroupe toutes les fonctionnalités ci-dessous sous une seule interface.
-
Développement interactif, dans lequel un JupyterLab éditeur de code ou une session IDE distante se rattache à un cluster Ray et
ray.init()se connecte. -
Accès sécurisé au tableau de bord Ray via un lien de navigateur authentifié, sans
kubectl port-forward. -
Un cache KV hiérarchisé géré qui réduit le délai de mise en place du premier jeton, le déploiement du JumpStart modèle et la gestion de la mise à l'échelle automatique de Karpenter pour Ray Serve.
-
Allocations de calcul en équipe, planification basée sur les priorités et prêt et emprunt de ressources informatiques inactives via la gouvernance des HyperPod tâches.
-
Les métriques Ray et les tableaux de bord Grafana sont fournis par le HyperPod module complémentaire Observability.
-
Formation résiliente avec restauration automatique des nœuds, détection des tâches bloquées et points de contrôle hiérarchisés au niveau de la couche d'infrastructure.
Vous pouvez adopter tout cela ou installer uniquement les fonctionnalités qui vous font défaut. Pour plus d'informations sur les deux approches, consultezPrise en main.
Conditions préalables
Ray on HyperPod nécessite un HyperPod cluster orchestré par Amazon EKS. Pour plus d'informations sur la création d'un tel système, consultezCréation d'un SageMaker HyperPod cluster avec l'orchestration Amazon EKS.
Régions
Ray on HyperPod est disponible partout Régions AWS où l'orchestration Amazon EKS est prise SageMaker HyperPod en charge. Pour la liste des régions, voirRégions AWS soutenu par SageMaker HyperPod.
