Déploiement de modèles de fondation propriétaires avec la classe ModelBuilder

Les modèles propriétaires doivent être déployés à l'aide des informations du package de modèle après s'être abonné au modèle dans AWS Marketplace. Pour plus d'informations sur SageMaker l'IA et AWS Marketplace, consultez la section Acheter et vendre des algorithmes et des modèles Amazon SageMaker AI dans AWS Marketplace. Pour trouver AWS Marketplace des liens vers les derniers modèles propriétaires, consultez la section Premiers pas avec Amazon SageMaker JumpStart.

Après vous être abonné au modèle de votre choix AWS Marketplace, vous pouvez déployer le modèle de base à l'aide du SageMaker Python SDK. Référencez le package de modèle souscrit par son ARN et déployez-le avecModelBuilder.

Par exemple, le code suivant déploie un JumpStart modèle à l'aide de Jurassic-2 Jumbo Instrut d'AI21 Labs :

from sagemaker.core.resources import ModelPackage
from sagemaker.serve import ModelBuilder

model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"

# Reference the subscribed Marketplace model package by its ARN.
model_package = ModelPackage.get(model_package_name=model_package_arn)

# Build and deploy with ModelBuilder. Marketplace packages do not carry
# JumpStart hosting configurations, so specify an instance_type explicitly
# (choose one from the package's supported real-time inference instance types).
model_builder = ModelBuilder(
    model=model_package,
    role_arn="arn:aws:iam::123456789012:role/SageMakerExecutionRole",
    instance_type="ml.g5.12xlarge",
)
model = model_builder.build()
endpoint = model_builder.deploy()

Pour obtenir des exemples étape par étape, recherchez et exécutez le bloc-notes associé au modèle de base propriétaire de votre choix dans SageMaker Studio Classic. Pour plus d’informations, consultez Utiliser des modèles de base dans Amazon SageMaker Studio Classic. Pour plus d'informations sur le SageMaker Python SDK, consultez ModelBuilder la documentation du SageMaker Python SDK sur le site Web Read the Docs.