Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
Este documento hace referencia al portal de Microsoft Foundry (clásico).
Consulte la documentación de Microsoft Foundry (nuevo) para obtener información sobre el nuevo portal.
Importante
Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para obtener más información, vea Supplemental Terms of Use for Microsoft Azure Previews.
En este artículo, aprenderá a implementar un modelo de Microsoft Foundry como una implementación de API sin servidor. Algunos modelos del catálogo de modelos se pueden implementar como una implementación de API sin servidor. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.
Aunque la implementación de API sin servidor es una opción para implementar modelos de Foundry, se recomienda implementar modelos de Foundry en recursos de Foundry.
Nota:
Se recomienda implementar modelos de Microsoft Foundry en recursos de Foundry para que pueda consumir las implementaciones en el recurso a través de un único punto de conexión con la misma autenticación y esquema para generar inferencia. El punto de conexión sigue el Azure AI Model Inference API que admiten todos los modelos de Foundry. Para obtener información sobre cómo implementar un modelo foundry en los recursos de Foundry, consulte Adición y configuración de modelos a Foundry Models.
Prerrequisitos
Una suscripción Azure con un método de pago válido. Las suscripciones de Azure gratis o de prueba no funcionarán. Si no tiene una suscripción de Azure, cree un cuenta de Azure de pago para comenzar.
Si no tiene uno, cree un proyecto basado en hub.
Asegúrese de que la característica Implementar modelos en recursos de Foundry (versión preliminar) está desactivada en el portal de Foundry. Cuando esta característica está activada, las implementaciones de API sin servidor no están disponibles en el portal.
Captura de pantalla del portal de Foundry que muestra dónde deshabilitar la implementación en los recursos de Foundry.
Foundry Models from Partners and Community requieren acceso a Azure Marketplace, mientras que Foundry Models Sold Directly by Azure no tienen este requisito. Asegúrese de que tiene los permisos necesarios para suscribirse a ofertas de modelo en Azure Marketplace.
Controles de acceso basados en roles de Azure (Azure RBAC) se usan para conceder acceso a las operaciones en el portal de Foundry. Para realizar los pasos de este artículo, se debe asignar a la cuenta de usuario el rol de desarrollador de IA Azure en el grupo de recursos. Para obtener más información sobre los permisos, consulte Control de acceso basado en roles en el portal de Foundry.
- Puede usar cualquier explorador web compatible para navegar por Foundry.
Búsqueda del modelo en el catálogo de modelos
- Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).
- Si aún no está en el proyecto, selecciónelo.
- Seleccione Catálogo de modelos en el panel izquierdo.
- Models vendidos directamente por Azure
- Modelos de asociados y comunidad
Seleccione la tarjeta de modelo del modelo que desea implementar. En este artículo, selecciona un modelo DeepSeek-R1.
Seleccione Usar este modelo para abrir la ventana de implementación de API sin servidor , donde puede ver la pestaña Precios y términos .
En el asistente para la implementación, asigne un nombre a la implementación. La opción Filtro de contenido (versión preliminar) está habilitada de manera predeterminada. Deje la configuración predeterminada para que el servicio detecte contenido dañino, como odio, autolesión, contenido sexual y violento. Para obtener más información sobre el filtrado de contenido, consulte Filtrado de contenido en el portal de Foundry.
Implementación del modelo en una API sin servidor
En esta sección, creará un punto de conexión para el modelo.
En el Asistente para la implementación, seleccione Implementar. Espere hasta que la implementación esté lista y se le redirigirá a la página Implementaciones.
Para ver los puntos de conexión implementados en el proyecto, en la sección Mis recursos del panel izquierdo, seleccione Modelos y puntos de conexión.
El punto de conexión creado usa la autenticación de clave para la autorización. Para obtener las claves asociadas a un punto de conexión determinado, siga estos pasos:
Seleccione la implementación y anote el URI de destino y la clave del punto de conexión.
Utiliza estas credenciales para invocar la implementación y generar predicciones.
Si necesita consumir esta implementación desde otro proyecto o hub, o planea usar Prompt flow para desarrollar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar una implementación de API sin servidor existente en un nuevo proyecto o hub, consulte Consumir una implementación de API sin servidor desplegada desde un proyecto diferente o desde Prompt flow.
Sugerencia
Si estás usando Prompt flow en el mismo proyecto o centro donde se realizó el despliegue, aún necesitas crear la conexión.
Uso de la implementación de api sin servidor
Los modelos implementados en Azure Machine Learning y Foundry en implementaciones de API sin servidor admiten el Azure AI Model Inference API que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.
Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.
Eliminación de puntos de conexión y suscripciones
Sugerencia
Dado que puede personalizar el panel izquierdo en el portal de Microsoft Foundry, es posible que vea elementos diferentes de los que se muestran en estos pasos. Si no ve lo que busca, seleccione ... Más en la parte inferior del panel izquierdo.
Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.
Para eliminar una implementación de API sin servidor:
- Vaya a la Foundry.
- Vaya a su proyecto.
- En la sección Mis recursos, seleccione Modelos y puntos de conexión.
- Abra la implementación que desea eliminar.
- Seleccione Eliminar.
Para eliminar la suscripción del modelo asociado:
- Vaya al portal Azure
- Vaya al grupo de recursos al que pertenece el proyecto.
- En el filtroTipo, seleccione SaaS.
- Seleccione la suscripción que quiere eliminar.
- Seleccione Eliminar.
Para trabajar con Foundry, instale la extensión CLI de Azure y la extensión ml para Azure Machine Learning.
az extension add -n mlSi ya tiene instalada la extensión, asegúrese de que está instalada la versión más reciente.
az extension update -n mlUna vez instalada la extensión, configúrela:
az account set --subscription <subscription> az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
Búsqueda del modelo en el catálogo de modelos
- Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).
- Si aún no está en el proyecto, selecciónelo.
- Seleccione Catálogo de modelos en el panel izquierdo.
- Models vendidos directamente por Azure
- Modelos de asociados y comunidad
Seleccione la tarjeta de modelo del modelo que desea implementar. En este artículo, selecciona un modelo DeepSeek-R1.
Copie el identificador de modelo sin incluir la versión del modelo, ya que las implementaciones de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo , copie .
Los pasos de esta sección del artículo usan el modelo DeepSeek-R1 para la ilustración. Los pasos son los mismos, independientemente de si usa foundry Models vendido directamente por Azure o Foundry Models de asociados y comunidad. Por ejemplo, si decide implementar el modelo Cohere-command-r-08-2024 en su lugar, puede reemplazar las credenciales del modelo en los fragmentos de código por las credenciales de Cohere.
Implementación del modelo en una API sin servidor
En esta sección, creará un punto de conexión para el modelo. Asigne al punto de conexión el nombre DeepSeek-R1-qwerty.
Cree el punto de conexión sin servidor.
endpoint.yml
name: DeepSeek-R1-qwerty model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1Use el archivo endpoint.yml para crear el punto de conexión:
az ml serverless-endpoint create -f endpoint.ymlEn cualquier momento, puede ver los puntos de conexión implementados en el proyecto:
az ml serverless-endpoint listEl punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.
az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwertySi necesita consumir esta implementación desde otro proyecto o hub, o planea usar Prompt flow para desarrollar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar una implementación de API sin servidor existente en un nuevo proyecto o hub, consulte Consumir una implementación de API sin servidor desplegada desde un proyecto diferente o desde Prompt flow.
Sugerencia
Si estás usando Prompt flow en el mismo proyecto o centro donde se realizó el despliegue, aún necesitas crear la conexión.
Uso de la implementación de api sin servidor
Los modelos implementados en Azure Machine Learning y Foundry en implementaciones de API sin servidor admiten el Azure AI Model Inference API que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.
Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.
Eliminación de puntos de conexión y suscripciones
Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.
Para eliminar una implementación de API sin servidor:
az ml serverless-endpoint delete \
--name "DeepSeek-R1-qwerty"
Para eliminar la suscripción del modelo asociado:
az ml marketplace-subscription delete \
--name "DeepSeek-R1"
Para trabajar con Foundry, instale el SDK de Azure Machine Learning para Python.
pip install -U azure-ai-mlUna vez instalado, importe los espacios de nombres necesarios y cree un cliente conectado al proyecto:
from azure.ai.ml import MLClient from azure.identity import InteractiveBrowserCredential from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint client = MLClient( credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"), subscription_id="<subscription-id>", resource_group_name="<resource-group>", workspace_name="<project-name>", )
Búsqueda del modelo en el catálogo de modelos
- Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).
- Si aún no está en el proyecto, selecciónelo.
- Seleccione Catálogo de modelos en el panel izquierdo.
- Models vendidos directamente por Azure
- Modelos de asociados y comunidad
Seleccione la tarjeta de modelo del modelo que desea implementar. En este artículo, selecciona un modelo DeepSeek-R1.
Copie el identificador de modelo sin incluir la versión del modelo, ya que las implementaciones de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo , copie .
Los pasos de esta sección del artículo usan el modelo DeepSeek-R1 para la ilustración. Los pasos son los mismos, independientemente de si usa foundry Models vendido directamente por Azure o Foundry Models de asociados y comunidad. Por ejemplo, si decide implementar el modelo Cohere-command-r-08-2024 en su lugar, puede reemplazar las credenciales del modelo en los fragmentos de código por las credenciales de Cohere.
Implementación del modelo en una API sin servidor
En esta sección, creará un punto de conexión para el modelo. Asigne al punto de conexión el nombre DeepSeek-R1-qwerty.
Cree el punto de conexión sin servidor.
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()En cualquier momento, puede ver los puntos de conexión implementados en el proyecto:
endpoint_name="DeepSeek-R1-qwerty" serverless_endpoint = ServerlessEndpoint( name=endpoint_name, model_id=model_id ) created_endpoint = client.serverless_endpoints.begin_create_or_update( serverless_endpoint ).result()El punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name) print(endpoint_keys.primary_key) print(endpoint_keys.secondary_key)Si necesita consumir esta implementación desde otro proyecto o hub, o planea usar Prompt flow para desarrollar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar una implementación de API sin servidor existente en un nuevo proyecto o hub, consulte Consumir una implementación de API sin servidor desplegada desde un proyecto diferente o desde Prompt flow.
Sugerencia
Si estás usando Prompt flow en el mismo proyecto o centro donde se realizó el despliegue, aún necesitas crear la conexión.
Uso de la implementación de api sin servidor
Los modelos implementados en Azure Machine Learning y Foundry en implementaciones de API sin servidor admiten el Azure AI Model Inference API que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.
Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.
Eliminación de puntos de conexión y suscripciones
Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.
client.serverless_endpoints.begin_delete(endpoint_name).wait()
Para eliminar la suscripción del modelo asociado:
client.marketplace_subscriptions.begin_delete(subscription_name).wait()
Para trabajar con Foundry, instale el CLI de Azure como se describe en CLI de Azure.
Configure las siguientes variables de entorno según la configuración:
RESOURCE_GROUP="serverless-models-dev" LOCATION="eastus2"
Búsqueda del modelo en el catálogo de modelos
- Inicie sesión en Microsoft Foundry. Asegúrese de que el conmutador New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).
- Si aún no está en el proyecto, selecciónelo.
- Seleccione Catálogo de modelos en el panel izquierdo.
- Models vendidos directamente por Azure
- Modelos de asociados y comunidad
Seleccione la tarjeta de modelo del modelo que desea implementar. En este artículo, selecciona un modelo DeepSeek-R1.
Copie el identificador de modelo sin incluir la versión del modelo, ya que las implementaciones de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo , copie .
Los pasos de esta sección del artículo usan el modelo DeepSeek-R1 para la ilustración. Los pasos son los mismos, independientemente de si usa foundry Models vendido directamente por Azure o Foundry Models de asociados y comunidad. Por ejemplo, si decide implementar el modelo Cohere-command-r-08-2024 en su lugar, puede reemplazar las credenciales del modelo en los fragmentos de código por las credenciales de Cohere.
Implementación del modelo en una API sin servidor
En esta sección, creará un punto de conexión para el modelo. Asigne al punto de conexión el nombre myserverless-text-1234ss.
Cree el punto de conexión sin servidor. Use la plantilla siguiente para crear un punto de conexión:
serverless-endpoint.bicep
param projectName string = 'my-project' param endpointName string = 'myserverless-text-1234ss' param location string = resourceGroup().location param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1' var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1)) // Replace period character which is used in some model names (and is not valid in the subscription name) var sanitizedModelName = replace(modelName, '.', '') var subscriptionName = '${sanitizedModelName}-subscription' resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = { name: '${projectName}/${endpointName}' location: location sku: { name: 'Consumption' } properties: { modelSettings: { modelId: modelId } } dependsOn: [ projectName_subscription ] } output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uriCree la implementación como se indica a continuación:
az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicepEn cualquier momento, puede ver los puntos de conexión implementados en el proyecto:
Puede usar las herramientas de administración de recursos para consultar los recursos. El código siguiente usa CLI de Azure:
az resource list \ --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"El punto de conexión creado usa la autenticación de clave para la autorización. Obtenga las claves asociadas al punto de conexión especificado mediante las API REST para consultar esta información.
Si necesita consumir esta implementación desde otro proyecto o hub, o planea usar Prompt flow para desarrollar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar una implementación de API sin servidor existente en un nuevo proyecto o hub, consulte Consumir una implementación de API sin servidor desplegada desde un proyecto diferente o desde Prompt flow.
Sugerencia
Si estás usando Prompt flow en el mismo proyecto o centro donde se realizó el despliegue, aún necesitas crear la conexión.
Uso de la implementación de api sin servidor
Los modelos implementados en Azure Machine Learning y Foundry en implementaciones de API sin servidor admiten el Azure AI Model Inference API que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.
Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.
Eliminación de puntos de conexión y suscripciones
Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.
Puede usar las herramientas de administración de recursos para administrar los recursos. El código siguiente usa CLI de Azure:
az resource delete --name <resource-name>
Consideraciones de costo y cuota para los modelos de Foundry implementados como una implementación de API sin servidor
La cuota se gestiona por cada implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Además, actualmente limitamos una implementación por modelo por proyecto. Póngase en contacto con Microsoft Azure soporte técnico si los límites de velocidad actuales no son suficientes para sus escenarios.
Puede encontrar información de precios para Modelos vendidos directamente por Azure, en la pestaña Precios y condiciones de la ventana de despliegue de API serverless.
Modelos de Socios y Comunidad se ofrecen a través de Azure Marketplace e integrados con Foundry para su uso. Puede encontrar Azure Marketplace precios al implementar o ajustar estos modelos. Cada vez que un proyecto se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia y la optimización. Sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente. Para obtener más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos a través de Azure Marketplace.
Permisos necesarios para suscribirse a ofertas de modelo
Controles de acceso basados en roles de Azure (Azure RBAC) se usan para conceder acceso a las operaciones en el portal de Foundry. Para realizar los pasos descritos en este artículo, se debe asignar la cuenta de usuario Owner, Contributor o Azure ai Developer para la suscripción de Azure. Como alternativa, a la cuenta se le puede asignar un rol personalizado que tenga los permisos siguientes:
En la suscripción de Azure: para inscribir el espacio de trabajo en la oferta de Azure Marketplace, una vez por cada espacio de trabajo, por oferta:
Microsoft.MarketplaceOrdering/agreements/offers/plans/readMicrosoft.MarketplaceOrdering/agreements/offers/plans/sign/actionMicrosoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/readMicrosoft.Marketplace/offerTypes/publishers/offers/plans/agreements/readMicrosoft.SaaS/register/action
En el grupo de recursos, para crear y usar el recurso de SaaS:
Microsoft.SaaS/resources/readMicrosoft.SaaS/resources/write
En el espacio de trabajo, para implementar endpoints (el rol de científico de datos de Azure Machine Learning ya contiene estos permisos):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
Para obtener más información sobre los permisos, consulte Control de acceso basado en roles en el portal de Foundry.
Contenido relacionado
- Disponibilidad de regiones para modelos como implementaciones de API sin servidor
- Ajuste de modelos mediante la implementación de API sin servidor