Qu'est-ce que l'API Tensorflow Estimator ?
L'API de haut niveau de TensorFlow pour l'entraînement, l'évaluation et la prédiction de modèles simplifie le ML distribué sans gestion de graphes de calcul ni de sessions.
Summary
- Simplifie les boucles d'entraînement, la sauvegarde des modifications, l'entraînement distribué et l'intégration de TensorBoard, permettant aux développeurs de se concentrer sur l'architecture du modèle plutôt que sur l'infrastructure.
- Propose des estimateurs prédéfinis tels que DNNClassifier et LinearRegressor pour les tâches courantes, ainsi qu'une prise en charge des estimateurs personnalisés via les fonctions model_fn définies par l'utilisateur.
- Gère l'entraînement distribué sur CPU, GPU et TPU sans modification du code, bien que les développements TensorFlow récents privilégient tf.keras et les boucles d'entraînement personnalisées aux estimateurs.
Qu’est-ce que l’API Tensorflow Estimator ?
Les estimateurs représentent des modèles complets et intuitifs, adaptés à un public restreint. L’API Estimator fournit des méthodes pour entraîner le modèle, évaluer sa précision et générer des prédictions. TensorFlow fournit une pile de programmes composée de plusieurs couches d’API, comme dans l’image ci-dessous :
Il existe deux types d’estimateurs : les estimateurs prédéfinis et les estimateurs personnalisés que vous pouvez écrire vous-même. Les modèles basés sur des estimateurs peuvent être exécutés sur des hôtes locaux ainsi que dans un environnement multi-serveur distribué sans modifier votre modèle. En outre, vous pouvez exécuter des modèles basés sur des estimateurs sur des CPU, des GPU ou des TPU sans avoir à enregistrer votre modèle.
Les estimateurs présentent quatre fonctionnalités principales :
- L’entraînement : les estimateurs entraînent un modèle sur une entrée donnée pendant un nombre fixe d’étapes.
- L’évaluation : ils évaluent le modèle sur la base d’un ensemble de tests.
- La prédiction : les estimateurs effectuent la prédiction en se basant sur le modèle entraîné.
- L’exportation de votre modèle pour utilisation.
De plus, l’estimateur inclut des comportements « default » communs aux jobs d’entraînement, tels que l’enregistrement et la restauration des points de contrôle, la création de résumés, etc. Un estimateur vous demandera d’écrire un model_fn et un input_fn qui correspondent aux parties modèle et entrée de votre Graphe TensorFlow.
Gartner® : Databricks, leader des bases de données cloud
Les estimateurs offrent de nombreux avantages :
- Les estimateurs facilitent la répartition des tâches entre les différents développeurs de modèles.
- Ils vous permettent de développer un excellent modèle avec un code intuitif de haut niveau, car ils sont généralement plus faciles à utiliser que les API TensorFlow de bas niveau.
- Les estimateurs sont eux-mêmes construits sur tf.keras.layers, ce qui rend la personnalisation beaucoup plus facile.
- Les estimateurs vous simplifieront la tâche en générant automatiquement le graphe pour vous.
- Les estimateurs fournissent une boucle d’entraînement distribuée en toute sécurité qui contrôle quand et comment vous pouvez :
- construire le graphe ;
- initialiser les variables ;
- charger les données ;
- gérer les exceptions ;
- créer des fichiers de points de contrôle et se remettre des échecs ;
- enregistrer des résumés pour TensorBoard.