Qu'est-ce que le programmateur Dag Spark ?

De même, on peut se demander, qu'est-ce qu'une étincelle DAG ?

(Graphique acyclique dirigé) dans Apache est un ensemble de sommets et d'arêtes, où les sommets représentent les RDD et les arêtes représentent l'opération à appliquer sur RDD. Dans , chaque arête dirige du plus tôt vers le plus tard dans la séquence.

De même, comment DAG crée-t-il des scènes ? À haut niveau, lorsqu'une action est appelée sur le RDD, spark le et le soumet au planificateur. Le planificateur divise les opérateurs en tâches. A est composé de tâches basées sur des partitions des données d'entrée.

Par conséquent, quelle est la différence entre DAG et la lignée dans spark ?

Le graphique traite des RDD, il est donc applicable aux transformations en amont, tandis que montre les étapes d'un travail. il montre la tâche complète (transformation et aussi Action). Un plan logique, c'est-à-dire un , est matérialisé et exécuté lorsque sparkContext est sollicité pour exécuter une tâche.

Qu'est-ce que le moteur d'exécution DAG ?

spark dispose d'un graphique acyclique dirigé avancé () prenant en charge le flux de données cyclique. Chaque tâche spark crée une série d'étapes de tâche à effectuer sur le cluster. Par rapport à MapReduce, qui crée un avec deux étapes prédéfinies - Map et Reduce, les DAG créés par spark peuvent contenir n'importe quel nombre d'étapes.