La prise en charge de Spark ou PySpark pour diverses versions de Python, Java et Scala progresse avec chaque version, intégrant des améliorations et des optimisations du langage. Il est donc important de comprendre quelles versions de Python, Java et Scala prennent en charge Spark/PySpark pour exploiter efficacement ses capacités.
En rapport: Versions Java et Scala compatibles Spark 3.5.0 et nouveautés de PySpark 4.0 : fonctionnalités, améliorations et améliorations
L'utilisation d'une version Python, Java ou Scala incorrecte ou non prise en charge avec Spark peut entraîner divers problèmes ou erreurs lors de l'exécution d'applications Spark ou du travail dans l'environnement Spark ; par conséquent, il est toujours préférable d’installer les bonnes versions de compatibilité.
Matrice de compatibilité Spark de Java et Scala
Si vous utilisez Spark avec Scala, vous devez installer les bonnes versions Java et Scala. Voici un tableau résumant les versions Spark ainsi que leurs versions Java et Scala compatibles :
| Version étincelle | Versions Java compatibles | Versions Scala compatibles |
|---|---|---|
| Étincelle 1.x | Java 7 ou version ultérieure | Scala 2.10.x |
| Étincelle 2.0 – 2.3 | Java 7 ou version ultérieure | Scala 2.11.x |
| Étincelle 2.4.x | Java 8, 11 | Scala 2.11.x, 2.12.x |
| Étincelle 3.0.x | Java8, 11, 16 | Scala 2.12.x |
| Étincelle 3.1.x | Java8, 11, 16 | Scala 2.12.x, 2.13.x |
| Étincelle 3.2.x | Java8, 11, 16 | Scala 2.12.x, 2.13.x |
| Étincelle 3.3.x | Java8, 11, 16 | Scala 2.12.x, 2.13.x |
| Étincelle 3.4.x | Java8, 11, 16 | Scala 2.12.x, 2.13.x |
| Étincelle 3.5.x | Java8, 11, 17 | Scala 2.12.x, 2.13.x |
Bien qu'il s'agisse de compatibilités courantes pour chaque version de Spark, il est toujours conseillé de se référer à la documentation officielle de Spark ou aux notes de publication pour obtenir les informations les plus précises et les plus à jour concernant les versions Java et Scala compatibles pour une version Spark spécifique. La compatibilité peut varier légèrement ou être améliorée dans les versions mineures d'une version majeure de Spark.
Matrice compatible PySpark des versions Python
Si vous utilisez Spark avec Python (PySpark), vous devez installer les bonnes versions Java et Python. Voici un tableau résumant les versions de PySpark ainsi que leurs versions Python compatibles et prises en charge :
| Version PySpark | Versions Python compatibles |
|---|---|
| PySpark 1.x | Python2.6, 2.7 |
| PySpark 2.0 – 2.3 | Python2.7, 3.4, 3.5, 3.6 |
| PySpark 2.4.x | Python3.5, 3.6, 3.7, 3.8 |
| PySpark 3.0.x | Python3.6, 3.7, 3.8, 3.9 |
| PySpark 3.1.x | Python3.6, 3.7, 3.8, 3.9 |
| PySpark 3.2.x | Python3.6, 3.7, 3.8, 3.9 |
| PySpark 3.3.x | Python3.6, 3.7, 3.8, 3.9 |
| PySpark 3.4.x | Python3.6, 3.7, 3.8, 3.9 |
| PySpark 3.5.x | Python3.8, 3.9 |
Veuillez noter qu'il s'agit de directives générales de compatibilité pour les versions PySpark et Python. Reportez-vous toujours à la documentation officielle ou aux notes de publication de la version spécifique de PySpark que vous utilisez pour obtenir les informations les plus précises et les plus à jour concernant les versions Python compatibles. La compatibilité peut varier légèrement ou être améliorée dans les versions mineures d'une version majeure de PySpark.
Bon apprentissage !!
