Instalación

Requisitos

Python	3.9 o superior
Java	11 o 17 — lo exige el propio Spark (JAVA_HOME apuntando a él)
PySpark	3.4 o superior, instalado como dependencia
Node.js	18.18+ — solo para Sparquet Studio

En una plataforma gestionada (Databricks, EMR, Dataproc, Synapse) Spark y Java ya están; solo instalas el framework.

El framework

pip

pip install sparquet

Desde el código

git clone https://github.com/VictorPasqualini/sparquet.git
cd sparquet
pip install -e .

Databricks

Añade sparquet a las librerías del clúster, o instálalo en un cuaderno:

%pip install sparquet
dbutils.library.restartPython()

Comprueba la instalación:

from sparquet import Sparquet
print(Sparquet)

Extras opcionales

Extra	Instalación	Cuándo lo necesitas
Delta Lake (OSS)	pip install "sparquet[delta]"	Tablas Delta fuera de Databricks
Iceberg	paquete Spark en el clúster	Tablas Iceberg
Kafka	paquete Spark en el clúster	Publicar en un tópico

Los paquetes de conector se declaran por pipeline, así el trabajo lleva su propia dependencia:

{
  "spark": {
    "configs": {
      "spark.jars.packages": "io.delta:delta-spark_2.12:3.2.0"
    }
  }
}

Windows

Spark necesita los binarios nativos de Hadoop para tocar el sistema de archivos en Windows. Descarga winutils.exe y hadoop.dll, ponlos en C:\hadoop\bin y define HADOOP_HOME=C:\hadoop. Sin ellos, una ejecución local se queda colgada en la primera escritura. WSL2 o Docker lo evita.

Sparquet Studio

El Studio es una aplicación estática — no necesita servidor para diseñar pipelines.

1. Clona el repositorio e instala:

   git clone https://github.com/VictorPasqualini/sparquet.git
   cd sparquet/sparquet-studio
   npm install

2. Arráncalo:

   npm run dev

3. Abre http://localhost:5273. El primer arranque crea un Workflow Getting Started con Jobs que funcionan.

Para alojarlo, genera el bundle estático y cópialo donde quieras:

npm run build      # → dist/
npm run preview    # sirve el build en local

El runner local (opcional)

Diseñar solo necesita el navegador. Ejecutar desde el lienzo necesita Spark, así que el Studio incluye un pequeño servicio que levantas tú:

cd sparquet-studio
pip install -r server/requirements.txt
uvicorn server.main:app --port 8787

Imprime un token al arrancar; pégalo en Settings → Local runner del Studio. El procedimiento completo está en Ejecutar un Job.

Siguiente

Escribe tu primer pipeline — cinco minutos, sin Studio.