Seu primeiro Job no Studio

O Studio é um editor para o arquivo que você escreveu no quickstart. Mesmo documento, dispositivo de entrada diferente.

1. Abra o Studio

   cd sparquet-studio
   npm install
   npm run dev

   Vá para http://localhost:5273. O primeiro lançamento cria um Workflow Getting Started com Jobs funcionais — abra um para dar uma olhada, ou siga junto e construa o seu.

2. Crie um Workflow e um Job

   Um Workflow agrupa Jobs relacionados; um por domínio mantém os nomes curtos. Um Job é um JSON de pipeline — o arquivo que o framework roda. Clique em New workflow, nomeie-o Sales, depois New job dentro dele e chame-o de Orders curated.

   Você chega a um canvas vazio, com a paleta de nodes à esquerda e o inspector à direita.

3. Adicione uma fonte

   Arraste CSV de Sources para o canvas. O inspector abre à direita com os campos que aquele formato realmente lê.

   Defina Path como data/orders.csv. Deixe as opções como estão — header e inferSchema já estão ligados, coincidindo com os defaults do framework.

4. Adicione transformações

   Arraste Filter para o canvas e conecte o handle direito do node CSV ao handle esquerdo dele. No inspector, defina Condition como:

   status = 'CONFIRMED'

   Adicione Cast, With column e Drop duplicates do mesmo jeito, encadeados da esquerda para a direita. A ordem no canvas é a ordem no array transformations.

   Dica

   Dê duplo clique no canvas vazio para uma caixa de busca de adição rápida, ou pressione / para focar a busca da paleta. Cada campo traz um botão de informação com as mesmas notas que você encontra nesta referência.

5. Adicione regras de qualidade

   Arraste Validations para o canvas e conecte-o depois da última transformação. Defina On failure como warn, depois adicione duas regras: not_null em id, e unique em id.

   Validações sempre rodam depois de toda transformação principal e antes de qualquer escrita — a posição no canvas reflete isso.

6. Adicione um destino

   Arraste Parquet de Destinations, conecte o node de validations nele, e defina:

   • Path: out/orders
   • Write mode: overwrite
   • Partition by: country

7. Leia o arquivo que você acabou de desenhar

   Pressione Ctrl/⌘+J.

   O painel JSON mostra o pipeline compilado — exatamente o documento que o framework roda. Copie-o, baixe-o, ou faça commit dele ao lado do seu job. Nada é gerado por baixo dos panos; o que você vê é o que executa.

8. Confira o linter

   Pressione Ctrl/⌘+E para o painel Issues. Ele roda enquanto você digita e pega os erros que o Spark só reporta depois de minutos de processamento: um merge sem chaves, uma variável de runtime que ninguém publica, um parâmetro que você nunca declarou, uma saída gravando num path que outra saída já reivindicou.

   Clique em uma issue para pular para o node e o campo que a causou.

9. Execute

   Pressione Ctrl/⌘+Enter para o painel Run. Se o runner local ainda não estiver iniciado, o painel mostra os dois comandos de que você precisa:

   cd sparquet-studio
   pip install -r server/requirements.txt
   uvicorn server.main:app --port 8787

   O runner imprime um token — cole-o no painel. Então Run executa o JSON compilado com o framework real e traz de volta contagens de linhas, resultados de validação por regra, um preview de 50 linhas e os logs do próprio framework.

O mapeamento, em uma tabela

No canvas	No arquivo
Node de fonte	input
Nodes de transformação na cadeia compartilhada	transformations
Node de validations	validations
Node de destino	output / outputs
Nodes depois de o grafo se ramificar	as transformations próprias daquele destino
Segundo input de um join / union	with mais with_transformations
Nota adesiva	nada — anotações nunca compilam

Importe o que você já tem

Já tem um JSON de pipeline? Abra o painel JSON, mude para Edit, cole o arquivo e clique em Apply to canvas. O Studio faz o layout e cada node fica editável. Tipos de transformação desconhecidos — customizados que você mesmo registrou — são preservados intactos ao longo do round trip.

Próximos

• O canvas — conexões, ramificação, controle por teclado.
• Assistente de IA — descreva um Job em vez de desenhá-lo.
• Pipelines — encadeie vários Jobs numa execução sequencial.
• Conceitos centrais — o que roda quando, e por que o grafo se mapeia do jeito que se mapeia.