Azure Veri Fabrikası kullanarak paralel, tek boru hattında işlenmesi tablolar, tek Databricks Notebook?

oy
0

Ben Azure Veri Fabrikası ve bir tek Databricks Notebook kullanarak paralel tabloların listesini dönüştürmek istiyoruz.

Zaten sonra (gerçekleştirir basit dönüşümler bu) ve seri olarak, her tablo geçen tek bir dizüstü aramaları, bir değişken olarak, tablo listesi her tablo ayarlar, bir parametre olarak tabloların bir listesini alan bir Azure Veri Fabrikası (ADF) boru hattı vardır Bu defter. Sorun şu ki, serideki tabloları paralel olarak (birbiri ardına) ve (aynı anda tüm tablolar) dönüştüren olmasıdır. Ben tabloları paralel olarak işlenmesi gereklidir.

Yani, sorularım şunlardır: 1) Azure Veri Fabrikası'ndan zamanında parametre olarak farklı bir tabloyla (her zaman) tam olarak aynı noktada aynı Databricks dizüstü birden çok kez tetiklemek mümkün mü? evet, o zaman benim boru hattı veya notebook değişikliği ne gerekiyorsa 2) çalışması için?

Ben Databricks doğrudan Bu defteri tetikleyebilir (ve değişken olarak bir tablo geçmesi) zaman, ben başkası için tekrar tetikleyebilir önce çalışmasının bitmesini beklemek zorunda, çünkü birden çok kez aynı anda aynı dizüstü tetikleme olasılığı mümkün olmadığını düşünüyorum tablo (parametresi). bunun mümkün olup olmadığını Ama emin olmak istiyorum. Ben de birden fazla dizüstü kullanarak paralel olarak bir çok tablonun işlemek mümkün olduğunu biliyoruz ama, benim durumumda, ben tek dizüstü kullanmanız gerekir. Şimdiden teşekkürler :)

Parametreler

ADF

Değişkenler

değişkenler

Set Masa Değişkenler ve Notebook

Burada

Yapılandırma Sıralı

Yapılandırma

Toplu Sayısı = boş ile sıralı denetlenmeyen

Sıralı ve Toplu Kont = boş olarak yapılandırılmıştır ve iki tablo, boru hattı başarıyla çalışır ama sadece bir tablo (I tablo listesinde birden fazla tablo eklemek bile) dönüşür geçtikten sonra. Her tablo için bir kez doğru gösterir iki defa Set değişken. Ama Orkestra aynı tablo için iki defa göstermektedir.

Burada

Toplu Sayısı = 2'ye Sıralı denetlenmeyen

Sıralı ve parti sayısı = 2 olarak tasarlanmıştır ve iki tablo geçtikten sonra, boru hattı, ikinci yineleme başarısız olur, ancak aynı zamanda aynı tabloda iki kez transforme çalışır. Her tablo için bir kez doğru gösterir iki defa Set değişken. Ama Orkestra aynı tablo için iki defa göstermektedir.

Toplu

Sıralı Kontrol veya seri Sayısı = 1

Ben Sıralı Kontrol veya Toplu Sayısı = 1 bırakırsanız, boru hattı düzgün çalışır ve tüm tablolarda gerçekleştirdiği dönüşümler, ancak (beklendiği gibi) işleme dizi oluşur.

Burada

Oluştur 13/01/2020 saat 23:55
kaynak kullanıcı
Diğer dillerde...                            


1 cevaplar

oy
0

Bunun yerine "Set üzerinde ayarlı" bir SQL tabloları için "ara" kullanarak çözdü. gösterileri altında resim tek dizüstü kullanarak paralel olarak 5 tabloların bir çalışma.

Burada görüntü açıklama girin

Cevap 14/01/2020 saat 22:40
kaynak kullanıcı

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more