前に 記事 を書いた通り、Airflow で DAG 間の依存関係を扱う際は、下流の DAG が ExternalTaskSensor で上流の DAG の完了を待ち受けるのが良いと思っている。

この ExternalTaskSensor では、上流の DAG Run を一意に特定するために、上流の DAG ID と、上流の execution_date を得るための「下流と上流の DAG の execution_date の差（execution_delta）」または「上流の DAG の execution_date を返す関数（execution_date_fn）」を与える必要がある。

ただ、実用上は上流の DAG ID を指定するだけで直近の DAG Run を待ち受けるくらい簡単になってほしいので、次の通り PythonOperator と組み合わせてクラス化なりしておくと、 2 つの DAG の interval の大小関係に関わらず（ここが大事）、DAG からは上流の DAG ID を指定するだけで ExternalTaskSensor を使って依存関係を定義できるようになる。

続きを読む

ワークフローエンジンを運用していると、あるワークフローの完了後に別のワークフローを実行したい、という要求が出てくる。

Airflow では、DAG（ワークフロー）間の依存関係を扱う方法が以下の通り複数あるが、どの方法を選ぶのが良いのか一見分かりづらいように思う。1年くらい Airflow を運用して色々試した結果、自分のユースケースだとこれかなという方法が定まったので書いておく。

続きを読む

私物でメインマシンの MacBook Pro が 2012 年モデルで流石に厳しくなってきたのと、PC ゲームでやってみたいタイトルがあったのでゲーミング PC を組んだ。

続きを読む

研究所の輪読会で以下の論文を読んでいて、ネットワークにおける Assortativity という語句が出てきた。意味を知らなかったのでまとめる。

Qingyun Wu, Zhige Li, Huazheng Wang, Wei Chen, and Hongning Wang. 2019. Factorization Bandits for Online Influence Maximization. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD ’19). Association for Computing Machinery, New York, NY, USA, 636–646.

続きを読む

Cloud Composer へのワークフローのデプロイを簡単に行うために、Go で trinity というツールを作りました。

続きを読む

オリジンは Treasure Data の job の状態を監視する mackerel plugin 作った – まっしろけっけ です。

続きを読む

自宅のWi-Fiルーターは2009年モデルのApple Time Capsuleを使っていて、回線は光なのに昼間30Mbps/夜間8Mbpsくらいしか出てなくてヤバイなとは思っていたけれど、これまで特に困っていなかったのでそのままだった。

ところが最近在宅勤務でzoomやSkypeがたまに遅延するので対策する必要が出てきて、Buffaloの最新モデルに替えてモデムとの間もちゃんとCat6aにしてみたら、夕方140Mbps/夜間50Mbpsくらい出るようになった。

続きを読む