ワークフローエンジンを運用していると、あるワークフローの完了後に別のワークフローを実行したい、という要求が出てくる。

Airflow では、DAG（ワークフロー）間の依存関係を扱う方法が以下の通り複数あるが、どの方法を選ぶのが良いのか一見分かりづらいように思う。1年くらい Airflow を運用して色々試した結果、自分のユースケースだとこれかなという方法が定まったので書いておく。

私物でメインマシンの MacBook Pro が 2012 年モデルで流石に厳しくなってきたのと、PC ゲームでやってみたいタイトルがあったのでゲーミング PC を組んだ。 BTO にするか、自分で組むか迷ったけど、 ゲーム友達の pinko さんが自作 PC を組んだ記事 を見てたら、自分で好きなパーツを組み合わせて、更に光らせたくなったので自分で組むことにした。

これまで二要素認証のオーセンティケータはデバイスを跨いで使える Authy を使っていたが、ログインフォームで ID とパスワードを 1Password で自動入力した後に Authy を起動してトークンを入力… というのがめんどくさかったので「1Password をオーセンティケータにできるんじゃね？」と思って調べたらできた。

研究所の輪読会で以下の論文を読んでいて、ネットワークにおける Assortativity という語句が出てきた。意味を知らなかったのでまとめる。

Qingyun Wu, Zhige Li, Huazheng Wang, Wei Chen, and Hongning Wang. 2019. Factorization Bandits for Online Influence Maximization. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD ’19). Association for Computing Machinery, New York, NY, USA, 636–646.

勤務先の GMO インターネットグループでは、新型コロナウイルスの感染拡大を防ぐために1月末から在宅勤務体制に移行している。

2年前から月に数日はリモートワークしていたので1人分のモニタ, デスク, チェアは家にあったのだけど、今回は同じ会社で働く妻と2人分必要になり環境をアップデートしたので、買ったものをまとめてみる。

Cloud Composer へのワークフローのデプロイを簡単に行うために、Go で trinity というツールを作りました。 Cloud Composer とは Apache Airflow を使ったワークフロー実行環境を構築する GCP のサービスです。私が働いているペパボでは DWH のバックエンドを Treasure Data から GCP に移行中で、それに伴いワークフローサービスも Treasure Workflow （マネージドな Digdag） から Cloud Composer に移行しているところです。

オリジンは Treasure Data の job の状態を監視する mackerel plugin 作った – まっしろけっけ です。

自宅のWi-Fiルーターは2009年モデルのApple Time Capsuleを使っていて、回線は光なのに昼間30Mbps/夜間8Mbpsくらいしか出てなくてヤバイなとは思っていたけれど、これまで特に困っていなかったのでそのままだった。

ところが最近在宅勤務でzoomやSkypeがたまに遅延するので対策する必要が出てきて、Buffaloの最新モデルに替えてモデムとの間もちゃんとCat6aにしてみたら、夕方140Mbps/夜間50Mbpsくらい出るようになった。

先週の金曜日、娘が生まれた。

前々からやろうかなと思ってた、このブログのロリポップ！マネージドクラウドへの移設をやった。 マネージドクラウドは勤務先の GMO ペパボが提供しているホスティングサービスで、サーバーの運用保守やスケーリングはお任せで色々なコンテナ環境を簡単に使えるというもの。 アカウント作成から必要なコンテナの立ち上げと WordPress のインストール、独自ドメインの設定と https 化まで、画面の案内に沿ってポチポチやるだけで設定できてしまった。 独自ドメインの向き先の反映とか除けば、作業時間トータル15分くらいで移設出来たと思う。