2017-09-01から1ヶ月間の記事一覧

RailsのログをfluentdでBigQuery、あるいはS3に取り込む

GCP BigQueryやAWS Athenaを実際に触る機会が欲しかったので、RailsのログをfluentdでBigQueryやS3に取り込んでみます。 とりあえず触ることが目的で、実用できるかはとりあえず脇においておきます。 なお、fluentd(td-agent)はOS Xに0.14.21 をインストー…

Mac OS Xにtd-agentをインストールする

基本的にはドキュメントに従い、dmgからインストールすればOKです。 docs.fluentd.org いくつか自分で調べたことがあったので、FAQ的にメモに残しておきます。 起動/終了はどうやればいい? sudo launchctl start td-agent sudo launchctl stop td-agent プ…

DMARCについて調べた

必要に迫られていろいろ調べたので、メモしておく。 DMARCって何? DMARC, which stands for “Domain-based Message Authentication, Reporting & Conformance”, is an email authentication, policy, and reporting protocol. It builds on the widely depl…

EmbulkとBigQueryと

遅ればせながら触ってみたので、自分用にメモを残しておきたいと思います。 Embulk よく使うコマンド embulk guess seed.yml -o config.yml embulk preview config.yml embulk run config.yml bundle環境を利用する場合は -b オプションをつける。 embulk gu…