I/Oを確認する方法をメモっておく。 リアルタイム sudo iotop または dstat --top-bio --top-io あとから sar -Bb -f /var/log/sa/sa28 -s '13:00:00' -e '16:00:00'

複数のマシンを利用している時にインストールパッケージをどうやって同期しようかという話。 Star atom.io でパッケージにスターをつけて管理するというやり方。 インストール済みパッケージにスター apm login apm star --installed スターをつけたパッケー…

これまではpyenvを使ってました。 Mac OS X でのpyenvによるpython環境構築 - Tensorflow 編 - kotaroito's notes Mac OS X でのpyenvによるpython環境構築 - kotaroito's notes が、pyenvが必要かどうかフローチャート - QiitaやPythonの仮想環境構築 2017.…

gRPCについては以前から興味があっていくつか記事を斜め読みしてましたが、結局自分で動かしてみないと分からないため、Rubyで動かしてみようと思います。 gRPCとは？ Googleの内部で使われていたRPCで、メッセージのシリアライズ方式としてProtocol Buffer…

BigQuery、Athenaに続いてこんどはPrestoを触ってみたので、記録を残しておきます。 Prestoとは？ tug.red インストールと設定 2.1. Deploying Presto — Presto 0.185 Documentation には tar ball と書かれていますが、brewでインストールが可能です。java …

なんとなく触ってみたレベルなので、特徴やユースケースをかんたんに整理しておきたい。 特徴は？ Amazon S3のデータを標準SQLで分析できる サーバーのセットアップ・管理は不要 スキーマ定義は必要だが、事前のデータロードは不要 SQLのエンジンは presto …

既に語り尽くされてそうな話ではありますが、自分なりにまとめないとアタマに入らないのでドキュメントの整理も兼ねて、ポイントをまとめてみます。 BigQueryとは何か? Google Cloud Platformでは、"BigQuery is Google's fully managed, petabyte scale, lo…

GCP BigQueryやAWS Athenaを実際に触る機会が欲しかったので、RailsのログをfluentdでBigQueryやS3に取り込んでみます。 とりあえず触ることが目的で、実用できるかはとりあえず脇においておきます。 なお、fluentd（td-agent）はOS Xに0.14.21 をインストー…

基本的にはドキュメントに従い、dmgからインストールすればOKです。 docs.fluentd.org いくつか自分で調べたことがあったので、FAQ的にメモに残しておきます。 起動/終了はどうやればいい？ sudo launchctl start td-agent sudo launchctl stop td-agent プ…

必要に迫られていろいろ調べたので、メモしておく。 DMARCって何？ DMARC, which stands for “Domain-based Message Authentication, Reporting & Conformance”, is an email authentication, policy, and reporting protocol. It builds on the widely depl…

遅ればせながら触ってみたので、自分用にメモを残しておきたいと思います。 Embulk よく使うコマンド embulk guess seed.yml -o config.yml embulk preview config.yml embulk run config.yml bundle環境を利用する場合は -b オプションをつける。 embulk gu…

「ゼロから作るDeep Learing」を読了しました。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本（ソフトカバー）この商品を含むブログ (11件…

数ヶ月ぶりにpandasを使うと基本すら忘れていることが多いので、チートシートを残しておきます。 なお、pandas (0.18.1) です。 データの読み込み csvから読み込む。 先頭行のヘッダは自動で読み込んでくれます。 import pandas as pd df_train = pd.read_cs…

いつも忘れるので、メモっておく。 namespace :tmp_dir do task :create do on roles(:all) do within shared_path do unless test "[ -e tmp/subdir]" execute :mkdir, "-p", "tmp/subdir" end end end end end after "deploy:check", "tmp_dir:create"

Railsにまつわる便利機能・デザインパターンはたくさんありすぎて、正直覚えきれないので、 個人的に役立ったものまとめていこうと思います。 ActiveModel validation バリデーションを特定のコンテキストでのみ実行する方法。 ActiveModel::Validations cla…