タグ: Fluentd

Linux

Fluentdベンチマーク、チューニング記事 まとめ

    fluentd のベンチマークとってみたよ! https://tagomoris.hatenablog.com/entry/20111117/1321526727 >現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。 >効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。 …

Linux

Fluentd エージェントからAggregatorにApacheログをシンプルに出力

    エージェント側 # vi /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 * soft nofile 65536 * hard nofile 65536   # vi /etc/sysctl.conf net.ipv4.tcp_tw_recycle = 1 net. …

Linux

Fluentd エージェントからAggregatorにログをそのまま出力する

  バージョン # td-agent –version td-agent 0.12.43       エージェント側 # vi /etc/td-agent/td-agent.conf <source> type tail path /var/log/httpd/access_log tag log.yuulinux.tokyo-access pos_fi …

Linux

ノード(Apache+Fluentd)からAggregator(Fluentd+Logstash+Elasticsearch+Kibana)にログ出力でグラフ化

  ノード(Apache+Fluentd) # vi /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 * soft nofile 65536 * hard nofile 65536   # vi /etc/sysctl.conf net.ipv4.tcp_tw_recycle = 1 …

AWS

Apacheログ分析 Fluentd+S3+Athena

  条件 EC2に割り当てるIAMロール AmazonS3FullAccess S3にリージョン米国西部(オレゴン)でバケットを作成 sgapache Athena Location of Input Data Set s3://sgapache25254649/athena_apache/     Amazon Linux2設定   Apache, td- …