Fluentd エージェントからAggregatorにApacheログをシンプルに出力

 

 

エージェント側

 

 

 

 

 

 

 

 

動作テスト

 

 

 

 

 

 

 

 

Aggregator側

 

 

 

 

 

動作テスト

 

 

 

 

 

 

 

 

SWAPの解放

SWAPされた容量分に物理メモリがある場合は下記で解決できます。

 

 

空き容量がない場合はエラーになります。

swapoff failed: Cannot allocate memory

 

一時的に高負荷でSWAPが発生してしまうのはしようがない。

だけれど、いつまでも物理メモリの空き容量が発生しないという状況はキャパシティプランニングの設計がおかしい。

 

  • プロセス数など設計を見直す
  • スケールアップ
  • スケールアウト

 

設計を見直さないと、

一時的にSWAPを解放しても、メモリが足らずにまたSWAPが発生するので対症療法にしかならないんじゃないかな。

 

 

 

Fluentd エージェントからAggregatorにログをそのまま出力する

 

バージョン

 

 

エージェント側

format noneを指定

 

 

Aggregator側

format single_valueを追加

 

 

DMM.18がFANZAに名称変更 ハンザは関係なかった

 

特に関係なかった(۶•̀ᴗ•́)۶

 

 

FANZAに変わりました

>2018年8月1日 DMM.R18は FANZA(ファンザ)に変わりました

株式会社デジタルコマースにて運営を行っております成人向け(アダルト)事業「DMM.R18」は、
2018年8月1日より「FANZA(ファンザ)」に名称を変更しました。

「FANZA」の名称について「FAN」は、「FANtasy」(ファンタジー)の「FAN」、そして「ZA」は日本語の「~座」の「座」という意味と、「ZからAまで」という二つの意味を込めた造語になっております。

「人間の持つ様々なファンタジー、妄想、幻想を、AからZまで取り揃え提供していく場所」というメッセージを込めた名称です。

また、ロゴマークについては人体の曲線美から着想を得て、5つの文字が繋がるようなデザインを採用しています。ゴシック調のフォントは幻想的かつ誘惑的な雰囲気を持ち、「FANZA」のメッセージを具現化したロゴマークになっております。

@see https://special.dmm.co.jp/fanza/about

 

 

ハンザ同盟

>ドイツの中世後期に、北海・バルト海沿岸の商業都市が結成した都市同盟。ハンザとは「商人の仲間」の意味。リューベックが盟主となり、ハンブルクブレーメン、ロストクなどの都市が加盟した。11世紀ごろから海外に進出したこれらの都市の商人は、はじめ外地での共同利益を守るため外地ハンザを結成、13世紀には本国の都市の同盟に発展、14世紀の最盛期には加盟都市70前後を数えた。同盟は、通商権の保護のため、3年ごとにリューベックで会議を開き、共通の貨幣、陸海軍の保持などを共通規定で運用した。またロンドンブリュージュ(現在のベルギーのブルッヘ)、ノヴゴロド(ロシア)、ベルゲン(ノルウェー)などに在外商館をおいき、戦争も辞さずに商権を拡大した。とくに1368年のデンマークとの戦争など、北欧諸国とは商権をめぐって対立し、北欧諸国はハンザ同盟に対抗するためにカルマル同盟を結成した。
ドイツにおいてこのような強力な都市同盟が形成された背景は、イギリス・フランス・スペインなどに比べて、ドイツの王権は弱く、国家統一が遅れていたことがあげられる。15世紀以降、近代国家の形成に伴って衰退し、最終的には1648年のウェストファリア条約によって解散する。

@see https://www.y-history.net/appendix/wh0603_1-070.html

ハンザ同盟 – 中世商業ネットワーク

>ハンザとは交易商人のギルドであり、当初は状況に応じて個々のハンザが提携や取引を行っていたのだが、やがてリューベック・ハンブルク同盟を中核にしてネットワーク(連盟)を組んだのが、所謂、ハンザ同盟*1である。

*1 軍事同盟を思わせる同盟という言葉より連盟の方が相応しい気がする。

ハンザ同盟を一目で理解するには、この図を見ると早いと思う。要するにバルト海から北海にかけての交易路を防衛・互助し、他者を排除して独占する為の一種のカルテルである。

>この交易路を通じて、東欧から木材、毛皮、樹脂、蜂蜜、穀物、イングランド、フランドルから織物、北欧から鉄、銅、ニシンが運ばれた。

リューベック – ハンブルク同盟の陸路*2が要となり、海賊やデンマーク海軍*3が出没する海峡を通ってユトランド半島を遠回りせずに物品を運べるのである。

加盟都市には内陸部の都市も多いが、ドイツにはライン川を始め河川・運河の水路が多く、直接、船で行ける為で、また、このカルテルに加入しないと交易に参加できないからである。

*2 塩の道と言われ、バルト海で捕れるニシンと内陸部の岩塩を使って塩漬けニシンを生産する為に交通が盛んだった。
*3 歴史的に海軍と海賊は大義名分の有無によるだけで、似たようなものである。

商人ギルドと都市間のネットワークという2つの性格の為に、ハンザ同盟がいつ成立し、いつまで続いたかを明確に言うことは難しい。ハンザという言葉が使用される前から同様の性格のものは存在しており、少なくとも11世紀ごろまで遡れる。

しかし、リューベックが創設されたのが1159年、自由都市になったのが1227年、ハンブルクと同盟したのが1241年で、これ以降、ハンザ同盟らしき物が発達するが、最初のハンザ同盟会議が開かれたのは1356年で、これにより正式な組織となったと言える。15世紀が最盛期とされるが、既に様々な問題が生じており、16世紀から衰退したと書かれるが、これも地域により差があり、ハンザ同盟全体の連帯感は薄れても個別の都市(特に西部)は繁栄している所も多かった。

一般的にはハンザ同盟は13世紀から17世紀とされているようである。

ハンザ同盟は都市同盟のような政治・軍事同盟ではなく商業カルテルで、軍事力は商業ネットワークの自由や特権を守る為にのみ使われた事に注意すべきである。と言うのも、最盛期には200近いと言われた参加都市の内、政治・軍事的に独立した帝国自由都市はリューベック、ハンブルク、ブレーメン、ケルンなど一部に過ぎず、大部分は領邦に属する自治都市で政治的な独自性は無く、交易ネットワークの自衛という面でのみハンザ諸都市は協力できたのである。

尤も思惑は様々で、リューベックはウェンディッシュ地域の諸都市と都市同盟を結んでおり、いずれハンザ同盟を古のデロス同盟のような都市同盟にして、盟主として君臨したいと考えていたようだが、多くの都市は交易による利益が得られれば良く、ハンザ会議への出席に興味を持たない都市も多かった。

ハンザ・ネットワークの範囲は広く、現在のロシアからイングランドまで数カ国に跨っているが、ハンザはドイツ人商人のネットワークだった。この場合、ドイツ人というのはゲルマン諸語を話し、ドイツ都市法に従っている人々であり、東欧や北欧で加盟している都市はドイツ人が中心の街である*4。

*4 当時は民族という概念はあったが、民族国家という概念はなく、ポーランドや北欧の王国の下にドイツ人の都市が散在することに不思議はなかった。また、血統的にドイツを起源とする必要はなかった。

外国人の都市には交易所(Kontor)を置き、ハンザ商人が常駐することによりネットワークの一部を構成した。主要な4つ(ロンドン、ブリュージュ、ベンゲン、ノブゴロド)は独自の居住区を持っていたが、小さい所は単にハンザ商人が普通に住んでいたようだ。

神聖ローマ帝国は領邦に分かれており、またハンザ同盟も政治・軍事同盟ではなかった為、さほどトラブルは起きなかったが、バルト海、北海の交易に強い利害を持ち*5、南下政策を打ち出していたデンマークとは衝突することになった。

@see http://reasonable.sakura.ne.jp/history/bl/Hanse.html

 

ドメインレジストラ DNSレコードテンプレート

 

ドメインレジストラのアカウント情報は大事な情報なので、お客様のアカウントで設定できない場合は、お客さんに設定表をテキストで書いて伝えるしかありません。

 

そんなわけでテンプレートを作りました(۶•̀ᴗ•́)۶

 

ドメイン構成例

 

●WEBサーバ(1.2.3.4)
 ・example.net
 ・www.example.net
 ・web1.example.net


●画像サーバ(2.2.2.2)
 ・img.example.net


●メールサーバ (3.3.3.3)
 ・mail.example.net
 ・pop.example.net
 ・pop3.example.net
 ・imap.example.net
 ・smtp.example.net

 

 

 

AWS Route53

 

正引き

Domain Name:example.net.

Name Type Value
example.net. A 1.2.3.4
www.example.net. A 1.2.3.4
img.example.net. A 2.2.2.2
example.net. MX 10 mail.example.net.
mail.example.net. A 3.3.3.3
pop.example.net. A 3.3.3.3
pop3.example.net. A 3.3.3.3
imap.example.net. A 3.3.3.3
smtp.example.net. A 3.3.3.3
example.net. TXT “@ v=spf1 a:example.net ~all”
example.net. NS ※自動
ns.97.awsdns-12.com.
ns-567.awsdns-06.net.
(略)
example.net. SOA ※自動
ns-97.awsdns-12.com. awsdns-hostmaster.amazon.

 

 

 

逆引き

Domain Name 3.2.1.in-addr.arpa.

Name Type Value
3.2.1.in-addr.arpa. NS ※自動
ns-1340.awsdns-39.org.
ns-1111.awsdns-13.co.uk.
(略)
3.2.1.in-addr.arpa. SOA ※自動
ns-1340.awsdns-39.org.awsdns-hostmaster.amazon.co.uk.
4.3.2.1.in-addr.arpa. PTR mail.example.net

 

 

バリュードメイン

 

mx mail 10
a @ 1.2.3.4
a www 1.2.3.4
a web1 1.2.3.4
a img 2.2.2.2
a mail 3.3.3.3
a pop3 3.3.3.3
a pop 3.3.3.3
a imap 3.3.3.3
a smtp 3.3.3.3
txt @ v=spf1 a:example.net ~all

 

 

 

お名前.com

●WEBサーバ
 ホスト名欄:※空欄
 TYPE: A
 TTL:1200
 VALUE:1.2.3.4


 ホスト名欄:www
 TYPE: A
 TTL:1200
 VALUE:1.2.3.4

 ホスト名欄:web1
 TYPE: A
 TTL:1200
 VALUE:1.2.3.4



●画像サーバ
 ホスト名欄:img1
 TYPE: A
 TTL:1200
 VALUE:2.2.2.2



●メールサーバ
 ホスト名欄:mail
 TYPE: A
 TTL:1200
 VALUE:3.3.3.3


 ホスト名欄:※空欄
 TYPE: MX
 TTL:1200
 VALUE:mail.example.net


 ホスト名欄:※空欄
 TYPE: TXT
 TTL:1200
 VALUE:v=spf1 a:example.net ~all


 ホスト名欄:pop
 TYPE: A
 TTL:1200
 VALUE:3.3.3.3


 ホスト名欄:pop3
 TYPE: A
 TTL:1200
 VALUE:3.3.3.3


 ホスト名欄:imap
 TYPE: A
 TTL:1200
 VALUE:3.3.3.3


 ホスト名欄:smtp
 TYPE: A
 TTL:1200
 VALUE:3.3.3.3

 

 

 

 

 

 

Plesk12.5.30 25番で待ちうけさせる status=deferred (connect to example.com[111.xxx.yyy.2]:25: Connection refused)

 

 

 

25番が開いていない。

 

Pleskサーバ側作業

 

 

 

Postfixを起動させます。

 

【ツールと設定】>> 【サーバ全体のメール設定】>>【ホワイトリスト】>>【ネットワークを追加】をクリックして、

WEBサーバのIPアドレス/32を追加します。

 

 

 

WEBサーバ側作業

 

25番がリッスンするようになりました。

 

これでWEBサーバのメールフォームから25でポストして、メールサーバでメールを受信することが出来ました。

 

プロセス当たりのメモリを知る

 

htop

htop

ソートできるし、見やすい。

Commandをクリックしてソート >> VERTと、RESの値をみると良い。

 

ps

1プロセス当たりのメモリがわかりやすい

 

pstree

ツリー上になっていて、プロセス数を把握するのが楽。

 

 

 

Nginxキャッシュ tmpfs化

 

クラウドなんかはSSDだったりするのですが、お客様の事情でHDDのVPSサーバにする必要があったりします。そんな時に使えるよ!

 

 

 

 

OK!(۶•̀ᴗ•́)۶

 

揮発性なので、消えても良いキャッシュなどに使いましょう。

大事なデータを置くと再起動時に蒸発します(۶•̀ᴗ•́)۶

 

 

tmpfsで検証された記事があったのでメモ

 

 

設定ファイルの有効なディレクティブを取り出す

 

#と空行を除く

 

 

;と空行を除く

これは便利でよく使います。

 

 

@see http://ossfan.net/setup/linux-12.html

ソース, rpmでのアンインストール

 

 

ソースインストールの場合

 

検索します。

 

該当のディレクトリをrm -rfで消しましょう。

 

他には、ソースディレクトリで

など便利コマンドが用意されているパッケージもあります。

 

 

rpmでのインストールの場合

 

検索します。

 

 

 

MySQL 5.6 ファイルディスクリプタ カーネルチューニング CentOS7

MySQL5.6 ファイルディスクリプタチューニング CentOS7

 

[Warning] Buffered warning: Could not increase number of max_open_files to more than 1024 (request: 10140)
[Warning] Buffered warning: Changed limits: max_connections: 214 (requested 2048)

MySQLの設定反映後はログをチェックします。

このエラーに対応します。

これはファイルディスクリプタの制限値にひっかかっています。

 

 

 

 

 

 

 

WARNING, ERRORがなければおしまいです。

 

 

 

 

MySQL5.6.22以下注意 SET GLOBAL sql_log_bin

 

MySQLのレプリケーション環境を運用していると、バイナリログへの記録を一時的に止めるためにsql_log_bin=0を実行したことがあるだろう。これを「set GLOBAL sql_log_bin=0」と、グローバル変数への変更として実行すると大変なことになる、という指摘。TwitterのMySQLエンジニア、Jeremy Cole氏の提言。

MySQL 5.5.41、5.6.22で修正された。

 

5.6.22以下の環境で注意したい。

また、set GLOBAL sql_log_bin=0は使わないようにする。

 

アダルト可能クラウド 2017

 

今後はわからないYO!

私的メモなので、情報の正確性は保証できかねます。

 

アダルトコンテンツ可

  • AWS
  • IBM Cloud(米国の法律に準拠)
  • GMOクラウド Altus /Public
  • GMO VPS

 

アダルトメディアは月間500万~800万PV以下程度ならGMO VPSあたりが多い印象。

 

アダルトコンテンツ禁止

  • GCP
  • ConoHa
  • IDCF
  • さくらのクラウド

 

ConoHaはGMO系列ではあるもののアダルト禁止。痛い。

 

さくらは風俗情報ポータルぐらいならわりと大丈夫かな?

直接的なコンテンツはダメー˚‧º·(˚ ˃̣̣̥⌓˂̣̣̥ )‧º·˚

 

標準正規分布と確率密度関数

 

標準化 変数変換

  • X - μを行うことで、真ん中を平均μからずらして0(真ん中)に移動させます
  • σで偏差X  - μで割ることでσ = X - μの時に1となる、
    標準正規分布に変換出来ます。

 

  • Aくんの音楽の点数:80点
  • 平均:60点
  • 標準偏差:10点

 

一峰性があり正規分布である時に、

  • 点数を平均で引くと偏差
  • 標準正規分布の標準偏差は1
  • 偏差を標準偏差で割ることで標準正規分布に変換
  • 標準正規分布の総面積は1 = すべての確率

 

 

積分すると面積が1になる関数 = 確率100%を表わす

 

変曲点

2つの直線σ  = -1,  σ = 1が標準正規分布のグラフの屋根の輪郭線に交わる2点に丁度よく変曲点になります。

 

68 – 95 – 98の法則

  • σ±0で25%
  • σ±1で68%
    -0.341 ~+0.341
  • σ±2で95%
    -0.47.7 ~ +0.47.7
  • σ±3で98%
    -0.4985 ~ +0.4985

つまりAくんは2σとなり、面積95%より上位5%にいることになります。

 

 

 

 

 

確率密度関数

 

@see Wikipedia

 

 

累積分布関数

 

@see Wikipedia

 

 

標準正規分布表

Z = +2.0の時0.4772であり、

Z = 0 ~ +2.0の範囲の面積は約47%を占める

@see https://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm