検索:

CloudStackのアップグレード – その後

新しいCloudStack環境は安定して稼働しております。
というのは間違いないのですが….

ある日…Webサーバーがダウンするという障害が発生しました。
ロードバランサーの下にWebサーバーが複数台ある構成ですので
ホームページは閲覧可能な状況ですがこれは問題です。

ログを調べたところメモリが不足したためOSがWebサーバーを自動で
シャットダウンしたというメッセージがありました。
そこでメモリを増強し様子をみることにしましたが…翌日またダウンしました。
そこでWebサーバーのメモリ関連のパラメーターを調整しました。
すると…ダウンする頻度は格段に減りましたがまだダウンします。
メモリは十分のはずなのにおかしいです。
コマンドでメモリの状況をじっくり確認したところ…なんと
3GBしか認識していません。他のサーバーを確認したところ同じ状況です。
これはおかしいです。異常です。問題です。

OSのログを調査しても原因が特定出来ません。
これはもしかしてノードサーバーの問題?具体的には「KVM + QEMU」の設定に
問題があるのかと考えました。設定ファイルを見てもパラメーターが多すぎて
調べるのに時間がかかります。そこでGoogle先生…ではなく今は
ChatGPT先生の出番です。最初はBIOSのバグが疑わしいとか32bitOSは4GB以上
認識しないという回答でしたが、KVMとQEMUを管理するlibvirtdやQEMUの
設定について質問すると…色々と詳しく提案してくれます。
スゴイですが…解決しません。

ノードサーバーを疑い調べていたのですが…今どき「KVM + QEMU」の
設定でデフォルトでメモリが3GBになっているわけないと…
これはもしかしてCloudStackコントローラー?
そこでCloudStackのメモリ関連のパラメーターを調べてみると…ありました。
何やらノードサーバーを効率よく使うためのパラメーターが
デフォルトでONになっていました。それをOFFにしてからクラウドコントローラーを
再起動しすべての仮想サーバーを停止→起動することで…解決しました。

——————————————————————————————————————–
■ あとがき
——————————————————————————————————————–

まさかすべてのサーバーがメモリの上限3GBで稼働していたとは…驚きです。

今回はバグではなく設定が原因でした。

CloudStackの最新版は非常に安定しております。

プライベートクラウドの導入でお困りでしたらご相談ください。

送信ドメイン認証 – DMARCへの対応

スパムメール、ゴミメール、なりすましメール等々….
迷惑メールが毎日届きます。ただしほどんどの迷惑メールは受信ボックスへ
配信される前にスパム対策のメールゲートウェイによって拒否および隔離
されていると思います。
SPF,DKIM…昔から様々な対策が導入されております。
今はメールはクラウドを利用されている企業様がほどんどだと思いますが、
最近、クラウド事業者から「DMARCへ対応してください」という連絡は
ありませんでしょうか?

DMARCとは簡単に言えば迷惑メール対策です。
DMARCを導入するにあたり「SPF」と「DKIM」を導入する必要があります。

【SPF(Sender Policy Framework)】
ドメインを管理しているDNSサーバーにメールサーバーの
IPアドレスを登録し公開します。相手側メールサーバーがメールを
受信する際、送信元ドメインのメールサーバーのIPアドレスが
公開されているものと一致するか確認するという仕組みです。

【DKIM(DomainKeys Identified Mail)】
公開鍵暗号技術を利用します。送信するメールに「秘密鍵」で作成した
電子署名を追加します。相手側メールサーバが受信する際、
DNSサーバーで公開されいる「公開鍵」で電子署名を検証することで
電子署名の作成者の身元が確認出来ます。
さらにメールデーターの改竄も検知することが出来ます。

【DMARC (Domain-based Message Authentication Reporting and Conformance】
「SPF」と「DKIM」の検証結果により受信側がメールの扱いをどうするか
決める仕組みです。ドメインを管理しているDNSサーバーで
DMARCレコードとして公開します。

クラウドを利用されている企業様はWebの管理画面でDNSレコードを管理
していると思いますが、DMARCへの対応もWebの管理画面から
公開鍵、秘密鍵を作成しDNSレコードで公開という方法になるかと思います。
クラウド事業者によって方法が色々ですのでDNSとメールの仕組みを
理解していないとDMARCへの対応が難しいかもしれません。
お困りであればご相談ください。


■ あとがき

2024年2月からGmailがSPF/DKIM/DMARCに対応していないドメインからの
メールを一日5000件までに受信が制限されております。
今後はGmail以外にもGoogle WorkspaceやOffice365も同様に
制限されるかもしませんので早めに対応を!

リモートワーク IPv6編

皆様はリモートワークされてますか?
緊急事態宣言解除でオフィスへ出社されている方もいるかと思いますが、
まだ自宅でリモートワークされている方も多いかと思います。
緊急事態宣言でリモートワークが増えた途端に自宅のインターネットが
遅くなったと感じたことはありませんか?
自宅でのWeb会議や動画視聴増えたのが原因のようです。

日本では一般的に自宅からISPへの接続に「PPPoE」という接続方式が
使われております。遅いのはISP側の「PPPoE」接続を受付ける機器が
混雑しているのが原因と予想されます。

ではこの「PPPoE」以外の方法で接続すれば良いのではと思いつきます。
最近ISPのホームページやIT系のニュースサイトで「IPv6」に
すれば速くなる…具体的には「IPoE(IPv4 over IPv6)」という
接続方式にすれば速くなるということが書かれております。
IPv6が速いわけではなく空いているから速いようです。

いざ「IPoE」に移行しようと思っても日本のISPは「IPoE」の接続方式が
複数あるので使用しているルーターが対応しているか確認する必要があります。
対応していないのであれば自宅であれば「IPoE」に対応した
家庭向けルーターに買い換えればよいと思います。

ですが…会社で使用している企業向けのルーターでは、
そう簡単にはいかないようです。さらに日本では光電話の有無により
ルーターの設定が違うなどさらに難解です。

弊社では日本で「IPoE」および「IPv6」を導入するにあたり
色々と検証しましたが簡単にはいきませんでした。
ネットワーク機器メーカーの販売代理店に問い合わせても
公開されている情報しか教えてもらえず問題が解決しませんでした。
通常、メーカーのサポートを受けるには販売代理店経由で
サポート契約して…など時間と費用がかかります。
そのわりには解決しないという事が弊社ではありました。

どうしてもIPv6で接続したかったのでIT系の展示会へ行き
ネットワーク機器メーカーのブースにいる営業担当者ではなく
SEのニオイがする人に声をかけて相談にのってもらいました。
ただ接続出来ない…ではなく具体的にコマンドやログを見てもらって
色々と話したところ後日、貴重な情報を頂きみごと解決しました。

さらには弊社では中国のデータセンターでもIPv6を導入しました。
こちらは特殊事情がなかったので意外と簡単に導入出来ました。
日本または中国でIPv6導入でお困りでしたらご相談ください。

【リモートワーク in チャイナ】
https://www.evolutionnetworks.net/service/remotework.html


■ あとがき

新型コロナウィルスの影響で問い合わせを頂いてもお客様オフィスへ
お伺いすることが出来ません。そこで…Web会議での相談・打合せを始めました。
私は日本と中国を行き来しておりますが、これでいつでも対応出来ます。
中国でのITインフラやIPv6でお困りであればご相談ください。

https://www.evolutionnetworks.net

ちなみにWeb会議には弊社のサービスを利用しております。

https://www.evolutionnetworks.net/service/en-meet.html

リモートワーク クラウド編

今ではクラウド無しでは仕事にならないくらいにクラウドは
重要なサービスとなりました。

中国から中国国外のサーバーへアクセスする場合、インターネット経由だと
規制であったり混雑の状況により時間によってはアクセス速度が遅かったり
不安定である場合があります。

IT系のブログなどみているとたまに中国との接続状況を計測した結果が
掲載されております。遅延が100~200msであったりパケットロスが
発生していたりあまり通信状況は良くないという結果が出ております。
このような情報が多いため日中間のインターネットは遅いというのが
一般的になっているようです。しかし私は20年ほど前から中国で
ITインフラの仕事に関わっておりますが、弊社のネットワークでは
まったく違った結果となっております。

下記のページに1時間毎に計測した結果を公開しております。
遅延は40~60msでパケットロスはほぼ0%で速度も十分と思われます。
「レスポンス(履歴)」には2003年6月からの計測結果もあります。
「ネット状況」には正常時の日中間のネットワークの状況を
グラフでも掲載しております。

https://www.evolutionnetworks.net/support/

このネットワークを使用して中国から中国国外にあるクラウドへの
アクセス速度を改善させるサービスをご提供しております。

【リモートワーク in チャイナ】
https://www.evolutionnetworks.net/service/remotework.html

すべてのクラウドサービスへアクセス速度が改善するわけではないので
まずはご相談ください。お試しいだくことも出来ます。


■ あとがき

中国の空港でフリーWiFiに接続したら…いつも利用しているクラウドへは
すべてアクセス出来ずに途方にくれたことがあります。

リモートワーク リモートアクセス編

外出自粛となり在宅勤務や動画の閲覧が増えたのが原因で
インターネットが遅くなったというニュースがありました。

個人向けのインターネット接続サービスは、企業向けとは違い回線品質が
保証されているわけではないので混んだら遅くなるのはしょうがないのですが、
以外と自宅のルーターや無線AP(アクセスポイント)が遅い原因である場合が
あります。古い無線APだとそもそも規格が古いため最新のPCであっても
速度が出ません。半年ほど前に自宅の無線APを変えたところ
速度が数倍になりました。さらに2.4Ghz帯は電子レンジを使用すると
切れたり不安定になりますが、5Ghz帯が使えるようになったことで
電子レンジの影響を受けなくなったのは想定外でした。
そしてルーターですが、同じ機種の後継機種に変更したところ速度が約2倍に
なりました。一度、自宅で使用されている機器のスペックを確認するのが
良いかと思います。

それでも改善しない場合、ISP側の設備が混雑していると予想されます。
日本での話しになりますが、一般的にインターネットへの接続に「PPPoE」
という接続方式で接続されていると思いますが、それを「IPoE」という
接続方式に変更すると改善されるようです。簡単に説明すると「IPoE」は
NTTのIPv6網を使用してIPv4へ接続する際にISPの混んでいるPPPoEの設備を
経由しないので速くなるという仕組みです。IPv6が早いのではなく
空いているから早いとのことです。ちなみに弊社のデーターセンターでは
日本と中国の両方でIPv6を使えるようにしております。

日本から中国のオフィスへリモートVPNで接続する場合、規制により
接続できなかったり速度が遅い場合がございます。
そこで弊社では中国と日本にそれぞれリモートアクセス環境を設置し
自宅やホテルからは国内にあるリモートアクセス環境へ接続するように
しております。日中間の通信は中国本土にある高速バックボーンに
接続されたデータセンターやマルチキャリアに対応したデータセンターなどを
経由させることでアクセス速度の問題を改善しております。

【リモートワーク in チャイナ】
https://www.evolutionnetworks.net/service/remotework.html


■ あとがき

弊社の日中間ネットワークについて、下記ページの「ネット状況」という
ところに正常時の状況を書いておきました。

https://www.evolutionnetworks.net/support/

専用線ではなくインターネットの状況です。

リモートワーク

働き方改革を実現する方法としてリモートワークが注目されております。
弊社では以前より社外から社内ネットワークへ接続出来る環境が構築
されております。外出時にはリモートVPNで弊社データーセンターにある
リモートVPNサーバーへ接続し作業します。接続するにはIDと
一定間隔で変更されるワンタイムパスワードで認証しさらに
端末にクライアント証明書がインストールされていないとアクセス出来ない
仕組みとしております。

リモートVPNでの注意点としては中国から日本にあるリモートVPNサーバーには
規制やネットワークの状況が原因で、ほぼ接続出来ないと思った方が
良いかと思います。そのため弊社では日本と中国の両方に
リモートVPNサーバーを設置しております。

私は長期出張する場合、リモートVPNではなくVPN装置と無線アクセスポイントを
ホテルに持ち込んでおります。最近のホテルの部屋にLANの接続口が無く
接続方法がWiFiのみということが多々あります。
その場合、どのようにVPN装置を接続するかといいますと…
WAN側のポートにWiFiをインターネット接続に設定出来るルーターを接続します。
これで社内と同じように快適に仕事が出来ます。


■ あとがき

ということで…今週1週間は東北の山奥にある温泉にVPN装置と
無線アクセスポイントを持ち込んで…温泉→仕事→温泉という
ほぼ隠居生活を実践しております。

中国でVPN(IPsec)が使えなくなる?

中国本土からアクセスできないFacebook,Twitterなどを利用するための
個人向けのVPNサービスは数年前から規制されておりますが、
昨年からいよいよ企業が使っているVPN(IPsec)が規制されるのでは?と
ニュースサイトやブログなどで情報が流れております。
3月末で遮断という噂もあります。

弊社でも以前より色々と対策はしております。
複数のデーターセンター、複数のインターネット回線はもちろん
最近、香港経由の回線も準備しました。
弊社のように中国に進出されている日系企業様向けにITインフラ関連の
サービスを提供されている日系のIT会社様の多くは中国電信の
日中間の国際回線を利用されているようです。中国電信との直接契約
ではなく代理店経由で契約されているIT会社様もあるようです。
弊社はと申しますと…中国で通信に関するのライセンスを取得した
中国の通信会社と直接契約です。問題が有った場合、中国の大手通信会社
はもちろん代理店へ問い合わせても「原因はハッカーです」という
回答の可能性が大です…というよりいつもそうです。

一般的に専用線は盗聴されずに安全という認識かと思われますが、
中国では専用線だとどの企業が使っているか通信会社が把握して
おりますので通信内容のチェックは簡単かと思います。
ですので専用線でも通信は暗号化するのが基本です。

最悪のシナリオは…事前通達がまったく無くある日突然、中国全土から
国外へのVPN(IPsec)がすべて遮断され…VPNを使用するためには
政府機関へWebで申請する必要がある…申請には企業の登記簿、責任者の
身分証明証、接続先のIPアドレス、VPNの設定情報などを提出して
審査に一ヶ月以上かかるとかでしょうか?その前に申請を受け付ける
Webサイトがダウンして申請すら出来ないというオチがあるかもしれません。

弊社は法律・規則を遵守しますので、せめて1週間前に通達→申請に1週間
→審査に1週間→遮断されるかも?という順にして頂ければ有り難いです。

最終的には、基本すべて遮断→申請があったIPから政府が許可した
接続先へのみアクセス許可となるのでしょうか?
世界最大のイントラネット完成!


■ あとがき

対策はお早めに…お困りであればご相談ください。

猶予無しの強制遮断

それは突然の…「指導」でありました。
弊社のホスティングサービスをご利用頂いているお客様からメールが
使えないとの連絡を受けました。その後、同様の問い合わせが多数ありました。
弊社のサーバーやネットワークには問題無いのは確認済です。
これはただ事ではない雰囲気です。その数分後に1通のメールが
通信会社Aから届きました。
「ICPを登録していないドメインがみつかったのでIPを遮断した」と…
「遮断します」という「事前連絡」ではなく「遮断した」との
「事後連絡」です。まったくの猶予無しです。ようするに「指導」です。

10月の会議終了後に規制が緩和されるかと予想しておりましたが、
逆に規制がさらに強化されております。今までであれば事前に通達があり
期限までに手続きをすれば良かったのですが、今回は猶予が有りませんでした。
そして…今後もこのように猶予なしで遮断というリスクは続くと予想されます。

弊社スタッフは直ぐに通信会社Aへ連絡しIPの遮断を一時的に解除するよう
依頼しました。これにより数日の猶予は与えられたのですが、
いつまた遮断されるかわかりません。対策として深夜に影響を受けたお客様の
メールボックスを通信会社Bのデーターセンターへ移行しました。
このような事態は予め予想しており弊社は異なる通信会社の
データーセンターを複数利用しておりいつでも移行出来る準備はしております。

スタッフが調査したところによると政府機関がネットワークを
スキャンするプログラムを開発し中国で利用されている
ドメインのICP取得の有無をチェックしているとのことです。
それが今回、通信会社Aで実行されたらしいとのことです。
らしい…というのがポイントで、例のスゴイ壁もそうですが、
事実を確かめる手段がありません。
ドメインは中国で取得したものはもちろん国外で取得し中国で
利用しているドメインもチェックの対象です。

今後、通信会社BやCでもスキャンが実施される可能性があります。
運が良ければ事前に通達があると思いますが、通達が無い可能性がございます。
その際、中国のパブリッククラウドやホスティングサービスを
利用されている場合、突然メールが利用出来なくなっても復旧までに
時間がかかる可能性があります。
中国のパブリッククラウドやホスティングサービス…
技術的には世界に通用するどころか越えているかもしれませんが、
顧客の立場になって迅速に対応して頂けるのでしょうか?

問題が起きてからでは遅いので、不安があればご相談ください。
ICPの取得サポート、メールサーバーの移転など対応致します。
技術的なことは日本人SEが対応致します。はい。私が…


■ あとがき

この忙しい年末にすることは無いと思います…と言いたいところですが、
中国の年末は2018年2月中旬ですので…まだ何かありそうな予感です。

5年に一度の規制強化

5年に一度の重要な会議が今週から中国で開催されます。
そのため例のスゴイ壁が強化されております。
中国でITインフラの仕事を始めて18年になりますが、
今回はかなり気合が入っております。
通常の強化ではなくスゴイ強化です。

この会議のための準備会議が先週から開催されているようで
弊社は今週から規制強化されると予想しておりましたが、
既に先週から規制が強化されております。

当然、規制しますという発表はございません。
もちろん通信会社へ問い合わせても…「問題ない」で
終了となりますので色々と想像しながら対策することになります。
下記は今回の規制強化による現象の一部です。

・ほぼ毎日特定の時間帯にパケットロスが酷くなる
・一部のサーバーへ外部からアクセス出来ない
・あるホスティング会社のメールサーバーへ接続出来ない

毎度のことですが、機器の設定を変更していない…
設定に問題が無い…というのに何故か問題があるという
不思議な現象に遭遇します。
どこかに規制強化のための最新機器が導入されたのでしょうか?
設定がスゴイ複雑なのかいい加減なのかわかりませんが、
パターンがよめません。困ります。本当に…

ということで先週からずーっと監視画面の前でいつ問題が発生するか
ドキドキしながら過ごしております。

問題発生→設定とログを調査→回避策を検討・検証→対策実施
という作業を繰り返しております。
精神的にキツイです。

中国のITインフラでお困りであればご相談ください。


■ あとがき

中国ビザの申請方法や規則などが変更なり就労ビザの更新に
3週間の予定が6週間かかりましたが、なんとか更新出来たので安心です。

中国ネットワークトラブルの不思議

しばらく日本におりましたが、今週始めに上海入りしました。
早速お客様オフィス引っ越し作業があるので現場に駆けつけます。
毎度のことですが、今回もトラブル発生率100%間違い無しの予感がします。

インターネット回線ですが、サーバーラックには光ケーブルが来ており
光終端装置に接続されております。そこからお客様のFirewallに接続…
ではなく謎の「黒い箱」に接続されております。なんだかイヤな予感です。

回線の契約は複数のグローバル固定IPアドレスですので
おそらくルーターではないかと予想されます。その下にお客様のFirewallが
接続という一般的な構成です。それにしても気になります「黒い箱」の
存在が…Firewallのような気もします。通信会社に「この黒い箱要りません。
弊社でルーター用意するので設定情報教えてください」と言ったら
もちろん…「ダメです」と即答されてしまいました。

交渉しても時間がかかりそうなので「黒い箱」の存在は気にせず
ネットワークの確認作業をすることにしました。
WAN側のIPアドレスが変わるだけですので、それほど難しい作業ではありません。
がしかし何かヘンです。

お客様のネットワークと弊社データセンターをVPNで接続しておりますが、
VPN通信の「一部」がたまに切れます。VPNセッションを強制的に再接続すると
たまに復旧することがあります。以前はADSL回線でしたがこのような
現象はありませんでした。しかも今回は光回線にしているので速度や
安定性は格段に向上しているはずです。

そしてもう1つの問題…DNSの名前解決がたまに「成功」する…です。
たまに「失敗」ではありません。様々な方法を試しましたが、お手上げです。
中国国内にあるDNSサーバーへ名前解決してもタイムアウトする場合があります。
例のスゴイ壁に新機能でも追加したのでしょうか?困ります。
やるならちゃんと検証し安定稼働を確認してから投入して頂きたいものです。

自社のオフィスに戻りサーバーやネットワークの設定を眺め試行錯誤すること
数時間…ネットワークの設定を微妙に変更したところ解決しました。

中国では「どこか」で規制しているかもしれないということを念頭に
ネットワークトラブルシューティングをしなければならず
非常に困難を極めます。設定は間違っていないのに思い通りにいかない時は
本当に困ります。技術力というよりアイデアやヒラメキが必要な気がします。

中国でネットワークトラブルでお困りでしたらご相談ください。


■ あとがき

今回初めて格安航空券に搭乗してみました。狭い。これが第一印象です。
前席の人がリクライニングしたら目の前にドンと壁出現という感じです。
しかも深夜発ですのでまともに睡眠がとれず翌日は仕事になりません。
ですが、安いです。