はじめに
こんにちは。マイクロアドでインフラエンジニアをしているハダです。
マイクロアドでは、最近データセンターの移設（以後、DC移設と記載）を行いました。
そのDC移設に合わせて、今まで抱えていた問題点を改善すべく、
取り組んだことについて書いていきます。
今回は現場作業で重要なケーブリングについて記事を書いてみました。
技術的な記事ではなく経験談による読み物ですのでサラッと読んでください。
移設前の状況
問題になっていたこと
DC移設前は、ラックに搭載しているサーバ密度の都合で、
収容するスイッチが隣のラックにあったり、ひどいと２〜３ラック隣のスイッチに収容していたりということがありました。
（一番ひどい状態では、10ラックを横断しているケーブルが有りました…）
配線はどうしていたかというと、すべてラック下を通し
長さが3m・5m、さらには10mというケーブルを使って配線していました。
しかもケーブルにはラベル類が一切なく…。
このような配線をしていたため、ラックはできるだけ横に連続して契約するなど、
ラック契約の面でも縛りが発生していました。
この環境、どこが問題点でしょうか？
至るところに問題があるんですが、箇条書きすると以下のような問題点を抱えていました。
- 現場作業時に、どのケーブルがどこまで行っているのかわからない。
- ケーブルの長さがわからないので、行き先のあたりがつけられない。
- ケーブル長が合ってなくて余剰ケーブルがラック内でとぐろを巻いていた。
- 既存ラックに連続するラックを契約するのが困難になっていた。
- そもそもラック下って配線して良いんだっけ？
など…。
ネットワークケーブル以外にも、電源ケーブルも配線に問題を抱えていました。
サーバやスイッチなどに付属しているケーブルが長すぎて余剰分が邪魔になっていました。
さらに、設置作業する人によって余剰分の処理方法が異なり、
非常に煩雑な状態になっていました。
長い電源ケーブルにもラベルはなく、また束ねたケーブルが支柱とラック側面の間に差し込んである状態だったため、
同じラック内につないであるにも関わらずケーブルの行き先がわからない状態でした。
（無理に引き出せば行き先はわかりますが、稼働しているサーバの電源周りを触るのは好ましい状態ではありません）
暫定措置
ひとまず状況を改善するため、以下のような取り組みをはじめました。
- 新規サーバを設置する際、番号と長さを示すラベルを付けてケーブルを管理
この対応は数年前から実施していましたが、
すでに多数のサーバがラベルなしで配線されているため、
実質的にあまり状況は改善していませんでした。
また、サーバをリプレースするタイミングで配線を変えるチャンスがあるものの、
ラック下を通っている 旧ケーブルを回収するのは一苦労 という状況で、
実際にはケーブルを入れ替えるのは困難でした。
移設時の弊害
思い通りに解約できないラック
この無造作に配線されたケーブルが、まさか移設時にも影響してくるとは思っていませんでした。
具体的には以下のような問題が発生しました。
- ラックをまたいでいるネットワークケーブルが予想より多くあったため、ラック内の機器撤去が進んでもケーブルが残ってしまい解約出来なかった。
- 至るところから配線されているスイッチだけが、止められずに残ってしまった。
- ラック下をケーブルが通っているため、途中のラックだけを解約できなかった。
- 端のラックから順番に解約するため、サーバの移設順序に縛りが生まれた。
そんな状況のため、移設順序の遅いサーバが端のラックにある場合、
解約ができずに残ってしまったり、一時的に電源を落として場所を移動したりと、
想定以上に 無駄な作業 が発生してしまいました。
ラベル貼りの苦行
ケーブルにラベルを貼るというルールを作ったものの、移設タイミングで全数を対応するのは相当な苦行でした。
対応していただいた皆さんありがとうございました
移設完了までに3000本以上のケーブルにラベリングしました。
移設に合わせて改善
根本的な解決には、すべての配線を変えなければいけないことや、
そもそも配線がラックをまたいでいることを改善しなければならず、
何らかのキッカケがなければで進まないことは分かっていました。
そんな状況の中で、DC移設が決まりすべての配線をやり直すチャンスが到来しました！
ネットワークケーブルの改善
配線のルール
このチャンスを無駄にすることなく、今までと同じ状況にならないように、 ネットワークケーブルについては、以下の2点だけルールを決めました。
- ケーブルにはラベルを付けて配線すること
- サーバの接続先は同一ラック内のスイッチもしくはパッチに限定すること
これによって、サーバからスイッチやパッチまでのケーブルはラック内に収まり、
無駄に長いケーブルを使う必要がなくなるなど、配線がしやすい環境になりました。
なぜ、ルールを2点だけにしたのか
ルールを2点に絞った理由は、以下のように別の問題が生じると考えたためです。
- 実際に配線する人の感性・性格などによりある程度差が出てしまうこと
- ルールを増やしても文字説明で伝わらず、結果として守られない
そのため、困らない範囲で必要最低限のルールにし、かつ文字説明だけでも伝わるように簡単なものだけに限定しました。
電源ケーブルの改善
配線のルール
電源ケーブルについても、ネットワークケーブルと同様に配線ルールを作ることにしました。
- 電源ケーブルは1mもしくは2mの2種類のみを使用する
- 電源ケーブルの束ね癖は十分に取ってから使用する
- 非冗長化電源に接続する場合は、ケーブルのプラグ付近に赤いテープを貼る
ネットワークケーブルとは違い、電源ケーブルはその太さから長いケーブルの取り回しがしづらく問題になっていました。
そこで電源ケーブルを移設に合わせて1m、2mの2種類を準備しました。
ポイントとして準備する際に、可能な限り束ね癖がつかないように納品してもらいました。
非冗長電源のケーブル
一部サーバはその用途・目的から、購入時に冗長電源を追加せずに購入したものがあります。
それらをラックのコンセントに接続していると、一見ではどれがシングル構成の電源ケーブルかわかりません。
そこで、電源ケーブルのプラグ付近に赤いテープで目印をし、
そのケーブルがシングル電源の機器につながっていることがわかるようにしました。
おわりに
ケーブリングでやってはいけないこと
ケーブリングをする上でやってはいけないことをリストにしてみます。
- 直接ラックをまたいだ配線はしない
- 無駄に長いケーブルを使用しない
- ラベルを付けていないケーブルを使用しない
- ラックの前後の支柱（マウントアングル）の間を通す配線はしない
- ケーブルのクセを取らずに配線しない
- ケーブルがケーブルをまたぐような配線はしない
- エアフローを邪魔するような配線はしない（ファンの前を通るような配線はしない）
改めて学んだこと
移設という一度に大きく変更を加えるタイミングができたことは、
現場環境を改善するには大きな意味がありました。
特に今回の改善を通して、配線をきれいにすることの意味や大変さ、
現場環境を整えていくことの重要性を改めて認識できました。
平時の現場作業は多少煩雑でも対応できますが、
いざ有事の際に環境が整然としているかどうかで対応スピードが大きく変わってきます。
設置時の安易な対応が後々作業負荷を大きくしているということを認識しながら、
現場を継続的に改善していきます。
-
写真出典元 Roger Gregory | Flickr。↩
