CentOS5.5 に MongoDBのインストール

Posted by 岩本＠サーバー事業部 in MongoDB, サーバー on 2010 年 11 月 25 日

今年もあと1ヶ月と少しになりました。年をとる毎に1年てほんと早いよねぇーと、すっかり社内でももちきりです。

どうもこんにちは、岩本＠サーバー事業部です。

ソリューションぶのo2先輩より、とある案件で使うためサーバーに

「MongoDBをインストールしろ」とのご命令を受けましたので、その時のログです。

MongoDBはコンパイルが必要なく、

# cd /usr/local/src
# wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.6.4.tgz
# tar zxvf mongodb-linux-i686-1.6.4.tgz
# mv mongodb-linux-i686-1.6.4 mongodb
# mv mongodb /usr/local

# /usr/local/mongodb/bin/mongod

以上！

って言ったら怒られたので、ここから起動スクリプトの作成。

http://ringio-blog.appspot.com/2010/10/mongodb-startup-script

こちらのサイトを参考にさせていただきました。

lockファイルがあると、うまく起動しない時があるらしく、lockファイルを消す処理を入れました。

# vi /etc/init.d/mongod

#!/bin/sh
#
# chkconfig: – 85 15
# description: MongoDB daemon
#   #
# pidfile: /var/run/mongod.pid
# config: /etc/.conf

# Source function library.
. /etc/rc.d/init.d/functions

# parameter
mongoHome=/usr/local/mongodb
mongod=${mongoHome}/bin/mongod
mongodbpath=/var/mongodb
logfile=/var/log/mongod.log
pidfile=/var/run/mongod.pid
mongoconf=/etc/mongodb.conf

RETVAL=0

start() {
KIND=”MongoDB”

if test -e ${pidfile} ; then
echo “already running”

else
if test -e ${mongodbpath}/mongod.lock ; then
rm -f ${mongodbpath}/mongod.lock
fi

echo -n $”Starting $KIND services: ”

${mongod} –pidfilepath=${pidfile} –dbpath=${mongodbpath} –logappend –logpath=${logfile} –config=${mongoconf} –fork
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch ${mongodbpath}/mongod.lock || RETVAL=1
return $RETVAL
fi
}

stop() {
echo
KIND=”MongoDB”
echo -n $”Shutting down $KIND services: ”
killproc $mongod
RETVAL=$?
[ $RETVAL -eq 0 ] && rm -f ${mongodbpath}/mongod.lock ${pidfile}
echo “”
return $RETVAL
}

restart() {
stop
start
}

status() {
KIND=”MongoDB”

if test -e ${pidfile} ; then
echo “mongod is running”
echo “if mongod could not run, please remove pidfile”
else
echo “mongod is not running”
fi
}

case “$1″ in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
status)
status
;;
*)
echo $”Usage: $0 {start|stop|status|restart}”
exit 2
esac

exit $?

さらに、認証の設定

# vi /etc/mongodb.conf

noauth = false
auth = true

DBユーザーの作成

# mongo
> use admin
> db.addUser(“username”, “password”)

ユーザー認証の確認

# mongo
> db.auth(“username”, “password”)

以上。これで、o2氏にもご納得いただけたかと。

変なところがあれば、ご指摘頂けると幸いです。

No Comments

ぐるなび位置情報をMongoDBに保存

Posted by o2 in MongoDB, PHP on 2010 年 11 月 2 日

久しぶりに会社のブログを書きます。
１年ぶりになるでしょうか。。

最近はMongoDBに興味があって触っています。
MongoDBの紹介兼ねてインストールと、簡単なプログラムを書きました。

MongoDBはトランザクション、テーブルjoin、auto incrementを使えませんが、高速でスケーラビリティな点が注目されているDBです。
MongoDBはJSON形式でデータを扱い、JavaScriptの記述でデータを操作します。

では早速インストール。
ubuntu 10.10だと以下でインストール出来ます。

// 参考： http://www.mongodb.org/display/DOCS/Ubuntu+and+Debian+packages
$ sudo apt-add-repository 'deb http://downloads.mongodb.org/distros/ubuntu 10.10 10gen'
$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10
$ sudo aptitude install mongodb-stable

$ mongo --version
MongoDB shell version: 1.6.4

// 自動起動設定
$ runlevel
N 2
$ sudo sysv-rc-conf

早速位置情報からやってみます。
位置情報はMongoDBのv1.3.3から対応しています。
次の操作は、DBに位置情報を登録し、位置情報として扱うようにIndexを貼り、データの取得を実行します。

$ mongo
> db.map.insert( { loc: {lat:35.705969 , lng: 139.74884} } );
> db.map.ensureIndex( { loc : "2d" } )
> db.map.find( { loc : { $near : [35.705969,139.74884] } } ).limit(20)

次に、PHPでぐるなびの位置情報を収集して、MongoDBに格納する処理。
先にPHPにmongodbのライブラリを導入。

$ sudo pecl install mongo
$ sudo vi /etc/php5/conf.d/mongodb.ini
extention=mongo.so

Services_Gnaviのライブラリは http://lab.totoro.ws/gnavi/ のサイトからダウンロードしました。
- gnavi.php

<?php
require('Services/Gnavi.php');

// -- 設定 --
$access_key = 'ぐるなびアクセスキー';
$rows = 999;
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
// -- 設定 --

$gnavi = new Services_Gnavi($access_key);

$gnavi->searchSubcategory();
$cate = $gnavi->getResult();
$_cate = $cate['category_s'];

foreach(range(1,47) as $num){
$pref = sprintf("PREF%02d",$num);
$opt = array('pref'=> $pref, 'hit_per_page' => $rows,'offset_page' => 1, 'coordinates_mode' => 2);
print $pref . "\n";
foreach($_cate as $r){
$opt['category_s'] = $r['category_s_code'];
$res = getGnavi($gnavi,$opt);
print " " . $opt['category_s'];
if ($res['total_hit_count'] == 1) $res['rest'] = array($res['rest']);
save($col,$res['rest']);
}
print "\n";
}
print "End\n";

function save($col,$res){
if (!$res) return;
$fmt = 'name,name_kana,address,tel,pr,code,category';
$fmt = split(',',$fmt);
foreach($res as $row){
$doc = array();
foreach($fmt as $key){
$doc[$key] = $row[$key];
}
// 位置情報
$doc['loc'] = array('lat' => (double)$row['latitude'],'lng'=> (double)$row['longitude']);
$col->insert( $doc );
}
}

function getGnavi($gnavi,$opt){
$gnavi->searchRestaurant($opt);
return $gnavi->getResult();
}

以上でぐるなびの情報がMongoDBに格納できました。

次に、実際にPHPから取得します。
位置情報のパラメーターは以下になります。
$near 現在地から近い位置情報を検索
$box 長方形の範囲内の位置情報を検索
$center 中心から半径の距離に含まれる位置情報を検索

- maps.php

<?php
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
//$query['loc']['$near'] = array(35.705969,139.74884); // 東京
//$query['loc']['$near'] = array(43.068887774169625, 141.3720703125); // 北海道
$query['loc']['$near'] = array(35.47856499535729, 134.241943359375); // 鳥取
$cursor = $col->find($query)->limit(20);

while( $cursor->hasNext() ) {
var_dump( $cursor->getNext() );
}

とても簡単な記述で、位置情報の取得が出来ました。
コードが簡潔に書けると嬉しくなります。

以上です。

○後日談
ぐるなびの小業態は複数選択可能なパラメータだったので店舗情報が重複していた。
MongoDBには重複した情報をINDEX設定時に削除出来るので、以下の作法で解消。


> db.gnavi.count();
122726
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { name: 1 , address: 1 } , { unique: true, dropDups: true } );
> db.gnavi.count();
58448
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { loc: "2d" } );

No Comments

xargs と exec

Posted by 岩本＠サーバー事業部 in サーバー on 2010 年 9 月 22 日

今日は中秋の名月だとか、どうりで朝から体毛がよく伸びるが図です。こんにちは。岩本@サーバー事業部です。

Linuxサーバーで差分バックアップを行う際、findを使って差分ファイルを抜き出し、

tarで圧縮をするのが一般的かと思います。

1日以内の更新ファイルを見つけて、tarで圧縮

find $BACKUPDIR -mtime -1 -type f | xargs tar czvf /misc/backup/backup_daily.tar.gz

しかし、上記だとファイル名にスペースや文字化けが入っていると、xargsがクォート処理されていないため

うまく動いてくれません。

そこでっ

find $BACKUPDIR -mtime -1 -type f -exec tar czvf /misc/backup/backup_daily.tar.gz “{}”  \;

でも、これだと、検索アイテム毎に処理を行うのでリソースを食いますし、

元ファイル毎に圧縮ファイルが上書きされていきます。（tarのオプションで上書きは解消できるはず？）

で、色々と調べていくと、おしりの”{}”  \;を”{}” +と変更することで、逐次ではなく、検索結果をまとめて処理してくれるとか。

find $BACKUPDIR -mtime -1 -type f -exec tar czvf /misc/backup/backup_daily.tar.gz “{}” +

とゆうわけで、xargsとexecの覚書です。

No Comments

CentOSにDAG（rpmforge）のyumリポジトリの追加

Posted by 岩本＠サーバー事業部 in サーバー on 2010 年 9 月 2 日

もうすっかり9月ですね、岩本@サーバー事業部です。

CentOSを新規でインストールする時、標準のyumリポジトリでは足りず、DAGを利用する際、

yumリポジトリの追加方法の覚書です。なぜかいつもよく忘れます。

DAGのサイトより

左側メニュー

[RPM packages]

ページ中段
[Getting started Please read "Installation and Configuration" from the FAQ to get started quickl.]

にて、各OS毎のリポジトリ追加方法が載っています。

CentOS5はRedHatEL5のリポジトリを使います。

# rpm -Uhv http://apt.sw.be/redhat/el5/en/i386/rpmforge/RPMS/rpmforge-release-0.3.6-1.el5.rf.i386.rpm

No Comments

XenServerにてゲストが利用してるLVの確認方法

Posted by 岩本＠サーバー事業部 in サーバー, 仮想化 on 2010 年 8 月 5 日

貯めたネタがあるので、今日は連投します。(風邪薬のせいで若干ハイテンション気味です)

こんにちは、岩本＠サーバー事業部です。

 

XenServerのストレージにローカルストレージ/iSCSIを使用している場合、ゲスト毎にストレージ上にLVが作成されます。

 

# lvscan
  inactive          ‘/dev/VG_XenStorage-1900116f-b4b4-fdea-e83b-08b642faab9f/MGT’ [4.00 MB] inherit
  ACTIVE            ‘/dev/VG_XenStorage-1900116f-b4b4-fdea-e83b-08b642faab9f/VHD-8aeae1da-f7f6-477a-884c-06abeacddc48′ [20.05 GB] inherit
  ACTIVE            ‘/dev/VG_XenStorage-1900116f-b4b4-fdea-e83b-08b642faab9f/VHD-981729b9-14ce-405c-a743-94dcb77bf93b’ [30.07 GB] inherit
  ACTIVE            ‘/dev/VG_XenStorage-1900116f-b4b4-fdea-e83b-08b642faab9f/VHD-855febe4-f8b1-4de9-90fa-50391a26583b’ [20.05 GB] inherit

 

各LVがどのゲストになるかの確認方法です。

 

XenServerのコンソールより

# xe vbd-list
uuid ( RO)             : 328c4578-0a4b-93d8-325b-e9e3f967edac
          vm-uuid ( RO): b4685f2a-9ebf-de2e-34b1-76e2c8103638
    vm-name-label ( RO): Sanma
         vdi-uuid ( RO): 855febe4-f8b1-4de9-90fa-50391a26583b
            empty ( RO): false
           device ( RO): xvda

uuid ( RO)             : 8c9d52ba-1886-2be1-f076-f7562866beb8
          vm-uuid ( RO): 0439c4c8-291e-6f81-c33b-8f0cd187ec88
    vm-name-label ( RO): CentOS 5.3 (2)
         vdi-uuid ( RO): <not in database>
            empty ( RO): true
           device ( RO): xvdd

uuid ( RO)             : ee5bce08-2b16-74fb-9886-247a132755e9
          vm-uuid ( RO): c36e9b1f-168d-fca0-5c41-7b43cd15baca
    vm-name-label ( RO): work-station
         vdi-uuid ( RO): 8aeae1da-f7f6-477a-884c-06abeacddc48
            empty ( RO): false
           device ( RO): xvda

uuid ( RO)             : e65d09c7-ac24-f33d-1467-11367bc1d78d
          vm-uuid ( RO): c36e9b1f-168d-fca0-5c41-7b43cd15baca
    vm-name-label ( RO): work-station
         vdi-uuid ( RO): <not in database>
            empty ( RO): true
           device ( RO): xvdd

uuid ( RO)             : 67eb6f35-1316-6fad-d80b-a60ddf860195
          vm-uuid ( RO): b4685f2a-9ebf-de2e-34b1-76e2c8103638
    vm-name-label ( RO): Sanma
         vdi-uuid ( RO): <not in database>
            empty ( RO): true
           device ( RO): xvdd

uuid ( RO)             : 3ebe3b3e-9778-d153-2c23-20d7f5c15377
          vm-uuid ( RO): 0439c4c8-291e-6f81-c33b-8f0cd187ec88
    vm-name-label ( RO): CentOS 5.3 (2)
         vdi-uuid ( RO): 981729b9-14ce-405c-a743-94dcb77bf93b
            empty ( RO): false
           device ( RO): xvda

 

 

[vdi-uuid]のUUIDがコマンド[LVSCAN] での一覧['/dev/VG_XenStorage-xxxxxxxx/VHD-]以下の値となります。

No Comments