○MongoDBとMySQLの同時接続時のパフォーマンスを評価しました。
MongoDB速度評価(PDF形式)

○社内向けにMongoDB勉強会をしました。

社内向けにMongoDB勉強会をしました。
社内フレームワークDeco上での実装について。

先日から社内がMongoDB一色です。どうもこんにちは、岩本＠サーバー事業部です。

とゆうわけで、MongoDBのバックアップスクリプト書きました。

弊社はサーバー監視にNagiosを使っているので、通知部分にはNagios絡みのコマンドを書いてますが

適当に変更してお使いください。

#!/bin/bash

OUTPUT=”/backup”
MONGOBIN=”/usr/local/mongodb/bin”
MONGOUSER=”ユーザー”
MONGOPASS=”パスワード”
PHASE=”DB Dump”
FILEDATE=`date +”%Y-%m-%d” –date “1 day ago”`
HOSTNAME=`hostname | cut -d “.” -f 1`

$MONGOBIN/mongodump -u $MONGOUSER -password=$MONGOPASS -o $OUTPUT/mongo_dump
STATUS=$?
if [ "$STATUS" = "0" ] ; then

PHASE=”Archive to Dump”
cd $OUTPUT
/bin/tar czvf $OUTPUT/mongodb_$FILEDATE.dump.tar.gz ./mongo_dump
STATUS=$?
rm -rf $OUTPUT/mongo_dump

if [ "$STATUS" = "0" ] ; then
PHASE=”Backup is OK”
# 成功時の通知
/root/bin/check_result_via_nsca.sh  $HOSTNAME MONGODB_BACKUP 0 “$PHASE”
fi

else
# 失敗時の通知
/root/bin/check_result_via_nsca.sh  $HOSTNAME MONGODB_BACKUP 2 “$PHASE”
fi

変なところがあれば、随時突っ込みください。

今年もあと1ヶ月と少しになりました。年をとる毎に1年てほんと早いよねぇーと、すっかり社内でももちきりです。

どうもこんにちは、岩本＠サーバー事業部です。

ソリューションぶのo2先輩より、とある案件で使うためサーバーに

「MongoDBをインストールしろ」とのご命令を受けましたので、その時のログです。

MongoDBはコンパイルが必要なく、

# cd /usr/local/src
# wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.6.4.tgz
# tar zxvf mongodb-linux-i686-1.6.4.tgz
# mv mongodb-linux-i686-1.6.4 mongodb
# mv mongodb /usr/local

# /usr/local/mongodb/bin/mongod

以上！

って言ったら怒られたので、ここから起動スクリプトの作成。

http://ringio-blog.appspot.com/2010/10/mongodb-startup-script

こちらのサイトを参考にさせていただきました。

lockファイルがあると、うまく起動しない時があるらしく、lockファイルを消す処理を入れました。

# vi /etc/init.d/mongod

#!/bin/sh
#
# chkconfig: – 85 15
# description: MongoDB daemon
#   #
# pidfile: /var/run/mongod.pid
# config: /etc/.conf

# Source function library.
. /etc/rc.d/init.d/functions

# parameter
mongoHome=/usr/local/mongodb
mongod=${mongoHome}/bin/mongod
mongodbpath=/var/mongodb
logfile=/var/log/mongod.log
pidfile=/var/run/mongod.pid
mongoconf=/etc/mongodb.conf

RETVAL=0

start() {
KIND=”MongoDB”

if test -e ${pidfile} ; then
echo “already running”

else
if test -e ${mongodbpath}/mongod.lock ; then
rm -f ${mongodbpath}/mongod.lock
fi

echo -n $”Starting $KIND services: ”

${mongod} –pidfilepath=${pidfile} –dbpath=${mongodbpath} –logappend –logpath=${logfile} –config=${mongoconf} –fork
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch ${mongodbpath}/mongod.lock || RETVAL=1
return $RETVAL
fi
}

stop() {
echo
KIND=”MongoDB”
echo -n $”Shutting down $KIND services: ”
killproc $mongod
RETVAL=$?
[ $RETVAL -eq 0 ] && rm -f ${mongodbpath}/mongod.lock ${pidfile}
echo “”
return $RETVAL
}

restart() {
stop
start
}

status() {
KIND=”MongoDB”

if test -e ${pidfile} ; then
echo “mongod is running”
echo “if mongod could not run, please remove pidfile”
else
echo “mongod is not running”
fi
}

case “$1″ in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
status)
status
;;
*)
echo $”Usage: $0 {start|stop|status|restart}”
exit 2
esac

exit $?

さらに、認証の設定

# vi /etc/mongodb.conf

noauth = false
auth = true

DBユーザーの作成

# mongo
> use admin
> db.addUser(“username”, “password”)

ユーザー認証の確認

# mongo
> db.auth(“username”, “password”)

以上。これで、o2氏にもご納得いただけたかと。

変なところがあれば、ご指摘頂けると幸いです。

久しぶりに会社のブログを書きます。
１年ぶりになるでしょうか。。

最近はMongoDBに興味があって触っています。
MongoDBの紹介兼ねてインストールと、簡単なプログラムを書きました。

MongoDBはトランザクション、テーブルjoin、auto incrementを使えませんが、高速でスケーラビリティな点が注目されているDBです。
MongoDBはJSON形式でデータを扱い、JavaScriptの記述でデータを操作します。

では早速インストール。
ubuntu 10.10だと以下でインストール出来ます。

// 参考： http://www.mongodb.org/display/DOCS/Ubuntu+and+Debian+packages
$ sudo apt-add-repository 'deb http://downloads.mongodb.org/distros/ubuntu 10.10 10gen'
$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10
$ sudo aptitude install mongodb-stable

$ mongo --version
MongoDB shell version: 1.6.4

// 自動起動設定
$ runlevel
N 2
$ sudo sysv-rc-conf

早速位置情報からやってみます。
位置情報はMongoDBのv1.3.3から対応しています。
次の操作は、DBに位置情報を登録し、位置情報として扱うようにIndexを貼り、データの取得を実行します。

$ mongo
> db.map.insert( { loc: {lat:35.705969 , lng: 139.74884} } );
> db.map.ensureIndex( { loc : "2d" } )
> db.map.find( { loc : { $near : [35.705969,139.74884] } } ).limit(20)

次に、PHPでぐるなびの位置情報を収集して、MongoDBに格納する処理。
先にPHPにmongodbのライブラリを導入。

$ sudo pecl install mongo
$ sudo vi /etc/php5/conf.d/mongodb.ini
extention=mongo.so


Services_Gnaviのライブラリは http://lab.totoro.ws/gnavi/ のサイトからダウンロードしました。
- gnavi.php

<?php
require('Services/Gnavi.php');

// -- 設定 --
$access_key = 'ぐるなびアクセスキー';
$rows = 999;
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
// -- 設定 --

$gnavi = new Services_Gnavi($access_key);

$gnavi->searchSubcategory();
$cate = $gnavi->getResult();
$_cate = $cate['category_s'];

foreach(range(1,47) as $num){
$pref = sprintf("PREF%02d",$num);
$opt = array('pref'=> $pref, 'hit_per_page' => $rows,'offset_page' => 1, 'coordinates_mode' => 2);
print $pref . "\n";
foreach($_cate as $r){
$opt['category_s'] = $r['category_s_code'];
$res = getGnavi($gnavi,$opt);
print " " . $opt['category_s'];
if ($res['total_hit_count'] == 1) $res['rest'] = array($res['rest']);
save($col,$res['rest']);
}
print "\n";
}
print "End\n";

function save($col,$res){
if (!$res) return;
$fmt = 'name,name_kana,address,tel,pr,code,category';
$fmt = split(',',$fmt);
foreach($res as $row){
$doc = array();
foreach($fmt as $key){
$doc[$key] = $row[$key];
}
// 位置情報
$doc['loc'] = array('lat' => (double)$row['latitude'],'lng'=> (double)$row['longitude']);
$col->insert( $doc );
}
}

function getGnavi($gnavi,$opt){
$gnavi->searchRestaurant($opt);
return $gnavi->getResult();
}


以上でぐるなびの情報がMongoDBに格納できました。

次に、実際にPHPから取得します。
位置情報のパラメーターは以下になります。
$near 現在地から近い位置情報を検索
$box 長方形の範囲内の位置情報を検索
$center 中心から半径の距離に含まれる位置情報を検索

- maps.php

<?php
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
//$query['loc']['$near'] = array(35.705969,139.74884); // 東京
//$query['loc']['$near'] = array(43.068887774169625, 141.3720703125); // 北海道
$query['loc']['$near'] = array(35.47856499535729, 134.241943359375); // 鳥取
$cursor = $col->find($query)->limit(20);

while( $cursor->hasNext() ) {
var_dump( $cursor->getNext() );
}

とても簡単な記述で、位置情報の取得が出来ました。
コードが簡潔に書けると嬉しくなります。

以上です。

○後日談
ぐるなびの小業態は複数選択可能なパラメータだったので店舗情報が重複していた。
MongoDBには重複した情報をINDEX設定時に削除出来るので、以下の作法で解消。


> db.gnavi.count();
122726
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { name: 1 , address: 1 } , { unique: true, dropDups: true } );
> db.gnavi.count();
58448
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { loc: "2d" } );