Archive for category MongoDB
MongoDB勉強会
○MongoDBとMySQLの同時接続時のパフォーマンスを評価しました。
MongoDB速度評価(PDF形式)
○社内向けにMongoDB勉強会をしました。
社内向けにMongoDB勉強会をしました。
社内フレームワークDeco上での実装について。
Mongodb のバックアップスクリプト
Posted by 岩本@サーバー事業部 in MongoDB, サーバー on 2010年11月29日
先日から社内がMongoDB一色です。どうもこんにちは、岩本@サーバー事業部です。
とゆうわけで、MongoDBのバックアップスクリプト書きました。
弊社はサーバー監視にNagiosを使っているので、通知部分にはNagios絡みのコマンドを書いてますが
適当に変更してお使いください。
#!/bin/bash
OUTPUT=”/backup”
MONGOBIN=”/usr/local/mongodb/bin”
MONGOUSER=”ユーザー”
MONGOPASS=”パスワード”
PHASE=”DB Dump”
FILEDATE=`date +”%Y-%m-%d” –date “1 day ago”`
HOSTNAME=`hostname | cut -d “.” -f 1`$MONGOBIN/mongodump -u $MONGOUSER -password=$MONGOPASS -o $OUTPUT/mongo_dump
STATUS=$?
if [ “$STATUS” = “0” ] ; thenPHASE=”Archive to Dump”
cd $OUTPUT
/bin/tar czvf $OUTPUT/mongodb_$FILEDATE.dump.tar.gz ./mongo_dump
STATUS=$?
rm -rf $OUTPUT/mongo_dumpif [ “$STATUS” = “0” ] ; then
PHASE=”Backup is OK”
# 成功時の通知
/root/bin/check_result_via_nsca.sh $HOSTNAME MONGODB_BACKUP 0 “$PHASE”
fielse
# 失敗時の通知
/root/bin/check_result_via_nsca.sh $HOSTNAME MONGODB_BACKUP 2 “$PHASE”
fi
変なところがあれば、随時突っ込みください。
CentOS5.5 に MongoDBのインストール
Posted by 岩本@サーバー事業部 in MongoDB, サーバー on 2010年11月25日
今年もあと1ヶ月と少しになりました。年をとる毎に1年てほんと早いよねぇーと、すっかり社内でももちきりです。
どうもこんにちは、岩本@サーバー事業部です。
ソリューションぶのo2先輩より、とある案件で使うためサーバーに
「MongoDBをインストールしろ」とのご命令を受けましたので、その時のログです。
MongoDBはコンパイルが必要なく、
# cd /usr/local/src
# wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.6.4.tgz
# tar zxvf mongodb-linux-i686-1.6.4.tgz
# mv mongodb-linux-i686-1.6.4 mongodb
# mv mongodb /usr/local
# /usr/local/mongodb/bin/mongod
以上!
って言ったら怒られたので、ここから起動スクリプトの作成。
http://ringio-blog.appspot.com/2010/10/mongodb-startup-script
こちらのサイトを参考にさせていただきました。
lockファイルがあると、うまく起動しない時があるらしく、lockファイルを消す処理を入れました。
# vi /etc/init.d/mongod
#!/bin/sh
#
# chkconfig: – 85 15
# description: MongoDB daemon
# #
# pidfile: /var/run/mongod.pid
# config: /etc/.conf# Source function library.
. /etc/rc.d/init.d/functions# parameter
mongoHome=/usr/local/mongodb
mongod=${mongoHome}/bin/mongod
mongodbpath=/var/mongodb
logfile=/var/log/mongod.log
pidfile=/var/run/mongod.pid
mongoconf=/etc/mongodb.confRETVAL=0
start() {
KIND=”MongoDB”if test -e ${pidfile} ; then
echo “already running”else
if test -e ${mongodbpath}/mongod.lock ; then
rm -f ${mongodbpath}/mongod.lock
fiecho -n $”Starting $KIND services: ”
${mongod} –pidfilepath=${pidfile} –dbpath=${mongodbpath} –logappend –logpath=${logfile} –config=${mongoconf} –fork
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch ${mongodbpath}/mongod.lock || RETVAL=1
return $RETVAL
fi
}stop() {
echo
KIND=”MongoDB”
echo -n $”Shutting down $KIND services: ”
killproc $mongod
RETVAL=$?
[ $RETVAL -eq 0 ] && rm -f ${mongodbpath}/mongod.lock ${pidfile}
echo “”
return $RETVAL
}restart() {
stop
start
}status() {
KIND=”MongoDB”if test -e ${pidfile} ; then
echo “mongod is running”
echo “if mongod could not run, please remove pidfile”
else
echo “mongod is not running”
fi
}case “$1″ in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
status)
status
;;
*)
echo $”Usage: $0 {start|stop|status|restart}”
exit 2
esacexit $?
さらに、認証の設定
# vi /etc/mongodb.conf
noauth = false
auth = true
DBユーザーの作成
# mongo
> use admin
> db.addUser(“username”, “password”)
ユーザー認証の確認
# mongo
> db.auth(“username”, “password”)
以上。これで、o2氏にもご納得いただけたかと。
変なところがあれば、ご指摘頂けると幸いです。
ぐるなび位置情報をMongoDBに保存
久しぶりに会社のブログを書きます。
1年ぶりになるでしょうか。。
最近はMongoDBに興味があって触っています。
MongoDBの紹介兼ねてインストールと、簡単なプログラムを書きました。
MongoDBはトランザクション、テーブルjoin、auto incrementを使えませんが、高速でスケーラビリティな点が注目されているDBです。
MongoDBはJSON形式でデータを扱い、JavaScriptの記述でデータを操作します。
では早速インストール。
ubuntu 10.10だと以下でインストール出来ます。
// 参考: http://www.mongodb.org/display/DOCS/Ubuntu+and+Debian+packages
$ sudo apt-add-repository 'deb http://downloads.mongodb.org/distros/ubuntu 10.10 10gen'
$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10
$ sudo aptitude install mongodb-stable
$ mongo --version
MongoDB shell version: 1.6.4
// 自動起動設定
$ runlevel
N 2
$ sudo sysv-rc-conf
早速位置情報からやってみます。
位置情報はMongoDBのv1.3.3から対応しています。
次の操作は、DBに位置情報を登録し、位置情報として扱うようにIndexを貼り、データの取得を実行します。
$ mongo
> db.map.insert( { loc: {lat:35.705969 , lng: 139.74884} } );
> db.map.ensureIndex( { loc : "2d" } )
> db.map.find( { loc : { $near : [35.705969,139.74884] } } ).limit(20)
次に、PHPでぐるなびの位置情報を収集して、MongoDBに格納する処理。
先にPHPにmongodbのライブラリを導入。
$ sudo pecl install mongo
$ sudo vi /etc/php5/conf.d/mongodb.ini
extention=mongo.so
Services_Gnaviのライブラリは http://lab.totoro.ws/gnavi/ のサイトからダウンロードしました。
– gnavi.php
<?php
require('Services/Gnavi.php');
// -- 設定 --
$access_key = 'ぐるなびアクセスキー';
$rows = 999;
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
// -- 設定 --
$gnavi = new Services_Gnavi($access_key);
$gnavi->searchSubcategory();
$cate = $gnavi->getResult();
$_cate = $cate['category_s'];
foreach(range(1,47) as $num){
$pref = sprintf("PREF%02d",$num);
$opt = array('pref'=> $pref, 'hit_per_page' => $rows,'offset_page' => 1, 'coordinates_mode' => 2);
print $pref . "n";
foreach($_cate as $r){
$opt['category_s'] = $r['category_s_code'];
$res = getGnavi($gnavi,$opt);
print " " . $opt['category_s'];
if ($res['total_hit_count'] == 1) $res['rest'] = array($res['rest']);
save($col,$res['rest']);
}
print "n";
}
print "Endn";
function save($col,$res){
if (!$res) return;
$fmt = 'name,name_kana,address,tel,pr,code,category';
$fmt = split(',',$fmt);
foreach($res as $row){
$doc = array();
foreach($fmt as $key){
$doc[$key] = $row[$key];
}
// 位置情報
$doc['loc'] = array('lat' => (double)$row['latitude'],'lng'=> (double)$row['longitude']);
$col->insert( $doc );
}
}
function getGnavi($gnavi,$opt){
$gnavi->searchRestaurant($opt);
return $gnavi->getResult();
}
以上でぐるなびの情報がMongoDBに格納できました。
次に、実際にPHPから取得します。
位置情報のパラメーターは以下になります。
$near 現在地から近い位置情報を検索
$box 長方形の範囲内の位置情報を検索
$center 中心から半径の距離に含まれる位置情報を検索
– maps.php
<?php
$mongo = new Mongo("localhost:27017");
$db = $mongo->selectDB( "MyDB" );
$col = $db->selectCollection( "gnavi" );
//$query['loc']['$near'] = array(35.705969,139.74884); // 東京
//$query['loc']['$near'] = array(43.068887774169625, 141.3720703125); // 北海道
$query['loc']['$near'] = array(35.47856499535729, 134.241943359375); // 鳥取
$cursor = $col->find($query)->limit(20);
while( $cursor->hasNext() ) {
var_dump( $cursor->getNext() );
}
とても簡単な記述で、位置情報の取得が出来ました。
コードが簡潔に書けると嬉しくなります。
以上です。
○後日談
ぐるなびの小業態は複数選択可能なパラメータだったので店舗情報が重複していた。
MongoDBには重複した情報をINDEX設定時に削除出来るので、以下の作法で解消。
> db.gnavi.count();
122726
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { name: 1 , address: 1 } , { unique: true, dropDups: true } );
> db.gnavi.count();
58448
> db.gnavi.dropIndexes();
> db.gnavi.ensureIndex( { loc: "2d" } );
最近のコメント