hive hbase handler_handler:function_handlersocket(5)

这段脚本从user表中取出来了 user_name, user_email 和created字段。

[matsunobu@host ~]$ perl sample.pl
Yukari Takeba yukari.takeba@dena.jp 2010-02-03 11:22:33

对于HandlerSocket，推荐使用persistent connection。以减少连接的次数。

HandlerSocket协议 is a small-sized text based protocol。

与memcached类似，可以使用telnet来获取数据。

[matsunobu@host ~]$ telnet 192.168.1.2 9998

Trying 192.168.1.2...

Connected to xxx.dena.jp (192.168.1.2).Escape character is '^]'.

P 0 test user PRIMARY user_name,user_email,created

0 1

0 = 1 101

0 3 Yukari Takeba yukari.takeba@dena.jp 2010-02-03 11:22:33Benchmarking

测试环境：

CPU: Nehalem 8 cores, E5540 @ 2.53GHz

RAM: 32GB (all data fit in the buffer pool)

MySQL Version: 5.1.50 with InnoDB Plugin

memcached/libmemcached version: 1.4.5(memcached), 0.44(libmemcached)

Network: Broadcom NetXtreme II BCM5709 1000Base-T x 3

仍然使用上面的user表，数据大概100w行。

SQL语句为：

SELECT user_name, user_email, created FROM user WHERE userid=?

memcached和HandlerSocket的客户端代码都用C/C++编写。

所有的客户端程序都位于另外一台机器上。通过TCP/IP与MYSQL/memcached服务器连接。

测试结果如下：

approx qps server CPU util
MySQL via SQL 105,000 %us 60% %sy 28%
memcached 420,000 %us 8% %sy 88%
HandlerSocket 750,000 %us 45% %sy 53%

HandlerSocket比传统的mysql快了7.5倍,而且%us的cpu使用率为mysql的3/4。

说明SQL层还是相当耗时的。避开SQL层之后，性能得到了明显的提升。

HandlerSocket比memcached快了78%。而且%sy占用的cpu比memcached要少得多。

虽然memcached是一个优秀的产品，但是还有很大的提升空间。

花荣注：比如七夜就改写了memcached的部分代码。

再来看一下HandlerSocket测试的时候oprofile的输出：

samples % app name symbol name
984785 5.9118 bnx2 /bnx2
847486 5.0876 ha_innodb_plugin.so.0.0.0 ut_delay
545303 3.2735 ha_innodb_plugin.so.0.0.0 btr_search_guess_on_hash
317570 1.9064 ha_innodb_plugin.so.0.0.0 row_search_for_mysql
298271 1.7906 vmlinux tcp_ack
291739 1.7513 libc-2.5.so vfprintf
264704 1.5891 vmlinux .text.super_90_sync
248546 1.4921 vmlinux blk_recount_segments
244474 1.4676 libc-2.5.so _int_malloc
226738 1.3611 ha_innodb_plugin.so.0.0.0 _ZL14build_template
P19row_prebuilt_structP3THDP8st_tablej
206057 1.2370 HandlerSocket.so dena::hstcpsvr_worker::run_one_ep()
183330 1.1006 ha_innodb_plugin.so.0.0.0 mutex_spin_wait
175738 1.0550 HandlerSocket.so dena::dbcontext::cmd_find_internal(dena::dbcallback_i&, dena::prep_stmt const&, ha_rkey_function, dena::cmd_exec_args const&)
169967 1.0203 ha_innodb_plugin.so.0.0.0 buf_page_get_known_nowait
165337 0.9925 libc-2.5.so memcpy
149611 0.8981 ha_innodb_plugin.so.0.0.0 row_sel_store_mysql_rec
148967 0.8943 vmlinux generic_make_request

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-27117-5.html