PHP,DDD,CQRS,Event Sourcing,Kubernetes,Docker,Golang

0%

前面写的一篇《了解mysql的并发控制》中了解了mysql的并发控制,主要是通过锁机制来控制并发的。控制严格的锁会影响性能,反之则影响数据安全性。而mysql的大多数事务性存储引擎实现的都不是简单的行级锁。基于提升并发性能的考虑,它们一般都同时实现了多版本并发控制(MVCC)。

可以认为MVCC是行级锁的一个变种,但是它在很多情况下避免了加锁操作,因此开销更低。虽然实现机制有所不同,但大都实现了非阻塞的读操作,写操作也只锁定必要的行。 MVCC的实现,是通过保存数据在某个时间点的快照来实现的。也就是说,不管需要执行多长时间,每个事务看到的数据都是一致的。

阅读全文 »

mysql事务可能大多数人都有所了解,本篇博文主要记录我了解的事务的一些细节之处,也必然对事务能有进一步的理解。 看过《高性能mysql》一书,上面写道事务就是一组原子性的sql查询,或者说一个独立的工作单元。可能这句话并不是那么好理解,什么叫原子性?什么又是独立的工作单元?看几个例子和几个名词解释或许更加有帮助。

在事务中,如果数据库引擎能够成功地对数据库应用一组查询的全部语句,那么就执行这组查询。如果其中有任何一条语句因为崩溃或其他原因无法执行,那么所有的语句都不会执行。也就是说,事务内的语句,要么全部执行成功,要么全部执行失败。 讲解事务最经典的例子还是银行转帐。

阅读全文 »

关于mysql的并发控制,主要涉及“锁”这个概念。本篇博文为纯文字理论,看似可能有点枯燥,但易于理解也易懂。 何谓“锁”,“锁”是用来干嘛的?

我们先来看一个例子,我们以Unix系统的email box为例,这是一个邮箱,邮箱中的所有邮件都串行在一起,彼此首尾相连。这种格式对于读取和分析邮件信息非常友好,同时投递邮件也很容易,只要在文件末尾附加新的邮件内容即可。 那么,问题来了! 如果有两个进程同一时刻对同一个邮箱投递邮件,会发生什么情况?显然,邮箱的数据会被破坏,两份邮件的内容会交叉的附加在邮箱文件的末尾。那么我们就需要一种东西来控制邮件的投递,使得一个客户投递邮件时,将邮箱锁住,此时其他客户无法对此邮箱进行投递而进入等待,直到这个客户投递完毕解开锁才能进行投递。这就是所谓的“锁”,与mysql中的“锁”概念类似。

阅读全文 »

今天才认识到原来JPEG文件有两种保存方式他们分别是Baseline JPEG(标准型)和Progressive JPEG(渐进式)。

两种格式有相同尺寸以及图像数据,他们的扩展名也是相同的,唯一的区别是二者显示的方式不同。 Baseline JPEG 这种类型的JPEG文件存储方式是按从上到下的扫描方式,把每一行顺序的保存在JPEG文件中。打开这个文件显示它的内容时,数据将按照存储时的顺序从上到下一行一行的被显示出来,直到所有的数据都被读完,就完成了整张图片的显示。如果文件较大或者网络下载速度较慢,那么就会看到图片被一行行加载的效果,这种格式的JPEG没有什么优点,因此,一般都推荐使用Progressive JPEG。

阅读全文 »

以前做过一个人人网的站内应用(http://apps.renren.com/rr_timer不过已经很久没更新了),其中就用到了OAtuth授权,今天要做个新浪微博授权登陆,那么正巧再复习一下OAuth认证和授权原理吧,也没多少时间写这玩意儿,网上之前看到一篇不错的就拉过来了。 OAuth是一个关于授权(authorization)的开放网络标准,在全世界得到广泛应用,目前的版本是2.0版。 本文对OAuth 2.0的设计思路和运行流程,做一个简明通俗的解释,主要参考材料为RFC 6749bg2014051201

阅读全文 »

此前安装过python,但因为安装pip过程中遇到了问题,所以把python也一起卸载了。现在重新安装一下这两个。 这里选择了python2.7.8版本进行安装,因为我需要使用sqlmap这个工具,而这个工具对python版本有要求,最新版本的python会出错,所以我选择了2.7.8的版本。 首先上官网https://www.python.org/downloads 下载

QQ截图20141118141425

下载的是msi文件,直接打开像安装普通软件一样安装就行。但有一点一定要注意,如果你要使用pip,则安装python时选择的安装路径目录中不要有空格,如果安装到了Program Files这样的目录下,那么接下来安装的pip将无法正常运行,会报错。所以这里我直接选择了D盘下,安装前记得选择将python.exe添加到系统环境变量。 QQ图片20141118142038 安装完之后在CMD中输入python命令会看到欢迎界面。 接下来安装pip,上https://pip.pypa.io/en/latest/installing.html下载 get-pip.py脚本 在CMD下找到该文件目录并运行下列命令(需要管理员权限): python get-pip.py QQ截图20141118142644 安装好之后,会发现python安装目录下会多出一个Scripts目录(若之前没有)。 这时我们直接在命令行输入pip,会显示‘pip’不是内部命令,也不是可运行的程序。因为我们还没有添加环境变量。 只要在PATH变量中添加:D:\Python27\Scripts;(路径自己更换)就好了,输入pip list 查看安装情况 QQ截图20141118143306 如果出现下列错误,那么原因可能就是上面我所说的python安装路径目录名中有空格了

Fatal error in launcher: Unable to create process using ‘“D:\Program Files\Python27\python.exe” “D:\Program Files\Python27\Scripts\pip.exe” ‘

(完)

刚在写sql的时候思考了一下在不确定条件因素时的情况,之前看到别人使用过where 1=1这个条件, 这个条件始终为True,后来了解到在不定数量查询条件情况下,1=1可以很方便的规范语句。

一、不用where 1=1 在多条件查询中的困扰

  举个例子,如果您做查询页面,并且,可查询的选项有多个,同时,还让用户自行选择并输入查询关键词,那么,按平时的查询语句的动态构造,代码大体如下:

$sql=”select * from table where”;
if(!empty($age))
{
$sql .= ‘age=’.$age’;
}
if(!empty($address))
{
  $sql. = ‘and address=’.$address;
}

如果上述的两个if判断语句,均为true,即用户都输入了查询词,那么,最终的$sql动态构造语句变为: $sql= ‘select * from table where age=20 and address=”常州”‘; 可以看得出来,这是一条完整的正确的SQL查询语句,能够正确的被执行,并根据数据库是否存在记录,返回数据。 ②种假设 如果上述的两个if判断语句不成立,那么,最终的$sql动态构造语句变为: $sql = ‘select * from table where’; 现在,我们来看一下这条语句,由于where关键词后面需要使用条件,但是这条语句根本就不存在条件,所以,该语句就是一条错误的语句,肯定不能被执行,不仅报错,同时还不会查询到任何数据。 上述的两种假设,代表了现实的应用,说明,语句的构造存在问题,不足以应付灵活多变的查询条件。

二、使用 where 1=1 的好处

假如我们将上述的语句改为:

$sql=”select * from table where 1=1”;
if(!empty($age))
{
$sql .= ‘ and age=’.$age’;
}
if(!empty($address))
{
  $sql. = ‘and address=’.$address;
}

①种假设 如果两个if都成立,那么,语句变为: $sql = ‘select * from table where 1=1 and age=12 and address=”常州’”,很明显,该语句是一条正确的语句,能够正确执行,如果数据库有记录,肯定会被查询到。 ②种假设 如果两个if都不成立,那么,语句变为: $sql = ‘select * from table where 1=1’,现在,我们来看这条语句,由于where 1=1 是为true的语句,因此,该条语句语法正确,能够被正确执行,它的作用相当于:$sql = ‘select * from table’,即返回表中所有数据。 言下之意就是:如果用户在多条件查询页面中,不选择任何字段、不输入任何关键词,那么,必将返回表中所有数据;如果用户在页面中,选择了部分字段并且输入了部分查询关键词,那么,就按用户设置的条件进行查询。 说到这里,不知道您是否已明白,其实,where 1=1的应用,不是什么高级的应用,也不是所谓的智能化的构造,仅仅只是为了满足多条件查询页面中不确定的各种因素而采用的一种构造一条正确能运行的动态SQL语句的一种方法。 where 1=0; 这个条件始终为false,结果不会返回任何数据,只有表结构,可用于快速建表 “select * from table where 1=0”; 该select语句主要用于读取表的结构而不考虑表中的数据,这样节省了内存,因为可以不用保存结果集。 create table newtable as select * from oldtable where 1=0; 创建一个新表,而新表的结构与查询的表的结构是一样的。

6310d41cjw1em0lsear2xg20b408cn22

起初,网页设计者都会设计固定宽度的页面,最开始的电脑显示器分辨率种类不多,因为当时电脑本来就少,即使有变化也是 800 850 870 880。 后来随着显示器越来越多,以及笔记本的普及,这种方式的页面出现了问题。于是出现了一种新的布局方式宽度自适应布局。我们平时谈论的自适应布局,大多指的就是宽度自适应布局。 在这种布局下,出现了两派:

  • 百分比宽度布局
  • 流式布局

题主说的是第一派,宽度使用百分比,文字使用em。第二派的布局以 iGoogle 为代表(已经停止)。 再后来,浏览器大战 时代,firefox、Oparo、Chrome …… 出现,结束了 IE 一统江湖的局面,N 年没有更新的 IE6 发布了新版本,以前已 IE 为标准的 CSS 向 W3C 标准趋近,随后各种针对浏览器的 css hack 技术出现。 虽然浏览器这么多,但是响应式布局依然不是主流,人们还在使用 css hack 技术。注意我的用词——「不是主流」,虽然不是主流,不代表当时不被使用。 比如一向超前的伟大的 Google。当时没有响应式布局这个词语,但是慢慢出现了一个词——渐进增强,新词的出现总是伴随的旧词一起出现。就好比 3G 出现之前,没人管自己的手机叫 2G,所以,3G 和 2G 两个词是一起出现的(技术上当然2G技术先出现)。同理,渐进增强出现后,另一个词「优雅降级」也随之出现了。 词的意思可以自己看 wiki、Google,我只在这儿举一个例子,gmail 和 qqmail。 他俩的宽度都是 100%,都是自适应。但是: qqmail 就是 css hack 的完美体现,你用任何一个浏览器,几乎可以看到同一个样子的邮箱,腾讯的前端工程师们用各种 css hack 技术来展示邮箱页面,为的是统一的用户体验。 而 gmail 使用了渐进增强,你的浏览器越强,你看到的效果就越好,用户体验就越好。 再后来,就是大家都熟知的 Google 发布了 android,于是互联网大战从 PC 打到了手机。还有 HTML5 标准的发布。 手机虽然屏幕变小了,但是却提供了更丰富的功能。还记得以前用诺基亚上 QQ 的事儿吗?我们访问的是 3g.qq.com,当时我使用的是中兴的手机,访问 wap.qq.com,在后来的职能手机都是访问 m.qq.com。 不禁有人问「真的需要为每个手机分别设计一个网页吗?」、「真的需要为手机和电脑设计不同的网页吗?」,解决方法当然有很多种,可以看看 css zen garden 相信做过前端的都看过这个网站,一个神奇的网站。 最终的解决方案胜出者是响应式布局。 响应式布局被大家熟知的一个重要原因就是 twitter 开源了 bootstrap。Google 第一次完成了从先驱到烈士。 好了,上面介绍的是从从“自适应”到“响应式”,以下 Responsive design = RWD,Adaptive design = AWD。 先说共同点,两者都是因为越来越多的 移动设备( mobile, tablet device )加入到互联网中来而出现的为移动设备提供更好的体验的技术。用技术来使网页适应从小到大(现在到超大)的不同分辨率的屏幕。有人说,RWD 是 AWD 包含的一个子集。 RWD:Ethan Marcote 的文章是大家认为 RWD 的起源。他提出的 RWD 是采用 CSS 的 media query 技术,配合流体布局( fluid grids )和同样可以自适应的图片/视频等资源素材。以上所说,都是通过 HTML 和 CSS 就能完成的。一般来说,RWD 倾向于只改变元素的外观布局,而不大幅度改变内容。Jeffrey Zeldman 总结说,我们就把 RWD 定义为一切能用来为各种分辨率和设备性能优化视觉体验的技术吧。 AWD:Adaptive Design 是 Aaron Gustafson 的书的标题。他认为 AWD 在包括 RWD 的 CSS media query 技术以外,也要用 Javascript 来操作 HTML 来更适应移动设备的能力。AWD 有可能会针对移动端用户减去内容,减去功能。AWD 可以在服务器端就进行优化,把优化过的内容送到终端上。AWD 通常会牵扯到另外一个词 “progressive enhancement” 。 progressive enhancement(渐进增强):从针对最低端的,最低分辨率的设备的设计做起,逐步逐步为更高阶的设备增加功能和效果的做法。(换个角度说,也就是相当于为移动设备减去功能) RWD 和 AWD 在断点( break point )的区别: RWD 采用流体+断点,在断点之间,页面依然会随窗口大小自动缩放(通过 fluid grid ),直到遇到断点改变界面样式。相对的,AWD 只在针对几种分辨率(如1280,800,640,320px)进行优化,在断点之间的自动过渡比较少。 还有一种说法: RWD 一般来说需要在网页设计初期就开始(通常采用 mobile first 策略),所以旧的网站要做 RWD 很可能要完全重建。而 AWD 则采用保留现有桌面网站( desktop version )而对于更小的分辨率做针对性的优化(适应),这点对于很多老的网站来说很重要,因为重构成本太大。 另外,对于 mobile 用户的优化到底应该怎么做,有两方的说法各不相让。有人说,不应该因为用户使用的是 mobile device 就删去内容,限制他们的功能,应该平等对待。也有人说,正因为是移动设备,有其流量,性能,网速的局限性,用移动设备登录网站的目的也会更有针对性,要为 用户精简文字,精简最常用的功能放在首页,服务器端的优化才是真的针对 mobile 的优化。 最后: 在网上的各种说法里确实是有很多相互干扰相互矛盾的地方,但是其实技术都是摆在那里的。其实可以认为,AWD 在针对布局的优化中,可以采用 RWD 的策略,但是AWD 着力于更多其他的 JS 或者服务器上的优化,来强化移动端体验。 不用纠结于词汇,根据网站功能复杂度,预算和资源等,选择要使用的技术,从客户端的展现,到 JS,到服务器的优化等等。

今天试用了一下facebook的php性能调试工具xhprof,在安装的时候是一波三折,虽说从百度了安装方法,但也折腾了半天,不知是说明没写全还是我个人操作失误,那么我在这把我的安装方法讲述一下。环境是:Linux+Nginx+PHP

#cd /tmp
#mkdir xhprof
#cd xhprof
#wget http://pecl.php.net/get/xhprof-0.9.4.tgz
//解压
#tar zxf xhprof-0.9.4.tgz
#cd xhprof-0.9.4/extension
//拷贝xhprof_html和xhprof_lib两个文件夹至可访问的web目录下,我的web根目录为/home/www
#cp -r xhprof_html xhprof_lib /home/www
//运行phpize
#/usr/local/webserver/php/bin/phpize
//运行configure为下一步编译做准备,详情了解Linux下的configure命令
#./configure –with-php-config=/usr/local/php/bin/php-config
#make
#make install

安装完后你会看到一个提示Installing shared extensions /usr/local/php/lib/php/extensions/no-debug-non-zts-20060626/xhprof.so,说明xhprof.so这个模块被生成了 接下来修改php.ini文件,添加:

//添加xhprof.so这个扩展,位置就是刚才生成给你的
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20060626/xhprof.so
//指定生成测试报告分析日志的目录,并保证可写权限
xhprof.output_dir=/home/www/tmp

重启php-fpm重新加载php配置文件 #/etc/init.d/php-fpm restart 至此安装完毕,可以搞个phpinfo();页面看看,如果能看到下图则说明安装成功了QQ截图20141103143752

xhprof的使用

写一个php脚本如

xhprof_enable();
function test()
{
return ‘this is a test demo’;
}
test();
$xhprofData = xhprof_disable();
include_once ‘/home/www/houseinfo/xhprof_lib/utils/xhprof_lib.php’;
include_once ‘/home/www/houseinfo/xhprof_lib/utils/xhprof_runs.php’;
$xhprofRuns = new XHProfRuns_Default();
$xhprofRuns->save_run($xhprofData,’xhprof_foo’);
?>

通过URL访问该脚本后,会在之前设定的/home/www/tmp(php.ini中设定的)目录下生成分析日志,如“5457280fd8500.xhprof_foo.xhprof” 其中5457280fd8500为日志生成的id,通过地址http://YOUR\_URL/xhprof_html/index.php?run=**5457315580b0e**&source=xhprof_foo即可查看性能分析(如下图) QQ截图20141103154222 你可以将上面php代码最后一行改为这样,以便直接点击链接到分析页查看,而无需自己再查看id并拼接成URL访问

save\_run($xhprofData,'xhprof_foo'); echo '查看分析报告'; ?>

xhprof提供3种报告: 一、单一运行报告:通过http://YOUR\_URL/xhprof\_html/index.php?run=**5457315580b0e**&source=xhprof\_foo地址查看的单一运行时的报告 二、diff报告:地址如http://YOUR\_URL/xhprof_html/index.php?run1=**xxxxxx**&run2=**xxxxxxx**&source=xhprof\_foo,提供两次对比id即可。 三、汇总报告,指定一组run id来汇总得到您想要的报告视图。如果你有三个XHProf运行,都在”xhprof_foo‘命名空间下,run id分别是1,2,3。要查看这些运行的汇总报告:http://YOUR\_URL/xhprof\_html/index.php?run**=1,2,3**&source=xhprof_foo XHProf输出说明 1. Inclusive Time : 包括子函数所有执行时间。 2. Exclusive Time/Self Time : 函数执行本身花费的时间,不包括子树执行时间。 3. Wall Time : 花去了的时间或挂钟时间。 4. CPU Time : 用户耗的时间+ 内核耗的时间 5. Inclusive CPU : 包括子函数一起所占用的CPU 6. Exclusive CPU : 函数自身所占用的CPU 可是这个界面看起来不是很直观也不爽,我们还可以装一个graphviz画图工具

#wget http://www.graphviz.org/pub/graphviz/stable/SOURCES/graphviz-2.28.0.tar.gz
#tar -zxvf graphviz-2.28.0.tar.gz
#cd graphviz-2.28.0
#./configure
#make
#make install

安装完成后,会生成/usr/local/bin/dot文件,确保路径在PATH环境变量里,以便XHProf能找到它,graphviz处于/usr/local/lib/graphviz。 #vi ~/.bash_profile QQ截图20141104133618#echo $PATH 输出一下看看应该有了这个路径 QQ截图20141104135151 之后进入分析页面点击[View Full Callgraph]就能看到类似下图了

callgraph