Category: Coding
ffmpeg的正确使用姿势
6月
25
2017
一、 使用ffmpeg找出视频插入的关键帧
起因：某天晚上看一个科技评测节目，该节目宣称只要能够在视频中找到视频中插入的某一帧无关内容，就可以获得相应的奖品。我想了想应该是可以用代码实现的：
- 拿到该视频的文件
使用python3的一个工具you-get就能够做到。不过稍有曲折，我使用you-get去下载B站和优酷的视频都下载失败了，好在在该测评节目微博上找到了另外一个视频资源链接，使用you-get顺利下载下来，视频是640×360的，十分钟内容一共60M的MP4格式。
- 将视频逐帧抽离成为图片。
我先按照原样抽离，即抽离成640×360的图片，一共生成了8,988个文件，大小1.80 GB，不禁感慨视频压缩格式确实厉害啊，这压缩了多少倍啊，另外我考虑到可能更小的缩略图应该也拥有足够的分辨特征，所以也按照64×36的分辨率抽离了更小的缩略图
640×360逐帧抽离的图片截图
64×36逐帧抽离的图片截图
- 对比任意相邻图片的相似度。
图像相似度算法我没具体研究过，直接用的github上面的项目：https://github.com/MashiMaroLjc/Learn-to-identify-similar-images
一共有有四种算法，具体中文的文章可以参看链接：
https://segmentfault.com/a/1190000004467183
我使用了不同的算法得到的不同的结果：
由于之前excel的制图删掉了，只能用当时程序计算的文本信息凑合了，计算出来的相似度大致就是如下的数字列表。
- 绘图寻找关键帧
其实就是根据特征去拟合一条折线，能够正确反映出异常的关键帧在哪里。
其实这一步，我做了两三个小时，为了选择最佳的算法和最佳的效果，只有下图能够直截了当的反映出异常的帧在哪里，后来我想了想，如果加入跳帧的对比，比如第一帧和第三帧的特征，就能够更加准确的找到关键帧的位置。
http://mp.weixin.qq.com/s/K2YCm8QwnpI7dNTs048Jbg
二、 ffmpeg做音频剪辑命令
叠加两个声音，并按照第一个声音的长度截取音乐，然后输出16k，单声道，声音质量为4的音乐:
ffmpeg -i example1.wav -i example2.wav -filter_complex amix=inputs=2:duration=first -ar 16k -ac 1 -q:a 4 output.wav
参考：https://ffmpeg.org/ffmpeg-filters.html
重复某个音频文件4次并截取80秒的音频数据
ffmpeg -stream_loop 4 –I example.wav -c copy -t 80 output.wav
从00：00：15开始截取音频、视频，截取5s，然后原样输出到文件中
ffmpeg -ss 00:00:15 -t 00:00:05 –I example.mp4 -vcodec copy -acodec copy output.mp4
pcm（已知pcm文件格式为16k 16bit 单声道）转换到固定格式的wav文件中
ffmpeg -f s16le -ar 16k -ac 1 -i tts_file_119.pcm -ar 16k -ac 1 tts_file_119.wav
对音频文件增加渐入渐出过滤效果（淡入从0秒开始，持续10秒，淡出从50秒开始，持续10秒，设定音乐音量为2， -y为覆盖已存在文件）
ffmpeg -i input.mp3 -af “afade=t=in:ss=0:d=10,afade=t=out:st=50:d=10,volume=volume=0.2” -t 60 output.mp3 –y
更多声音过滤器：http://ffmpeg.org/ffmpeg-filters.html
设定背景音乐，循环播放并增加淡入淡出效果
ffmpeg -stream_loop 4 -iinput.wav -af “afade=t=in:ss=0:d=10,afade=t=out:st=50:d=10,volume=volume=0.2” -t 80 output.wav
一般来讲 ffmpeg的文件后缀都是自适应的，比如你设置的输出格式是mp3，那么文件就能自动转换成该格式的文件，具体的采样率等参数需要单独去设置调整。
Python操作数据库报错字符串异常
1月
14
2017
TypeError: not enough arguments for format string
使用Python连接数据库的时候,采用的非常非常轻量级的torndb,甚至于事务都不支持,所以用”select * from table where condition=’%s'” % (condition,)
因为用的比较原生,所以各种问题接连不断,最最恶心的就是字符串转义造成的一些列原因.
先采用
condition = re.escape(condition)
能对特殊字符进行转义,但是还是有问题,又报错TypeError: not enough arguments for format string 直到认真看输入的condition字符串的时候,才发现问题所在之处: condition中有% 需要替换%为%%才能正常执行,
condition= condition.replace('\%', '%%')
其实标题有问题,不只是操作数据库,只不过在操作数据库时候,忽略的字符串本身的内容,一直在错误的寻找解决方案.
Laravel 以及 UCenter 整合
9月
21
2016
最近做的一个二开开源项目，项目本身使用的是“优雅”的laravel框架开发的，我也顺带着了解了一下laravel框架。由于项目需要多平台的会员数据统一，所以第一时间想到用UCenter进行会员整合。
上次使用UCenter的时候还是2014年，那时候的会员整合我不负责，也就没在这上面下太多功夫，终于这次揭开了UCenter神秘的面纱。
安装后的首页
应用列表
首先，先添加一个新应用，填写相应的表单。应用接口文件名称需要填写应用的路由地址，这个可以先空着，填写完毕之后保存，此时的通信情况应该是通信失败的。
在github上面我们能找到好几个关于laravel – Ucenter的项目，我自己根据看根据别人的项目修改了bug：https://github.com/lanxinxichen/laravel5-ucenter ，另外推荐尝试https://github.com/binaryoung/ucenter，个人感觉比我fork的这个好一些。
安装UCenter
只要在你的 composer.json 文件require中加入下面内容，就能获得最新版.
“goodspb/laravel5-ucenter”: “dev-master”
然后需要运行 “composer update” 来更新你的项目
安装完后，在 app/config/app.php 文件中找到 providers 键，添加：
Goodspb\Laravel5Ucenter\UcenterServiceProvider::class,
找到 aliases 键，添加：
‘Ucenter’ => Goodspb\Laravel5Ucenter\Facades\Ucenter::class,
他这个版本config：：get是有问题的，可以参看我的修改记录进行修改。
https://github.com/lanxinxichen/laravel5-ucenter/commit/01d4714174ae4acba3aa9fcfef6bfb6b931e1aa2
在config文件中增加一个ucenter.php的文件，然后添加以下内容
<?php
return [
‘url’ => env(‘ucenter_url’,’/api/ucapi’), // 网站UCenter接受数据地址
‘api’ => env(‘ucenter_api’,’http://www.ucn.net’), // UCenter 的 URL 地址, 在调用头像时依赖此常量
‘connect’ => env(‘ucenter_connect’,’mysql’), // 连接 UCenter 的方式: mysql/NULL, 默认为空时为 fscoketopen()
‘dbhost’ => env(‘ucenter_dbhost’,’localhost’), // UCenter 数据库主机
‘dbuser’ => env(‘ucenter_dbuser’,’root’), // UCenter 数据库用户名
‘dbpw’ => env(‘ucenter_dbpw’,”), // UCenter 数据库密码
‘dbname’ => env(‘ucenter_dbname’,’ucenter’), // UCenter 数据库名称
‘dbcharset’ => env(‘ucenter_dbcharset’,’utf8′),// UCenter 数据库字符集
‘dbtablepre’=> env(‘ucenter_dbtablepre’,’uc_’), // UCenter 数据库表前缀
‘key’ => env(‘ucenter_key’,’76bc3bbK5aoWVrb26juV1vk4uq4c2aSNQvzv70Zs12′), // 与 UCenter 的通信密钥, 要与 UCenter 保持一致
‘charset’ => env(‘ucenter_charset’,’utf-8′), // UCenter 的字符集
‘ip’ => env(‘ucenter_ip’,’127.0.0.1′), // UCenter 的 IP, 当 UC_CONNECT 为非 mysql 方式时, 并且当前应用服务器解析域名有问题时, 请设置此值
‘appid’ => env(‘ucenter_appid’,2), //当前应用的 ID
‘ppp’ => env(‘ucenter_ppp’,20), //当前应用的每页数量
];
注意：上面的配置根据自己实际环境进行修改。
配置路由
在项目中的相应位置添加通信api的路由
Route::any(Config::get(‘ucenter.url’), function(){
return \Goodspb\Laravel5Ucenter\UcenterApi::execute();
});
这时候就可以返回UCenter应用管理中心，把之前空的接口文件路由修改为自己定义的路由，比如我设置的路由是/api/ucapi那么在填写的时候需要填写ucapi，不带/api/。因为我在这里被坑了，所以附上通信接口调试文章https://my.oschina.net/ppss/blog/744743
通信成功！
可以通过以上链接里面的办法把接口通信调试成功，然后就是实现自己的业务逻辑了。
Laravel — PHP Framework
9月
21
2016
最近一直在专心复习java，而且打算完全转型java，所以自认为这是我PHP项目生涯的末期。然而在这段日子里，我有幸接触了大名鼎鼎的Laravel。
从开始接触到现在也不过短短三天时间，只简单把运行原理搞懂了，所以如果本文有失偏驳，与您观点不符，那实在是抱歉，反正我也不改。
接触Laravel之前，只听外界她的优雅，接触之后才感慨实至名归。当然也发现了另外一个与优雅齐名的缺点：慢。本篇文章并不打算介绍Laravel的入门，单纯吐槽一下最近使用的真实感受。
Laravel 对PHP版本要求比较高，放眼国内，虚拟主机的php版本都还停留在5.3的水平，再加上composer这种新概念的冲击（还有网络访问比较困难），Laravel在国内出现了水土不服的现象。熟悉java，Python，Nodejs的人对包管理一定不会陌生，java的Maven，Python的pip，Nodejs的npm都是使用起来特别爽的，简简单单的命令行就能实现下载/更新依赖了，composer也是如此，只不过是专门针对PHP的包管理。Laravel 注重快捷高效的开发，当你通过composer全局安装Laravel，并将其加入到环境变量之后，直接通过“laravel new project”就能创建项目了，并且内置了artisan实用的命令行工具，配合Phpstorm让开发效率进一步提升。配置Phpstorm 配置artisan命令行
Laravel依托于composer，所以项目搬迁以及升级都会非常方便。方便是建立在熟悉并知道如何使用的情况下，我在整合laravel和UCenter的时候也遇到了很多问题，一来是文档不够完善，二来就是提问的人太少了，很难找到解决问题的办法，只能靠自己一点儿一点儿琢磨。
Laravel 实在是太慢了。只要在google上面搜索laravel slow，就能找到很多吐槽文章。针对我目前这个项目，平均每个网页访问时间都要在1.3~1.7秒，这速度根本不能忍吧。尽管了我已经做了一些优化工作，比如routes cache，config cache，class optimize，开启opcache，也只是略微改善，并没有提高多少速度，相比以前开发的项目，她的速度简直是惨不忍睹。想到这里我把标题中的“优雅”两个字删掉了。据说Lumen是速度很快，没有亲自体验。
客观来讲，对Laravel接触时间还是太短了，我这只能算个Laravel的初体验。毋庸置疑的是，借助composer上面优秀的库，Laravel对大项目的开发速度肯定会有所提高，包括她对RESTful 的友好支持都是让人心动的，对于小项目而言，选择其他框架可能是更好的选择。
最后，恶趣味的我专门在博客园找了一篇对Laravel的吐槽十分精彩的文章（包括评论）：
http://www.cnblogs.com/yjf512/p/4031782.html#top
.htaccess文件详解
6月
22
2016
301全站跳转
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.old\.net$ [NC]
RewriteRule ^(.*)$ http://www.new\.net/$1 [L,R=301,NC]
其中 http://不能省略，不然出现绝对路径加在跳转重写前面的
.htaccess 正则表达式
# 位行首表示注释
[F] Forbidden (禁止):
命令服务器返回403 Forbiden 错误给用户浏览器
[L] Last rule (最后一条规则)
告诉服务器在本条规则执行完后停止重写URL
[N] Next （下一条规则）
告诉服务器继续重写，指导所有重写指令都执行过
[G] Gone (丢失)
命令服务器返回410 GONE（no longer exists）错误消息
[P] Proxy (代理)
告诉服务器通过mod_proxy模块处理用户请求
[C] Chain (捆绑)
告诉服务器将当前的规则和前面的规则进行捆绑
[R] Redirect(重定向)
告诉服务器发出重定向消息，以便用户浏览器发出rewitten/modified(重写/修改) 请求
[NC] No Case(不区分大小写)
对客户端请求的URL不区分大小写
[PT] Pass Through(放行)
让mod_rewrite 模块将重写的URL传回给Apache做进一步处理
[OR] Or(逻辑或)
用逻辑“或”将两个表达式连接在一起，如果结果为“真”，则会应用后继的相关规定
[NE] No Escape (禁止转义)
命令服务器在输出时禁用转义字符
[NS] No Subrequest(禁用子请求)
如果存在内部请求，则跳过当前命令
[QSA] Append Query String(追加查询字符串)
命令服务器在URL末尾追加查询字符串
[S=x] Skip(跳过)
如果满足某指定条件，则跳过后面第X条规则
[E = Variable:value](环境变量)
命令服务器交将值 value赋给变量 variable
[T=MIME-type] Mime Type (MIME 类型)
声明目标资源所属的MIME类型
[]
匹配一个字符集，如[xyz]可以匹配x,y或者z
[^]
如：[xyz]+ 会以任何顺序，次数匹配x,y,z的出现
[a-z]
连字符(-)表示匹配从字母a到z的所有字符串
a{n}
指定字母a出现的次数为N次，满足该条件时匹配。如x{3}仅与xxx匹配
a{n,}
指定字母a出现的次数至少为N次，例如X{3}可以与XXX或者xxxxx等级匹配
a{n,m}
指定a出现的次数至少为n到m次
()
用于将正则表达式分组，满足第一组正则表达式的字符串会被存储在变量$1中,以此类推。如果括号呈的不是正则表达式，例如（myname）?press 将能够匹配有或者没有myname前缀的press
^
位于行首。注意：和中括号中的[^]意义不同
$
位于行末
?
例如 world?会匹配world或者worldx,而如 wor(ld)? 会匹配wor或者world,又如：x?会匹配“空字符”或者一个x
!
逻辑非。例如：”!myname”将会匹配除了“myname”以外的所有字符串
.
表示任意字符
–
命令apache“不要”重写URL，例如：”xxx.domian.com.* -[F]”
+
匹配至少一个任意字符，例如：G+ 匹配以G开头，并且后面至少有一个字符的字符串
*
匹配零个或多个字符，例如：“。”匹配任意字符
|
逻辑“或”。与[OR]不同的是，它是匹配字符串，例如(x|y)匹配x或者y
\
转义字符。可以转义左括号(，尖括号^,美元符号 $， 感叹号 ！点 。 星号 *，管道符号|等，
\.
转义为点字符（点字符在正则表达式中可以匹配任意字符）
/*
零个或多个字符
.*
零个或多个任意字符（即匹配任意字符，包括空字符）
^$
匹配“空字符”，“空行”
^.*$
匹配任意字符串（仅限一行）
[^/.]
匹配既非“正斜杠”也不是“点”的任意字符
[^/.]+
匹配第一个字符既非“正斜杠”也不是“点”，后继字符可以是“正斜杠”或者“点”字符串
http ://
匹配 http ://
^domain.*
匹配以”domain”开始的字符串
^domain\.com$
仅匹配 “domain.com”
-d
测试字符串是否已存在的目录
-f
测试字符串是否是已经存在的文件
-s
测试字符串所指文件是否有“非零”值
以下为相关例子：
1。将.htm 页面映射到 .php
Options +FollowSymlinks
RewriteEngine On
RewriteRule ^(.*)\.htm$ $1.php [NC]
2。临时重定向(R=302)与永久重定向(R=301)
RewriteEngine On
RewriteBase /
RewriteRule ^(.*)\.htm$ $.php [R,NC,L]
•该RewriteRule能够将.htm静态页面重定向到.php动态页面
•如果通过.htm进入，浏览器地址栏会自动转为.php，这也是重定向的本质
•必须保证服务器上有对应的.php，否则会404
•浏览器和搜索引擎可以同时通过.htm和.php访问网页
•如果该目录上存在.htm，将被忽略
•RewriteBase定义了重写基准目录。
•例如，如果你将虚拟站点设置在/var/www目录下，删除这行将会导致重定向到h ttp://yourdomain.com/var/www/1.php 。显然这是找不到的，而且你也不会希望用户看见你的服务器的目录结构。
•再举个例子，如果RewriteBase /base/，那么将会重定向到h ttp://yourdomain.com/base/1.php 。
•对于重写基准目录，我们还可以通过将$1.php变成/$1.php实现直接变换，这时就可以将RewriteBase省略。
•字母R表示临时重定向，相当于[R=302,NC]。关于重定向代码，请参考h ttp://lesca.me/archives/htaccess-appendix.html 《HTTP协议重定向编码》
•字母L表示如果能匹配本条规则，那么本条规则是最后一条(Last)，忽略之后的规则。
永久得定向 R=301
RewriteEngine On
RewriteRule ^(.*)$ h ttp://newdomain.com/$ [R=301,NC,L]
•这个规则告诉浏览器和搜索引擎，网站地址发生了永久性变更，用户的URL请求将会被发送给新的域名（主机）处理。
•由于是重定向到新的主机地址，RewriteBase也就没有出现的必要了。
3.为什么要用重定向？——重定向和URL重写的区别
•通过重定向，浏览器知道页面位置发生变化，从而改变地址栏显示的地址
•通过重定向，搜索引擎意识到页面被移动了，从而更新搜索引擎索引，将原来失效的链接从搜索结果中移除
•临时重定向(R=302)和永久重定向(R=301)都是亲搜索引擎的，是SEO的重要技术
•URL重写用于将页面映射到本站另一页面，若重写到另一网络主机（域名），则按重定向处理
长短地址转换
利用URL重写，我们可以很方便地实现长短地址的转换，但是用重定向就不合适了。
RewriteEngine On
RewriteRule ^grab /public/file/download/download.php
若访问
h ttp://mysite/grab?file=my.zip
则会执行该页面：
h ttp://mysite/public/files/download/download.php?file=my.zip
去掉www
options +FollowSymlinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ h ttp://$1/$1 [R=301,NC,L]
加上www
optionEngine On
RewriteCond %{HTTP_HOST} ^(.*)$
RewriteRule (.*) h ttp://www\.%1/$1 [R=301,L]
支持多域名访问
如果你不凑巧买到了不支持多域名的主机，那么.htaccess或许可以帮助你。现在假设你有域名domain-one.com和domain-two.com，并且在服务器根目录有对应文件夹one和two，那么通过下面的改写就能让Apache同时接受者两个域名的请求：
RewriteCond %{HTTP_HOST} domain-one.com
RewriteCond %{REQUEST_URI} !^/one
RewriteRule ^(.*)$ /one/$1 [L]
RewriteCond %{HTTP_HOST} domain-two.com
RewriteCond %{REQUEST_URL} !^/two
RewriteRule ^(.*)$ /two/$1 [L]
改写查询字符串QUERY_STRING
查询字符串是指URL请求中“问号”后面的部分。比如，h ttp://mysite/grab?foo=bar ？部分就是查询字符串，其中变量名是foo，值是bar。
1.利用QSA转换查询字符串QUERY_STRING
QSA标志（ Query String Appending）用于在URI中截取查询字符串，这个截取操作是通过小括号正则表达式实现的：
RewriteEngine On
RewriteRule /pages/(.+) /page.php?page=$1 [QSA]
•将会把请求/pages/123?one=two 映射到 /page.php?page=123&one=two
•注意几乎是相同的，除了“问号”变成了“与”符号
•如果没有QSA标志，那么会映射到/page.php?page=123。
•如果没有用到小括号正则表达式，就不需要QSA
•小括号正则表达式可以截取查询字符串中的内容，但是如果没有开启QSA标志，那么在/page.php?page=$1中“问号”之后将会被剥离丢弃。这种特性可以用于实现“剥离查询字符串”
通过QSA，我们可以将简单链接/simple/flat/link/ 映射成 server-side.php?first-var=flat&second-var=link
RewriteEngine On
RewriteRule ^/([^/]+)/([^/]+)/? /index.php?first-var=$1&second-var=$2 [QSA]
利用RewriteCond改写查询字符串QUERY_STRING
RewriteEngine On
RewriteCond %{QUERY_STRING} foo=(.*)
RewriteRule ^grab(.*) /page.php?bar=%1
该规则将访问请求htt p://mysite/grab?foo=bar转换为htt p://mysite/page.php?bar=bar
RewriteCond用于捕获查询字符串（QUERY_STRING）中变量foo的值，并存储在%1中
QUERY_STRING是Apache定义的“变量=值”向量（数组）
QSA与RewriteCond一起用
RewriteEngine On
RewriteCond %{QUERY_STRING} foo=(.+)
RewriteRule ^grab/(.*) /%1/index.php?file=$1 [QSA]
•会把/grab/foobar.zip?level=5&foo=bar 映射到 /bar/index.php?file=foobar.zip&level=5&foo=bar
•转换后根目录是bar目录
•foobar.zip?level=5中的“问号”变成了foobar.zip&level=5中的“与”符号
剥离查询字符串
只需在要开始剥离的链接后面加个“问号”，并且不要启用QSA标志，就可剥离查询字符串
RewriteEngine On
RewriteCond %{QUERY_STRING} .
RewriteRule foo.php(.*) /foo.php? [L]
用.htaccess阻止User-agent
什么是User-agent？User-agent用于浏览器向服务器“自报家门”，更确切的说是所有HTTP客户端都得用User-agent向服务器“自报家门”，以便服务器对不同的客户端作出不同响应。比如，某站点可能需要对浏览器、搜索引擎crawl还有各类下载工具作出不同的响应。服务器就是通过所谓的User-agent进行区分的。
如果你的服务器提供某些资源的下载，那么你就必须多加小心诸如“迅雷”等下载软件，因为它们可能把你网站资源吸干，并且影响你的正常访客访问。为此，我们可以利用Rewrite限制某些UA的访问：
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 2.0.50727 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWido [NC,OR]
# ect…
RewriteRule . abuse.txt
•该规则限制“迅雷”客户端下载资源，并将下载文件重置到abuse.txt
•HTTP_USER_AGENT是Apache的内置变量
•2.0.50727是迅雷User-agent的特征字符串
•RewriteRule后面的“点”表示“任意URI”，也就是不管请求的是什么，都输出abuse.txt
文件访问控制
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !^(.+)\.css$
RewriteCond %{REQUEST_FILENAME} !^(.+)\.js$
RewriteCond %{REQUEST_FILENAME} !special.zip$
RewriteRule ^(.+)$ /chat/ [NC]
•该规则将仅允许用户请求.css, .js类型的文件，还有special.zip文件
•RewriteRule 后面指定了限制规则：映射到/char/目录下处理
•RewriteCond 后面的“感叹号”(!)起到了“否定”作用，它表明，对不满足后面正则表达式者应用RewriteRule规则，也就是对当前类型的文件将不应用规则
•RewriteCond 之间是以逻辑“与”连接的，也就是只有当三个条件都不满足时才执行RewriteRule
•该规则也会限制访问.htm, .jpg等格式
•该规则不可以放在虚拟站点根目录（/）下，否则会死循环
•如果是二级目录，如/test/，那么传入RewriteCond的参数是以/test/开始的，因此从(.+)获得的文件名也含有/test/，读者必须对此多加小心
•要想仅获得文件名，可以将(.+)替换成([^/]+)，并且去掉符号^，如下所示：
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !([^/]+)\.css$
RewriteCond %{REQUEST_FILENAME} !([^/]+)\.js$
RewriteRule ^(.+)$ /chat/ [NC]
RewriteEngine Off
#RewiteBase /
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$ [NC]
RewriteCond %{REQUEST_URI} !^/blog/
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ blog/$1
# 没有输入文件名的默认到到首页
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$ [NC]
RewriteRule ^(/)?$ blog/index.php [L]
防盗链：
RewriteEngine on
#RewiteBase /
RewriteCond %{HTTP_REFERER} !^$ [NC]
RewriteCond %{HTTP_REFERER} !xxx.info [NC]
RewriteCond %{HTTP_REFERER} !(www\.)?baidu.com$ [NC]
RewriteCond %{HTTP_REFERER} !(www\.).google.com$ [NC]
RewriteRule \.(jpg|gif|png|bmp|swf|jpeg)$ /error/daolian.gif [R,NC,L]
【RewriteCond语法】
RewriteCond TestString CondPattern [flags]
rewritecond的其他用法：
“-d”(目录)
将TestString视为一个路径名并测试它是否为一个存在的目录。
“-f”(常规文件)
将TestString视为一个路径名并测试它是否为一个存在的常规文件。
“-s”(非空的常规文件)
将TestString视为一个路径名并测试它是否为一个存在的、尺寸大于0的常规文件。
“-l”(符号连接)
将TestString视为一个路径名并测试它是否为一个存在的符号连接。
“-x”(可执行)
将TestString视为一个路径名并测试它是否为一个存在的、具有可执行权限的文件。该权限由操作系统检测。
“-F”(对子请求存在的文件)
检查TestString是否为一个有效的文件，而且可以在服务器当前的访问控制配置下被访问。它使用一个内部子请求来做检查，由于会降低服务器的性能，所以请谨慎使用！
“-U”(对子请求存在的URL)
检查TestString是否为一个有效的URL，而且可以在服务器当前的访问控制配置下被访问。它使用一个内部子请求来做检查，由于会降低服务器的性能，所以请谨慎使用！
【RewriteRule语法：】
RewriteRule Pattern Substitution [flags]
【flags】
“chain|C”(链接下一规则)
“cookie|CO=NAME:VAL:domain[:lifetime[:path]]”(设置cookie)
“env|E=VAR:VAL”(设置环境变量)
“forbidden|F”(强制禁止URL)
“gone|G”(强制废弃URL)
“handler|H=Content-handler”(强制指定内容处理器)
“last|L”(结尾规则)
“next|N”(从头再来)
“nocase|NC”(忽略大小写)
“noescape|NE”(在输出中不对URI进行转义)
“nosubreq|NS”(不对内部子请求进行处理)
“proxy|P”(强制为代理)
“passthrough|PT”(移交给下一个处理器)
“qsappend|QSA”(追加查询字符串)
“redirect|R [=code]”(强制重定向)
“skip|S=num”(跳过后继规则)
“type|T=MIME-type”(强制MIME类型)
RewriteRule ^(.+\.php)s$ $1 [T=application/x-httpd-php-source]
示例：
RewriteEngine On
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$
RewriteCond %{REQUEST_URI} !^/blog/
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ /blog/$1
# 没有输入文件名的默认到到首页
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$
RewriteRule ^(/)?$ blog/index.php [L]
【RewriteEngine On】
表示重写引擎开，关闭off，作用就是方便的开启或关闭以下的语句，这样就不需要一条一条的注释语句了。
【RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$】
这是重写条件，前面%{HTTP_HOST}表示当前访问的网址，只是指前缀部分，格式是www.xxx.com不包括“http://”和“/”，^表示 字符串开始，$表示字符串结尾，\.表示转义的. ，如果不转义也行，推荐转义，防止有些服务器不支持，?表示前面括号www\.出现0次或1次，这句规则的意思就是如果访问的网址是xxx.com或者 www.xxx.com就执行以下的语句，不符合就跳过。
【RewriteCond %{REQUEST_URI} !^/blog/】
也是重写条件，%{REQUEST_URI}表示访问的相对地址，就是相对根目录的地址，就是域名/后面的成分，格式上包括最前面的“/”，!表示非，这句语句表示访问的地址不以/blog/开头，只是开头^，没有结尾$
【RewriteCond %{REQUEST_FILENAME} !-f】
【RewriteCond %{REQUEST_FILENAME} !-d】
这两句语句的意思是请求的文件或路径是不存在的，如果文件或路径存在将返回已经存在的文件或路径
【RewriteRule ^(.*)$ /blog/$1】
重写规则，最重要的部分，意思是当上面的RewriteCond条件都满足的时候，将会执行此重写规则，^(.*)$是一个正则表达的 匹配，匹配的是当前请求的URL，^(.*)$意思是匹配当前URL任意字符，.表示任意单个字符，*表示匹配0次或N次（N>0），后面 /blog/$1是重写成分，意思是将前面匹配的字符重写成/blog/$1，这个$1表示反向匹配，引用的是前面第一个圆括号的成分，即^(.*)$中 的.* ，其实这儿将会出现一个问题，后面讨论。
【RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$】
【RewriteRule ^(/)?$ blog/index.php [L]】
这两句的意思是指请求的host地址是www.xxx.com是，如果地址的结尾只有0个或者1个“/”时，将会重写到子目录下的主页，我猜想这主要因为重写后的地址是不能自动寻找主页的，需要自己指定。
现在说说出现的问题，RewriteRule ^(.*)$ /blog/$1 前部分 ^(.*)$ 将会匹配当前请求的url。
例如：请求网址是http://www.xxx.com/a.html，到底是匹配整个http://www.xxx.com/a.html，还是只匹配/a.html即反斜杠后面的成分，还是只匹配a.html。
答 案是：(根据RewriteBase规则规定，如果rewritebase 为/，将会匹配a.html，不带前面的反斜杠，所以上条语句应该写成RewriteRule ^(.*)$ blog/$1（不带/），不过实际应用上带上前面的反斜杠，也可以用，可能带不带都行。现在问题出来了，如果不设置rewritebase 为/ ，将会匹配整个网址http://www.xxx.com/a.html，显然这是错误的，所以应该添加这条：RewiteBase /)有误，自己测试通不过，所以确的应该是 RewriteRule 中的跳转部分加上 http://协议
还有一个问题是，不能保证每个人输入的网址都是小写的，如果输入大写的呢，linux系统是区分大小写的，所以应该在RewriteCond后添加[NC]忽略大小写的。
至此，完整的语句应该是：
RewriteEngine On
RewiteBase /
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$ [NC]
RewriteCond %{REQUEST_URI} !^/blog/
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ blog/$1
# 没有输入文件名的默认到到首页
RewriteCond %{HTTP_HOST} ^(www\.)?xxx\.com$ [NC]
RewriteRule ^(/)?$ blog/index.php [L]
以上来自www.cnblogs.com/adforce/archive/2012/11/23/2784664.html
help.vit.cn/item/category/htaccess 和 lesca.me/
记录一次windows安装mysql的经历
4月
29
2016
事情的起因是这样的,mysql5.5(包括)以下版本都是不支持设置多个timestamp默认值的,所以当我执行有的表中包含两个timestamp带DEFAULT CURRENT_TIMESTAMP的sql的时候就执行不了了.为了保持代码和数据库的版本一致性,就开始了这次的mysql安装之旅.
第一次安装mysql的时候是大二大三的时候吧,那时候是安装版.我一直以为如果别人的轮子比你造的好,你就不用重复造轮子,所以我以前一直使用的是mysql的集成环境,即使是在linux上面安装mysql也都是按照教程一点一点儿来的,只有当现有的东西不能满足的情况下,才需要自己动手.所以才动手安装mysql5.7的.我按照印象去下载mysql,下载下来结果发现是绿色版,一脸懵逼…接下来就简单记录一下mysql安装中需要解决的几个问题.
1. 解压mysql
解压后注意修改解压文件夹的位置,尽量不要放在中文目录下面,虽然我没有测试是否有问题,但是在这上面遇到的坑又不是一次两次了.
2. 增加配置文件: my.ini
修改默认的my-default.ini文件
[mysqld]
basedir=”D:/MySQL/” # mysql的解压路径
datadir=”D:/MySQL/data/” # mysql的数据表的存储路径
3. 初始化mysql (第一个坑)
网上流传的mysql绿色版的安装方式都是没有这一步的最多指定以下my.ini的位置,但是如果跳过这一步,下面的服务项即使是安装成功了,也会处于”mysql –正在启动中吧 mysql — 启动失败”状态中.所以需要进行mysql的初始化工作.在mysql/bin的目录中执行以下代码:
mysqld –defaults-file=my.ini –initialize-insecure
如果报mysqld命令不存在的话,请核对你自己的mysql安装路径是否正确,具体查看参考链接1
4. 安装mysql到服务项
这一步就是简单的 mysqld –install 同时如果想要卸载服务项的话,就使用mysqld –remove
5. 启动服务项
在cmd命令行中敲入net start mysql ,同样的如果需要停止的话,就敲入 net stop mysql
既然是加入到了服务项中,自然也可以在windows的服务管理中找到这个服务,然后进行操作.
6. 增加一个远程的全局权限的用户
这时候在mysql/bin 目录中敲入 mysql -u root 进入到mysql命令行中,修改密码,不知道mysql是哪个版本开始,密码的字段名不再是password而是authentication_string,蜜汁设定...具体查看参考链接2
update user set authentication_string=password('root') where user='root';这时候的root用户只能在本地访问的,我强制修改数据表的localhost为%还是不行,没有验证是不是配置文件也需要修改,印象中之前的版本就是控制字段就可以 了.这条路行不通,那么我就需要增加一个远程访问的超级管理员用户了.按照参考链接3就尅完成操作了.
创建一个远程访问的超级管理员chen，密码为chen
grant all privileges on *.* to chen@’%’ identified by ‘chen’;
参考:
解决Windows安装解压版MySQL出现服务正在启动-服务无法启动的问题
mysql-user-db-does-not-have-password-columns-installing-mysql-on-osx
mysql创建超级管理员
整合tomcat和apache
4月
25
2016
我之前的技术方向是PHP,现在是做java,暂且不提两门语言谁优谁劣,我就是感觉什么方便就用什么,适合用什么就用什么.现在做的NLP项目是基于java的web项目,想要在PHP的官网上面挂出来,方法有很多,比如:后端json API转化;无视端口的不一样,前端直接jsonp,当然最简单的办法就是今天提到的apache跟tomcat的整合.博主本身只是刚刚学会了,过程太顺利了,反而害怕以后会不会有什么隐患.遇到问题,以后继续更新在这里.
由于是tomcat跟apache的整合,那我就默认环境中已经有了这两个服务器软件,单纯运行的服务器配置就不再讲解了,只着重讲整合中需要做的工作.
首先打开apache的配置文件:http.conf
在http.conf中打开模块支持:
LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
如果在你的Apache/modules路径下没有这两个模块,请从我提供的百度云盘上面下载.百度云盘-php-apache-module,我这一步配置走的很顺,如果做完这一步apache启动不起来,就自己找匹配的模块吧.我用的集成环境,没有花时间在这个上面折腾.
然后配置转发请求到tomcat.
在http.conf中引入一个额外的配置文件httpd-proxy.conf,引入方式:Include conf/extra/httpd-proxy.conf,注意路径跟你放置的文件匹配起来.在配置文件中写入你要转发的请求.比如我现在的配置是:
ProxyPass /java/ ajp://127.0.0.1:8009/java/
ProxyPassReverse /java/ ajp://127.0.0.1:8009/java/
这个配置文件的意思是当我收到/java/的请求的时候通过ajp协议转发到ajp://127.0.0.1:8009/java/的URL请求中,其他的就没有什么可玩的了.具体的ProxyPass和ProxyPassReverse使用可以参看这里Apache配置中的ProxyPass 和 ProxyPassReverse .
总结以下:其实来讲这些东西思路都是一样的,就是代理的思想,我们平时遇到的负载均衡,cname请求转发,fq软件都是这个道理,只不过在服务器层间的转发或者封装了的转发要省很多事.需要注意的是路径的映射,从apache中配置的路径转发到tomcat的路径的时候需要对应起来,如果有同名的注意会不会覆盖请求.
参考文章:
Tomcat: Connector中HTTP与AJP差别与整合 – arun_yh – 博客园
整合apache和tomcat构建Web服务器 – iTech – 博客园
quartz任务调度框架出错及排错
2月
24
2016
简述
初学quartz,按照IBM的基于 Quartz 开发企业级任务调度应用一步一步学习的.遇到的问题在这里一一记录,可以给以后学习的人少走一些弯路.
当前项目中使用的quartz版本为:quartz-2.2.2,在该文章中有一些不兼容问题简单陈述
版本兼容
1. StatefulJob 过期
请使用@DisallowConcurrentExecution或者@PersistJobDataAfterExecution 注解的方式同时实现Job接口
2.JobDetail不支持构造函数
通过以下代码构建JobDetail
JobBuilder job = JobBuilder.newJob(TestJob.class);
JobDetail jobDetail = job.withIdentity(“sampleJob”, “sampleGroup”).build();
3.DailyTimeIntervalTrigger类被DailyTimeIntervalTriggerImpl替代
使用DailyTimeIntervalTriggerImpl
4.IntervalUnit不再是DailyTimeIntervalTrigger的属性
可以直接使用IntervalUnit.SECOND类似方法直接访问静态属性
5.deleteJob只有两个方法传入jobkey 或者jobkey列表
jobkey可以通过jobDetail直接getKey()获取,然后使用Scheduler对象的deleteJob方法删除
代码运行中的异常
异常1
Scheduler won't start - java.lang.NoClassDefFoundError:com/mchange/v2/c3p0/ComboPooledDataSource
错误分析:找不到类com/mchange/v2/c3p0/ComboPooledDataSource
解决:在下载的quartz解压文件夹中找到\quartz\lib\c3p0-*.jar 添加到class path中
参考:http://forums.terracotta.org/forums/posts/list/5268.page
异常2
插入数据postgresql报错:Caused by: org.quartz.JobPersistenceException: Couldn't retrieve trigger: 不良的类型值 long : \x [See nested exception: org.postgresql.util.PSQLException: 不良的类型值 long : \x]
错误分析:数据库不兼容(其实我也不太清楚,没挖那么深)
解决:在配置文件中把org.quartz.jobStore.driverDelegateClass的org.quartz.impl.jdbcjobstore.StdJDBCDelegate修改为postgresql专用的 org.quartz.impl.jdbcjobstore.PostgreSQLDelegate驱动类文件
参考:https://jira.talendforge.org/browse/TDI-27463
https://quartz-scheduler.org/documentation/quartz-2.2.x/configuration/ConfigJobStoreCMT
持续更新…
lucene sort field 排序字段
1月
05
2016
作为感受过whoosh的各种优点的人,初学Lucene,各种不习惯.在使用最新的Lucene5.4的时候,搜索字段一直有问题.报错:
Exception in thread "main" java.lang.IllegalStateException: unexpected docvalues type NONE for field 'id' (expected=NUMERIC). Use UninvertingReader or index with docvalues.
在尝试使用google 和stackoverflow用英语搜索各种问题之后,都没有解决.没想到用中文搜索竟然找到了答案.特写一篇文章,希望被收录,帮到更多的人.
首先,之前的教程都是如下代码:
Sort sort = new Sort(new SortField("id",SortField.INT,false));
TopDocs topDocs = indexSearcher.search(query,100,sort);
而这样的代码直接运行就会报上面的错.
实际上,Lucene在5.X的版本中,应该使用排序专用Field,而不是IntField这种.
NumericDocValuesField //SortedNumericDocValuesField 已过时的API
demo:
// doc.add(new IntField("id", article.getId(),Store.YES));
doc.add(new NumericDocValuesField("sortid", article.getId()));
使用一个NumericDocValuesField索引专用字段用来保存需要索引的字段,然后在搜索的时候使用
Sort sort = new Sort(new SortField("sortid", SortField.Type.INT, true));
python 一句话语句
11月
26
2015
python以其强大和简洁的语言让人折服，那么究竟有多强大，多简洁呢？在今天学习python的过程中，我来举个例子。
in：将以下列表转化成｛‘a’:1,’b’:2｝的形式
var = [('a','A',1),
('b','B',2),
('c','C',3)]
方法1：
tmp1 = []
tmp2 = []
for i in range(3):
val1 = var[i][0]
val2 = var[i][2]
tmp1.append(val1)
tmp2.append(val2)
tmpdict = {}.formatkeys(tmp1,0)
for i in range(3)
tmpdict[tmpdict.keys()[i]] = tmp2[i]
当然我有意的拉长了代码。
方法2：
tmp1 = [] tmp2 = [] for i in range(3): tmp1.append(var[i][0]) tmp2.append(var[i][2]) tmpdict = dict(zip(tmp1,tmp2))
采用zip压缩数组，然后转换成dict
方法3：
tmpdict = {i[0]:i[2] for i in var}
一句话循环并组成字典。
同样的还有很多地方用到，比如lambda，reduced，filter，cmp等这类函数的应用。能大大减少代码量。更有意思的可以查看：一行 Python 能实现什么丧心病狂的功能？