Nginx限流控制
最近公司给客户做的系统遇到大量爬虫爬取，造成系统资源消耗增高、系统响应降低…… 因为项目时间比较紧，没有更多时间在功能和代码层面上进行修改来上一套反爬虫系统。权衡以后决定使用Nginx提供的请求限流功能来实现一个简单的反爬虫机制。待以后再详细规划、设计反爬虫系统。 我们一直使用的是阿里发布的Nginx重发行版：Tengine，本文也将基于Tengine来介绍Nginx的限流控制。 ngx_http
分类: work
使用Sphinx撰写电子文档
在日常工作中，写电子文档是个很普遍的事情。之前一直用Microsoft Word、Libreoffice Writer来写，但总感觉不方便，很多的精力都浪费在了调整格式上。而使用 Sphinx 来写电子文档，则可以把你从调整格式的泥潭中解放出来。Sphinx 是一款基于 Python的文档处理工具，Python官方的文档就是使用它来写的。Sphinx 使用reStructuredText 格式来定
我会做的技术选型
Java/Scala：全功能的业务、服务端开发平台。大数据开发：Spark、Scala、Akka Node.js：前端不说了，还有其它更好的选择吗 Go：21世纪的C语言，分布式开发、API开发利器 Python：胶水、灵活的脚本语言。数据科学家的最爱 开门见山，先表明下我的态度吧。以上4个是我的首先，个人认为很不错的技术选型。当然，也不是非此不可，技术选型这个除了从技术本身考虑，很多时候
Linux系统运维常用工具
本文记录一些 Linux 日常运维相关工具使用方法。 （注：未做特殊说明，以下设置均指：Ubuntu Server 14.04，并测试通过。） 系统设置更改系统默认字符集 Ubuntu Server下，需要修改 /etc/default/locale 文件使配置生效（需要重启系统）。也可以在每个用户的登录 .bashrc 或 .bash_profile中设置LANG、LANGUAGE等环境变量。
Nginx（Tengine）使用
用了一段时间Tengine了，主要用于静态资源、后端服务的反向代理、负载均衡方面。也有了一些使用经验，现在将一些配置及心得记录于此。 Tengine的安装Tengine的安装非常简单，就是： 123$ ./configure$ make$ sudo make install 官方有更详细的说明：http://tengine.taobao.org/document_cn/install_
写给Python程序员的Scala入门教程
随着业务和数据的需要，我们引入了Spark。Spark对Python的支持还是挺好的，但毕竟它还是使用Scala开发的，且现有的API并没有100%覆盖Python。所以就有了这篇文章，让Python程序员可以接触Scala这门更高（级）、更快（速）、更强（大）的（奥运精神）语言。 Scala兼具Python样的开发效率，但又有Java般的执行性能，真是一不可多得的神器！（当然，鱼和熊不可兼得，S
JVM程序员书单
JVM程序员书单 为什么是JVM程序员书单，因为现在Java已经不再单指Java编程语言了，而是说整个Java生态环境和基于JVM平台的各种虚拟机语言。如：Scala、Clojure、Groovy等。 《软件框架设计的艺术》 这是Netbeans的创始人写的一本很有价值的书，里面的边角细节也很有料。国内市场上没有对这本书给予应给的赞誉。 《Effective Java 第二版》 被称为Java领域
Nginx负载均衡与反向代理
一般在应用部署中都不会直接把Web Server（如：Tomcat、Jetty等）暴露给用户，我们会在Web Server前面再加一个反向代理。这篇文章介绍的就是怎样设置Nginx来做反向代理。 Nginx安装以Ubuntu 14.04为例（其它系统请自行查找安装方法）。官方安装文档在：http://nginx.org/en/download.html 1234567curl http:
使用Gatling进行性能测试
Gatling下载是一款开源的性能测试工具，提供简洁、强大的DSL API编写测试套件，支持插件扩展，且自动生成美观、明了的HTML测试报告。 Gatling现在最新版本是：2.1.7。需要scala 2.11支持。 Gatling有多种执行方式，可以使用官话的bundle包，使用gatling.sh脚本执行，也可以使用使用gatling-sbt下载在Sbt工程里执行，也可以集成到如Jenkins
使用 Jenkins
本文简单的记录的 Jenkins 的安装、配置和一些插件的使用。 git: Git Plugin maven: Maven Project Plugin sbt: sbt plugin Install到 https://jenkins-ci.org/ 下载最新版，放到 tomcat/webapp 启动即可。安装非常的简单。 访问 http://localhost:8080/jenkins 目录