Nginx（Tengine）使用
用了一段时间Tengine了，主要用于静态资源、后端服务的反向代理、负载均衡方面。也有了一些使用经验，现在将一些配置及心得记录于此。 Tengine的安装Tengine的安装非常简单，就是： 123$ ./configure$ make$ sudo make install 官方有更详细的说明：http://tengine.taobao.org/document_cn/install_
主页
Linux下对大文件（日志）进行分割
logrotate是Linux系统自带的一个做文件（日志）分割的任务，可以很灵活的对文件做分割任务。由crontab定时执行。 一个典型的logrotate配置如下： 123456789101112yangjing:~$ more /etc/logrotate.d/nginx /usr/local/nginx/logs/*.log { notifempty daily
2015总结暨2016展望
2015已过去，2016到来。展望未来也总结过去。 20152015年到了一家新的公司，是一家做大数据服务的创业公司（准备说是2014年底）。刚到公司时我们只有几人，到现在已经成为一家50人左右的中小型互联网公司了。上半年我们尝试过个人社交、电商、招聘、监控等方向，到现在确定到了企业数据服务上。一路走来，从快速试错到确定目标，还是颇为不易的。 说完公司，再来谈谈个人吧。对于我自己来说，今年还是很有
Akka实战：开发一个多线程新闻爬虫
代码：https://github.com/yangbajing/crawler-service 使用Scala开发一个多线程爬虫，利用Akka库来管理多个爬虫任务的分散和聚合操作。同时使用scheduleOnce来设置爬取任务在指定时间内完成。详细需求如下： 可同时从多个新闻源（搜索引擎）检索新闻 已爬取过的新闻存库，第二次访问时直接从库里读取 提供duration参数，调用方可设置调用超时。
写给Python程序员的Scala入门教程
随着业务和数据的需要，我们引入了Spark。Spark对Python的支持还是挺好的，但毕竟它还是使用Scala开发的，且现有的API并没有100%覆盖Python。所以就有了这篇文章，让Python程序员可以接触Scala这门更高（级）、更快（速）、更强（大）的（奥运精神）语言。 Scala兼具Python样的开发效率，但又有Java般的执行性能，真是一不可多得的神器！（当然，鱼和熊不可兼得，S
Scala实战：并发-Future和Promise
并发编程是很困难的，特别是在你没有很好的设计与抽像你的功能层次时。传统的并发解决方案是采用多线程和共享变量，这使得随着代码的增加你很难找到错误根源。 Scala中采用了更好的方案，它不是只基于更低层次的线程的。Scala为用户提供了更高级的抽象：Futures和Promises（Akka还提供了基于actor模式的编程范式，是一种更高层次的并发编程抽象。本文主要讲解Futures和Promises
Akka实战：构建REST风格的微服务
使用Akka-Http构建REST风格的微服务，服务API应尽量遵循REST语义，数据使用JSON格式交互。在有错误发生时应返回：{"errcode":409,"errmsg":"aa is invalid，the ID is expected to be bb"}类似的JSON错误消息。 代码： https://g
Akka实战：分散、聚合模式
分散、聚合模式：简单说就是一个任务需要拆分成多个小任务，每个小任务执行完后再把结果聚合在一起返回。 代码 https://github.com/yangbajing/akka-action 实例背景本实例来自一个真实的线上产品，现将其需求简化如下： 传入一个关键词：key，根据key从网上抓取相关新闻 可选传入一个超时参数：duration，设置任务到期时必须反回数据（返回实际已抓取数据） 若
JVM程序员书单
JVM程序员书单 为什么是JVM程序员书单，因为现在Java已经不再单指Java编程语言了，而是说整个Java生态环境和基于JVM平台的各种虚拟机语言。如：Scala、Clojure、Groovy等。 《软件框架设计的艺术》 这是Netbeans的创始人写的一本很有价值的书，里面的边角细节也很有料。国内市场上没有对这本书给予应给的赞誉。 《Effective Java 第二版》 被称为Java领域
Nginx负载均衡与反向代理
一般在应用部署中都不会直接把Web Server（如：Tomcat、Jetty等）暴露给用户，我们会在Web Server前面再加一个反向代理。这篇文章介绍的就是怎样设置Nginx来做反向代理。 Nginx安装以Ubuntu 14.04为例（其它系统请自行查找安装方法）。官方安装文档在：http://nginx.org/en/download.html 1234567curl http: