Cassandra升级更新
今天需要把集群安装的 cassandra 2.2.4 升级到 cassandra 2.2.5 ，这里记录下升级步骤。 （升级脚本见：https://gist.github.com/yangbajing/12461fcab190689f2499） 升级的主意事项和限制条件需求条件 Cassandra 2.0.x and 2.1.x: 需要 JRE 7 或更高版本（推荐JDK） Cassandra
主页
Scala开发者的Spring-Boot快速上手指南 01
做为一个Scala爱好者，是很想基于 Lightbend 的一套架构进行软件开发的。Play，Akka，Scala，Spark……。不过理想很丰满，现实却很骨感。鉴于那批原教旨主义者，他们对 Spring 已经疯狂迷恋，我等讲道理、讲实际的人也只好将 Scala 与 Spring Boot 进行整合。这两兄弟是和睦的，是友好的，并不是有你无他，完全可以在能力和现实中实现一个美好的平衡。 （文章查考
安装Spark1.5.2与Hadoop2.6.2
适用于 Hadoop 2.9 build spark 1.5.212./dev/change-scala-version.sh 2.11./make-distribution.sh --name hadoop2.6-scala2.11 --tgz -Phadoop-2.6 -Pyarn -Phive -Phive-thriftserver -Dscala-2.11
Cassandra用户认证
Cassandra默认是不需要用户名和密码登录的，这样其实并不安全。 修改配置文件：conf/cassandra.yaml 启动用户名密码登录： 12authenticator: PasswordAuthenticatorauthorizer: CassandraAuthorizer 重新启动Cassandra，再次使用 bin/cqlsh 登录会提示 **AuthenticationFaile
Linux系统运维常用工具
本文记录一些 Linux 日常运维相关工具使用方法。 （注：未做特殊说明，以下设置均指：Ubuntu Server 14.04，并测试通过。） 系统设置更改系统默认字符集 Ubuntu Server下，需要修改 /etc/default/locale 文件使配置生效（需要重启系统）。也可以在每个用户的登录 .bashrc 或 .bash_profile中设置LANG、LANGUAGE等环境变量。
Mongodb 3.x 用户认证
Mongodb 3.x 的用户认证和 2.x 方式不一样，创建用户的语法已由 addUser 成成 createUser 了。 创建账号首先不使用 --auth 参数启动Mongodb， 1/opt/local/mongodb/mongodb-3.0/bin/mongod -f /opt/local/mong
Nginx（Tengine）使用
用了一段时间Tengine了，主要用于静态资源、后端服务的反向代理、负载均衡方面。也有了一些使用经验，现在将一些配置及心得记录于此。 Tengine的安装Tengine的安装非常简单，就是： 123$ ./configure$ make$ sudo make install 官方有更详细的说明：http://tengine.taobao.org/document_cn/install_
Linux下对大文件（日志）进行分割
logrotate是Linux系统自带的一个做文件（日志）分割的任务，可以很灵活的对文件做分割任务。由crontab定时执行。 一个典型的logrotate配置如下： 123456789101112yangjing:~$ more /etc/logrotate.d/nginx /usr/local/nginx/logs/*.log { notifempty daily
2015总结暨2016展望
2015已过去，2016到来。展望未来也总结过去。 20152015年到了一家新的公司，是一家做大数据服务的创业公司（准备说是2014年底）。刚到公司时我们只有几人，到现在已经成为一家50人左右的中小型互联网公司了。上半年我们尝试过个人社交、电商、招聘、监控等方向，到现在确定到了企业数据服务上。一路走来，从快速试错到确定目标，还是颇为不易的。 说完公司，再来谈谈个人吧。对于我自己来说，今年还是很有
Akka实战：开发一个多线程新闻爬虫
代码：https://github.com/yangbajing/crawler-service 使用Scala开发一个多线程爬虫，利用Akka库来管理多个爬虫任务的分散和聚合操作。同时使用scheduleOnce来设置爬取任务在指定时间内完成。详细需求如下： 可同时从多个新闻源（搜索引擎）检索新闻 已爬取过的新闻存库，第二次访问时直接从库里读取 提供duration参数，调用方可设置调用超时。