Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息JDK版本：jdk-...
系统是centos6.x，现在需要配置nginx+php+postgresql，整个流程自己做了一遍记录下，网上的教程都是东拼西凑，自己完整的搞了一遍。系统约定：软件包放在/usr/local/src下，安装在/usr/local/下的目录即是软件名，跟我以前编译习惯一致首先前期安装依赖的项yum install gcc gcc-c++ make readline-devel flex zlib-devel -y接着去这选择你要编译安装的postgresql的版本：http:...
OneinStack是一键PHP/JAVA安装脚本工具，包含lnmp,lamp,lnmpa,ltmp,lnmh,MySQL,PostgreSQL,MongoDB等安装前注意事项：yum -y install wget screen curl python #for CentOS/Redhat# apt-get -y install wget screen curl python #for&nb...
一般rsync软件是通过crond这支后台进行（计划任务）来实现自动同步数据，如今已有更好的开源软件来代替使用crond了，那就是lsyncd（LiveSyncing(Mirror)Daemon），它的工作原理：监视本地（rsyncclient）的目录，当源数据有文件或目录更新时，更新本地文件或目录到远端机器（rsyncserver），保持实时文件同步，但是它更新数据时需要远端rsyncserver运行rsyncdemon 一、配置环境如下系统版本CentOS5.8服务端：rsync(接收同步资源服务器)客户端：lsyncd+...
rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。一、基本环境软件包版本：rsync-3.0.6-12.el6.x86_64 inotify-tools-3.14服务器信息服务端（server）：172.16.1.1客服端（client1）：172.16.1.2客服端（client2）：172.16.1.3二、客户端配置1.client1172.16...
自己编写的脚本方便以后使用，自己用的脚本，没有对vsftpd安装状态进行检测，所以最好安装完后，把第一个选项去掉，要不选错了就等于重装了vsftpd，vsftpd.conf文件直接使用配置好了远程下载替换本地的#!/bin/bash#author : merci#Only apply centos6.xfunction install_vsftpd(){yum remove vsftpd -yrm -rf /etc/vsftpd...
systemd提供更优秀的框架以表示系统服务间的依赖关系实现系统初始化时服务的并行启动，同时达到降低Shell的系统开销的效果systemd的目标是：尽可能启动更少进程；尽可能将更多进程并行启动。systemd尽可能减少对shell脚本的依赖。systemd单位类型（systemctl --type=单位类型，用来过滤单位）：服务（service）：管理着后台服务；挂载（mount）自动挂载（automount）：用来挂载文件系统；目票（target）：运行级别；套接字（socket）：用来创建套接字，并在访问套接字后，立即利用...
安装好CentOS6.4系统后，安装更新 yum update安装依赖项和所需的组件yum install gcc gcc-c++ autoconf automake jemalloc-devel libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphinx -y中间可能会提示无可用包，...
一、Varnish简介Varnish是一款高性能、开源的反向代理服务器和缓存服务器，其开发者Poul-HenningKamp是FreeBSD核心的开发人员之一。Varnish主要运行两个进程：Management进程和Child进程(也叫Cache进程)。Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行，如果在指定的时长内未得到Child进程的回应，Management将会重启此Child进程。二...
abbix是一个高度集成的企业级开源网络监控解决方案，与Cacti、nagios类似，提供分布式监控以及集中的web管理界面。zabbix具备常见商业监控软件所具备的功能，例如主机性能监控，网络设备性能监控，数据库性能监控，ftp等通用协议的监控，能够灵活利用可定制警告机制，允许用户对事件发送基于E-mail的警告，保证相关人员可以快速解决。还能够利用存储数据提供杰出的报表及实时的图形化数据处理，实现对监控主机7x24小时集中监控。Zabbix通过C/S模式采集数据通过B/S模式在web端展示和配置，通过SNMP协议传输，而被监控对象只需要支持SNMP协...