Hive和HBase区别

1.两者分别是什么?  ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。ApacheHBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务。Hive被分区为表格,表格又被...

阅读全文

iis/nginx/apache配置301http跳转到https

记录下常用的http跳转https的301配置,免得以后到处找iis配置方式:<?xml version="1.0" encoding="UTF-8"?><configuration> <system.webServer>  <rewrite>   <rules>    <rule name="...

阅读全文

ffmpeg介绍和简单实用方法

FFmpeg是一个自由软件,可以运行音频和视频多种格式的录影、转换、流功能,包含了libavcodec—这是一个用于多个项目中音频和视频的解码器库,以及libavformat——一个音频与视频格式转换库。ffmpeg安装下载ffmpeg包直接解压到指定路径,例如我解压到D:\ffmpeg,将这个目录的bin路径加到环境变量中然后在cmd中输入ffmpeg显示如下图说明安装成功!ffmpeg简单应用例子将视频转换为图片ffmpeg.exe -i 路径\待转换的文件名.mp4 -r 30 -s 6...

阅读全文

Apache压力测试工具ab详解

ab的全称是ApacheBench,是Apache自带的网络压力测试工具,相比于LR、JMeter,是我所知道的Http压力测试工具中最简单、最通用的。ab命令对发出负载的计算机要求很低,不会占用很高CPU和内存,但也能给目标服务器产生巨大的负载,能实现基础的压力测试。在进行压力测试时,最好与服务器使用交换机直连,以获取最大的网络吞吐量。ab的安装很简单,安装Apache会自动安装,如果要单独安装ab,可以使用yum安装:yum-yinstallhttpd-t...

阅读全文

nginx+php-fpm分离部署提升web服务器性能

之前一直都有用nginx的动静分离和负载均衡功能,但是现在手上一个接到的CASE是前端nginx无法变动,但是机器负载非常高,平均每颗CPU负载达到了10,已经严重超过负荷,并发非常之高,各种优化都不能很好解决,架构比较复杂,所以想到了php-fpm可以以监听的方式来提供phpcgi的服务,这样就好办了,想了后端还可以用负载均衡来做php-fpm的负载,决定动手实践主要是更改nginx中虚拟机的配置    location ~ \.php(/|$) {  &n...

阅读全文

nginx,apache,tomcat虚拟主机配置及CA证书的配置实例

重头整理下这些WEB服务器的虚拟主机配置,免得以后到处找我们还是先把nginx配置贴出来user  www www;worker_processes  1;#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  info;pid   &...

阅读全文

Nginx禁止IP地址访问防止被域名恶意解析的方法

我们在使用nginx时发现一个问题,将域名解析到服务器,如果nginx没有绑定该域名,该域名解析到服务器IP上,会打开服务器上其它绑定域名的站点,这是我们不想看到的,解决这个问题只需要做一些处理,让IP访问一个默认服务,返回一个nginx自有的444状态码,实际使用中你可以改成自己想要的返回状态码server {    listen       80  default_server;  &...

阅读全文

如何判断访问用户是微信访问还是微信UA

做微信站点的开发的时候,我们有需求只允许微信来访问网页。可行的一种方法是按照浏览器UA来判断是否是微信。下面是我抓取到的UA:Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12A365 MicroMessenger/5.4.1 NetType/...

阅读全文

服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站

一、Apache①、通过修改.htaccess文件修改网站目录下的.htaccess,添加如下代码即可(2种代码任选):可用代码(1):RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Micr...

阅读全文

nginx自动识别适配WAP手机版和PC版

nginx适配手机版和电脑版网站是利用浏览器的User-Agent来判断来访用户的设备的核心的配置如下set $mobile_rewrite do_not_perform;    if ($http_user_agent ~* "(android|bb\d+|meego).+mobile|avantgo|bada\/|blackberry|blazer|compal|elaine|fennec|hiptop|iemobile|ip(hone|od)...

阅读全文