阿里云利用OSSFS挂载OSS至本地使用

ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:随机或者追加写文件会导致整个文件的重写。元数据操作,例如listdirectory,性能较差,因为需要远程访问oss服务器文件/文件夹的rename操作不是原子的多个客户端挂载同一个ossbucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。不支持hardlink。不适合用在高并发读/写的场景,这样会让系统的load升高 一、安装ossfs之前安装相应的依赖库:Ubuntu 14.04:sudo apt-get&...

阅读全文

centos下配置rsync+lsyncd实现文件实时同步

一般rsync软件是通过crond这支后台进行(计划任务)来实现自动同步数据,如今已有更好的开源软件来代替使用crond了,那就是lsyncd(LiveSyncing(Mirror)Daemon),它的工作原理:监视本地(rsyncclient)的目录,当源数据有文件或目录更新时,更新本地文件或目录到远端机器(rsyncserver),保持实时文件同步,但是它更新数据时需要远端rsyncserver运行rsyncdemon 一、配置环境如下系统版本CentOS5.8服务端:rsync(接收同步资源服务器)客户端:lsyncd+...

阅读全文

centos配置rsync+inotify实现实时同步

rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。一、基本环境软件包版本:rsync-3.0.6-12.el6.x86_64 inotify-tools-3.14服务器信息服务端(server):172.16.1.1客服端(client1):172.16.1.2客服端(client2):172.16.1.3二、客户端配置1.client1172.16...

阅读全文

Linux中搭建FastDFS简易单服务器

什么是FastDFSFastDFS是一个叫余庆的哥们用c语言编写的一款开源的分布式文件系统功能有冗余备份、负载均衡、线性扩容等,高可用、高性能可以用FastDFS搭建一套高性能的文件服务器集群提供文件上传、下载 fastDFS又区别于Hadoop的HDFS,前者用于上传下载文件或者图片,后者用于解决大数据分析,提供解决方案(当然也能用来存储文件) 图中tracker就相当于仓库管理员,负责管理storage中的文件,storage中每个组又有一些文件服务器,这些都是平级的,没有主从关系,不像redis,也不像MySQLstorage...

阅读全文

linux上配置NFS详细步骤

一、NFS服务简介NFS是NetworkFileSystem的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。NFS的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用(Rem...

阅读全文

linux下编译安装TFS

TFS(TaobaoFileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TFS提供了良好的读写性能。本文记录了tfs 2.2.16版本...

阅读全文

linux下sed命令详解以及用法参数

调用sed命令有两种形式:sed [options] 'command' file(s)sed [options] -f scriptfile file(s) 删除:d命令 $ sed '2d'   example-----删除example文件的第二行。$ sed '2,$d' example-----删除example文件的第二...

阅读全文

ubuntu源码编译安装php常见错误解决办法

./configure --prefix=/usr/local/php5 --with-config-file-path=/usr/local/php5/etc --with-mysql=/usr/local/mysql --with-mysqli=/usr/local/mysql/bin/mysql_config --with-mysql-sock=/tmp/mysql.sock --with-pdo-mysql=/usr/local/mysql --with-gd --w...

阅读全文

CentOS下一键安装OpenStack

安装前需要修改/etc/hosts文件,添加127.0.0.1dev-100(dev-100为当前机器名)否则会报如下错误:Could not start Service[rabbitmq-server]: Execution of '/sbin/service rabbitmq-server start' returned 1: Starting rabbitmq-server: FAILED ...

阅读全文