300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 网络文件存储系统(三)fastdfs分布式文件系统实战

网络文件存储系统(三)fastdfs分布式文件系统实战

时间:2020-11-21 04:50:54

相关推荐

网络文件存储系统(三)fastdfs分布式文件系统实战

引言

FastDFS是由阿里巴巴的码神余庆大佬开发的一个轻量级、高性能的开源分布式文件系统。该系统是由纯c语言开发,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

工作原理

概念解释

Client:客户端。使用java语言编写的项目属于客户端。

Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。在内存中记录集群中group和storage server的状态信息,是连接Client和Storage server的枢纽。

Storage Server:存储服务器,文件和文件属性(meta data)都保存到存储服务器上

上传过程

client询问tracker上传到的storage,不需要附加参数;tracker返回一台可用的storage;client直接和storage通讯完成文件上传

下载过程

client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);tracker返回一台可用的storage;client直接和storage通讯完成文件下载。

需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。

fastdfs依赖安装

下载libfastcommon

wget /happyfish100/libfastcommon/archive/V1.0.7.tar.gz

解压安装

tar -xvf V1.0.7.tar.gz`cd libfastcommon-1.0.7./make.sh./make.sh install

创建软连接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.soln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.soln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.soln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

fastdfs server 安装

下载fastdfs

wget /happyfish100/fastdfs/archive/V5.05.tar.gz

解压并安装fastdfs

tar -zxvf fastdfs_v5.05.tar.gz cd fastdfs_v5.05/./make.sh./make.sh install

配置 Tracker server 服务

上述安装成功后,在/etc/目录下会有一个fdfs的目录,进入它。会看到三个.sample后缀的文件,这是作者给我们的示例文件, 我们需要把其中的tracker.conf.sample文件改为tracker.conf配置文件并修改它:

cd /etc/fdfs/cp tracker.conf.sample tracker.confvim tracker.conf

编辑以下内容

# 配置文件是否不生效,false 为生效disabled=false# 提供服务的端口port=22122# Tracker 数据和日志目录地址base_path=/home/data/fastdfs# HTTP 服务端口http.server_port=8080

创建tracker文件夹

mkdir -p /home/data/fastdfs

一定先要创建,否则后面报错

创建tracker server软连

ln -s /usr/bin/fdfs_trackerd /usr/local/binln -s /usr/bin/stop.sh /usr/local/binln -s /usr/bin/restart.sh /usr/local/bin

启动tracker server

systemctl start fdfs_trackerdsystemctl stop fdfs_trackerdsystemctl restart fdfs_trackerd

查看是否启动tracker server

netstat -unltp|grep fdfs

tracker server目录

tracker server目录及文件结构 Tracker服务启动成功后,会在base_path下创建data、logs两个目录。目录结构如下:

${base_path}|__data| |__storage_groups.dat:存储分组信息| |__storage_servers.dat:存储服务器列表|__logs| |__trackerd.log: tracker server 日志文件

配置 Storage 服务

# cd /etc/fdfs# cp storage.conf.sample storage.conf# vim storage.conf

设置storage.conf 文件

# 配置文件是否不生效,false 为生效disabled=false# 指定此 storage server 所在 组(卷)group_name=group1# storage server 服务端口port=23000# 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳)heart_beat_interval=30# Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成)base_path=/home/data/fastdfs/storage# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。store_path_count=1# 逐一配置 store_path_count 个路径,索引号基于 0。# 如果不配置 store_path0,那它就和 base_path 对应的路径一样。store_path0=/home/data/fastdfs/storage# FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 # 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。subdir_count_per_path=256# tracker_server 的列表 ,会主动连接 tracker_server# 有多个 tracker server 时,每个 tracker server 写一行 公网访问需要配置公网IPtracker_server=10.0.12.9:22122# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。sync_start_time=00:00sync_end_time=23:59

创建storage文件夹

mkdir -p /home/data/fastdfs/storage

创建软连接

ln -s /usr/bin/fdfs_storaged /usr/local/bin

启动fdfs_storaged服务

systemctl start fdfs_storagedsystemctl stop fdfs_storagedsystemctl restart fdfs_storaged

检测storage启动服务情况

netstat -unltp|grep fdfs

值得注意的是base_path文件夹一定要提前建立,如果在同一台机器下安装全部的fastdfs组件,配置的ip不能写127.0.0.1,要写本机eth0的ip。

检查storage和tracker通信

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

安装fastdfs-nginx-module

tar -zxvf fastdfs-nginx-module_v1.16.tar.gzcd /home/fastdfs/fastdfs-nginx-module/srcvim mod_fastdfs.conf

配置mod_fastdfs.conf

# 连接超时时间connect_timeout=10# Tracker Servertracker_server=10.0.12.9:22122# StorageServer 默认端口storage_server_port=23000# 如果文件ID的uri中包含/group**,则要设置为trueurl_have_group_name = true# Storage 配置的store_path0路径,必须和storage.conf中的一致store_path0=/home/data/fastdfs/storage

放入etc

cp mod_fastdfs.conf /etc/fdfs/

修改fastdfs-nginx-module配置文件

cd /home/fastdfs/fastdfs-nginx-module/srcvim configngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

复制FastDFS的部分配置文件到/etc/fdfs目录

cd /home/fastdfs/fastdfs_v5.05/confcp http.conf /etc/fdfs/cp mime.types /etc/fdfs/

配置fastdfs客户端

# the base path to store log filesbase_path=/home/data/fastdfs# tracker_server can ocur more than once, and tracker_server format is# "host:port", host can be hostname or ip addresstracker_server=10.0.12.9:22122

nginx 安装

nginx安装可分为在线安装和离线安装,在线安装可以采用下面的命令

在线安装

# 查看是否已经添加源成功yum search nginx# 安装nginx(默认最新的Stable Version) -y表示安装过程提示选择全部为"yes"yum install -y nginx# 安装指定版本,如:1.12.2yum install nginx-1.12.2

离线安装nginx

离线安装可以参考小猿的nginx 学习笔记之nginx服务器的安装(二)

nginx配置安装

fastdfs需要nginx 作为一个重要的组件

./configure --add-module=../fastdfs-nginx-module/src/

执行安装命令

make && make install

验证nginx

./nginx -v

nginx 配置

cd /usr/local/nginxvim nginx.conf`

nginx.conf 文件

#### 配置文件#location放在server里面location ~/group([0-9])/M00 {root /home/data/fastdfs/storage;ngx_fastdfs_module;}

启动nginx

./nginx

测试上传效果

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf my.txt

查看上传效果

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。