侧边栏壁纸
博主头像
Miku01博主等级

技术宅拯救世界

  • 累计撰写 17 篇文章
  • 累计创建 26 个标签
  • 累计收到 6 条评论

目 录CONTENT

文章目录

数据安全:分布式存储(一)项目简介

Violet.DrBlack
2023-09-11 / 1 评论 / 9 点赞 / 121 阅读 / 5998 字

数据安全:分布式存储(一)项目简介

【一】、我们为什么需要专用的存储服务器?

随着接触到的计算机技术的深入,我们有必要将自己的资源进行存储、分类,有序的堆放起来。以及整理笔记、帮助文档等各种重要资源。
正所谓 硬盘有价,数据无价
  你如果在做运维,假如有一整套整理好的且随时可用的全版本镜像资源,那是一件肥肠nice的事情
如果你的文件是这样的

如此众多的文件,种类复杂,且文件极其庞大。而且会随着自己收集到的资源无限扩大。如果存到本地硬盘,先来后到的资料,各种各样的文件,难免会把本地磁盘搅的一团乱;而且机械硬盘一旦遭到不可逆的伤害,对数据就是毁灭性的打击。我觉得这种重要数据无备份随意存放到本地磁盘是十分不优雅的!
  虽然我们可以养成良好习惯,定期把文件备份到阿里云、百度云,避免数据丢失;但是这样的操作是极其繁琐的。
  我个人觉得这种存储方式十分的不优雅!假设你得到了一个新的工具软件,把他压缩好了进行重命名存到了文件夹,然后又将它上传到云盘进行备份。一次且还好,多次操作下来难免会极度烦躁

难道就没有高可用性的本地存储方案吗
这就是本期《数据安全:分布式存储》的主题了

【二】、方案介绍

本期主题:群晖NAS(Synology)
群晖NAS本质上是一个专用于存储服务的Linux系统,官方开放了引导镜像和系统镜像,由于自身系统对硬件要求极其的低,我们可以使用闲置且即将报废的电脑安装此系统。
  Synology NAS (Network Attached Storage),中文名为群晖NAS,是由群晖科技公司开发的网络附加存储设备(NAS)操作系统,其主要功能是提供网络存储、文件共享、数据备份、多媒体服务、远程访问等功能。群晖系统基于Linux内核,通过图形化的管理界面,使得用户可以方便地进行各种管理操作,同时也提供了丰富的官方套件以及第三方套件,可以扩展系统的功能和应用场景。
群晖系统并且可以应对多种场景需求,利用群晖的生态安装各种套件可以达到各种需求。

1、私有云
2、Web服务器
3、虚拟化服务器
4、Docker容器管理
5、媒体服务器
6、BT、磁链、直链挂机下载
7、内网穿透服务器
8、挂载网盘到群晖
9、P2P同步服务器
10、本地文件自动同步到网盘
11、异地组网服务器
12、DHCP、DNS服务器

更多功能就靠各位自己去挖掘了在这里就不一一讲解了。

实施方案的技术要点:
1、计算机硬件基础知识,能够理解RAID(阵列)原理。
2、基础的网络环境知识,布线类型,带宽限制的问题。
3、动手能力!

此方案需要达到的目的:
1、高可靠性:多个硬盘合为一个存储空间,即使有硬盘突然寄了,也能保证数据不丢失
2、高扩展性:当存储空间不足时,可自由扩展硬盘到阵列、存储空间,且不影响原有数据
3、高效率性:使用RAID技术以及群晖的缓存技术,大幅度提升读写能力
4、高效益性:使用最低的成本,创造最高的价值!
5、高可用性:可以满足文件类型复杂、文件大小巨大且高速传输的要求


最重要的还是高冗余性了,部署分布式存储的初衷就是打造一个高可靠的大容量存储服务器。

【三】、分布式存储方案选型

1、裸机部署

最常用的部署方式,一站式存储,单台裸机服务器安装群晖。对硬件要求低,群晖对服务器的性能要求很低。

  • CPU:x86架构,2核心以上

  • 内存:2G

优点是硬件成本低,现在(2023)坑多多3T的硬盘价格已经来到了200元以内,这个硬盘虽然不怎么好,但是它能正常使用不是(乐

2、虚拟化

顾名思义,将群晖安装到虚拟机中

  • CPU:x86架构,2核心以上

  • 内存:2G

3、物理机集群

多台群晖组成集群,各司其职。文件共享服务器、备份服务器。

【四】使用策略

1、网络拓补

群晖基于网络提供服务,家用千兆网络,最大的传输速度为110MB/s,可以购买两张2.5G(坑多多50+/张)或者两张10G网卡(坑多多130/张)与客户机直连,两张网卡均配置一个同网段的IP,客户机就可以直接访问到群晖,并享有2.5G/10G的传输速度

2、链路聚合

!!!此方案需要交换机支持

群晖对多人提供服务时,一个人就能跑满千兆网卡的所有带宽,可以再为群晖增加一张或一张以上的千兆网卡,在交换机、群晖上面均配置链路聚合,多张网卡就合并成为了一张逻辑网卡,享有多张网卡融合的速度,并且拥有负载均衡、热备份的功能。

3、RAID阵列

RAID0阵列:是将多个硬盘视作一个硬盘,同时将一份文件拆分成多份存入不同的硬盘中,以做到硬盘的集中管理与并发性能。

  • 优点:性能最高

  • 缺点:零冗余性,一块硬盘升天服务器化作数据火葬场

RAID5阵列:在RAID的基础上增加了一块硬盘作为数据校验盘

  • 优点:允许随机一块硬盘损坏并且不丢失数据,将新硬盘加入阵列后自动修复阵列

  • 缺点:相比RAID0的性能略差一点,阵列的整体容量会损失一块硬盘的容量

RAID6阵列:使用了 两块硬盘作为数据校验盘

  • 优点:冗余性提升

  • 缺点:损失两块硬盘的空间

更多阵列方案可以百度,一般家用阵列RAID5足够。

4、iSCSI

iSCSI(Internet Small Computer System Interface)是一种网络存储协议,用于在IP网络上传输SCSI(Small Computer System Interface)命令。SCSI是一种通用的计算机存储协议,通常用于连接硬盘驱动器、光盘驱动器和其他存储设备到计算机系统。

iSCSI允许计算机通过网络访问远程存储设备,就像它们连接到本地计算机一样。这种协议的主要目的是提供一种低成本、高性能的方法,使远程存储资源对计算机系统可见。iSCSI通常通过TCP/IP网络进行通信,这使得它适用于广域网(WAN)和局域网(LAN)环境。

一些iSCSI的特点和用途包括:

  1. 块级存储访问:iSCSI提供了块级别的存储访问,允许计算机系统像本地硬盘一样访问远程存储设备上的数据块。这对于虚拟化、数据备份和远程数据存储非常有用。

  2. 数据中心和虚拟化:iSCSI在数据中心环境中广泛应用,特别是在虚拟化环境中。它可以用于连接虚拟机和存储资源,以实现虚拟机的高可用性和灵活的存储配置。

  3. 数据复制和快照:iSCSI支持数据复制和快照功能,这使得数据备份和恢复变得更加容易。

  4. 远程存储和灾备:iSCSI允许将数据存储在远程位置,以实现灾备和容灾计划。在灾难发生时,可以通过网络访问远程存储设备上的数据。

P·S· 以上为ChatGPT回答(乐

简而言之,iSCSI可以连接到群晖设置的iSCSI目标,将群晖设置好的空间作为自己电脑的硬盘设备,无异于物理硬盘操作

【五】总结

上述的三种方案在后文中进行详细部署操作分享
 系统始终都是群晖系统,只是部署方式、网络拓补的差异。群晖作为网络存储,始终只使用物理层、数据链路层、网络层的功能,购买多张网卡就可以极大程度的改变部署结构,提升服务能力,根据需求进行调节。千兆网卡非常廉价,完全可以自行购买,自行扩展。灵活度可谓非常高
简而言之部署高可用性、高冗余性的存储方案很多,但是这种方案极具性价比,可以说将即将卖废铁的电脑零件变废为宝,对于有众多资源的IT爱好者能提供极大的服务资源且拥有易维护、易扩展、易操作的特点。
关于群晖的安装、使用以及更高级的用法会持续在专栏中更新

9

评论区