V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Legman
V2EX  ›  Kubernetes

请教关于 k8s 存储方案的问题

  •  
  •   Legman · 112 天前 via Android · 3053 次点击
    这是一个创建于 112 天前的主题,其中的信息可能已经有所发展或是发生改变。

    针对私有化部署的场景,生产环境的 k8s 存储方案一般用哪种? 之前有项目用过 nfs ,但效果不太好,受网络、磁盘影响比较大。 另外,各位项目上的生产环境一般用哪个版本?

    26 条回复    2024-09-23 23:04:19 +08:00
    choury
        1
    choury  
       112 天前
    你这个具体是什么场景?我能想到的需要落地还不能丢的,只有数据库了,私有化部署直接本地盘,老老实实用 local pv ,其他的容器,落地的数据交给数据库,不重要的日志啥的,直接 overlayfs 就行了
    zhenjiachen
        2
    zhenjiachen  
       112 天前
    我们测试环境用的 nfs ,生产环境不建议用自己搭建存储,因为不稳定,只要存储挂了整个项目基本是都挂了,直接买 k8s 服务吧。
    mirrornighth
        3
    mirrornighth  
       112 天前
    用对象存储
    xinmans
        4
    xinmans  
       112 天前   ❤️ 1
    nfs 可以的,对象存储性能很垃圾。
    我是用 zfs 搭建了一套存储,然后 nfs 挂载到 k8s 。目前来看 k8s 里部署 emby/jellfin 都可以丝滑播放 nfs 里的视频。
    mightybruce
        5
    mightybruce  
       112 天前   ❤️ 1
    k8s 存储都是分场景来选的, 另外 k8s 最近几个版本都有存储驱动的弃用和移除,移除云服务厂商的 in-tree 卷驱动,都是让存储厂商来提供 csi 。
    mightybruce
        6
    mightybruce  
       112 天前
    未来存储肯定是 csi 驱动方式为主, 也减少了 k8s 的 bug 和 代码耦合。对性能和可靠性要求比较高的场景,NFS 就不适合。
    cloud107202
        7
    cloud107202  
       112 天前
    哪个好用不清楚,能给你排除一个 gluster-fs ,它的 csi-driver 只能搜出两个,活跃的十分不成熟,另一个很早被弃坑
    lrh3321
        8
    lrh3321  
       112 天前
    自建的话,一定要保证存储崩了以后,团队里有人能把数据恢复回来。自用还好说,一旦私有化部署给别人用,一出事,所有数据都和你说是重要数据。
    GeekGao
        9
    GeekGao  
       112 天前
    "前有项目用过 nfs ,但效果不太好,受网络、磁盘影响比较大。" 你不会是搞成公网访问了吧 ?
    Ayanokouji
        10
    Ayanokouji  
       112 天前
    顺路问下,有人用群晖的 csi 吗。有没有坑。
    https://github.com/SynologyOpenSource/synology-csi
    Legman
        11
    Legman  
    OP
       112 天前 via Android
    @choury localpv 确实安全,开发测试环境用的 rook-ceph
    asmile
        12
    asmile  
       112 天前
    遇到同样的问题。目前准备用 iSCSI 磁盘阵列。
    snipking
        13
    snipking  
       112 天前
    要看你具体的使用场景,高频访问还是低频访问,大量小文件还是少数大文件,对延迟要求是否苛刻,高可用和故障恢复有什么要求等等。比如低频附件就适合用对象存储或者 nfs ,数据库就适合直接用 local pv
    qaz999
        14
    qaz999  
       112 天前
    我们用的 IBM Spectrum Scale
    yuezhiyuan
        15
    yuezhiyuan  
       112 天前
    云厂商提供的 pv 、和 nfs
    NevadaLi
        16
    NevadaLi  
       112 天前 via iPhone
    如果是国内,要不试试 xsky ?他家的 ceph 不错,相当于出事了有厂商兜底
    crazycen
        17
    crazycen  
       112 天前
    1.存储有控制器和网络冗余机制。不然存储升级,网络维护等会很痛苦,需要停机窗口。
    2.分布式存储或者传统存储用 nfs 或者 s3 或者 CSI 都 OK 。主流的硬件厂商都有,HPE/HUAWEI/DELL/Lenovo 等等。备份也比较方便。
    3.自己搭建 ceph ,minio (高可用架构的)都 OK
    3.群晖这种单体 nas 测试环境 OK 。生产环境比较头疼,升级重启等。
    superchijinpeng
        18
    superchijinpeng  
       112 天前
    local pv
    DefoliationM
        19
    DefoliationM  
       112 天前 via Android
    看你应用内部怎么用了,文件就 storage class+nfs ,也可以直接用 s3 。
    zsj1029
        20
    zsj1029  
       112 天前
    cephfs
    zwt9407
        21
    zwt9407  
       111 天前
    如果性能要求不高,推荐 ceph 或者 nfs ,如果是数据库,需要用到本地存储,可以了解下 https://github.com/topolvm/topolvm/blob/main/docs/design.md
    Jasperzz
        22
    Jasperzz  
       111 天前
    普通业务 ceph block/fs
    高性能 lvm local storage
    yang59324
        23
    yang59324  
       111 天前
    私有化用过 openebs
    dann73580
        24
    dann73580  
       111 天前
    用的 juciefs
    brookq
        25
    brookq  
       111 天前 via iPhone
    没有人用 longhorn 吗
    Cola98
        26
    Cola98  
       93 天前
    这是之前相关帖子:
    https://www.v2ex.com/t/923699#reply39

    我们之前生产环境用的是存储厂商提供的 CSI ,配合存储一块使用,如果你想要性能好,就需要本地的,但是一般需要考虑漂移问题。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6036 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 06:18 · PVG 14:18 · LAX 22:18 · JFK 01:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.