首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    上传文件服务与web服务分离

    业务场景: 1. 后端服务为java web应用,使用tomcat容器,多实例集群化部署。 2. 前端使用nginx作为后端应用的反向代理。 业务需求: 现在需要在java web应用端上传文件,同时还要能支持文件下载。 设计方案: 1. 文件应该专门使用文件服务器进行存储,在数据库中存储文件下载链接即可。 2. tomcat容器本身不擅长做文件上传下载的事情,所以最好将文件上传下载的功能与web服务分离,比如使用nginx作为文件服务器。 具体实现: 通常,针对简单的应用,可以使用NFS,在web端上传文件后直接写到文件服务器;或者将文件上传到web应用之后,再将文件同步到文件服务器。 不论是通过NFS或者任何其他同步工具的方式,都存在文件中转的过程,必须先将文件通过web应用进行上传保存,再同步到文件服务器。中间可能存在同步出错或延时,也存在扩展性不好的问题。 所以,设计实现方案如下: 1. 使用http协议通过web表单方式上传文件。 2. 在文件服务器上部署web服务器,专门用于文件上传。 3. 通常在web应用中上传文件时,除了上传文件数据,还需要传递一些文字。文字保存在数据库中,文件保存在服务器上,同时将生成文件下载链接保存在数据库。 4. 通过MD5校验文件内容,避免相同文件因为文件名不同而被恶意上传导致大量垃圾文件占满磁盘空间。

    01

    oushudb-数据库的备份和恢复

    这一节,我们一起来学习如何数据库的备份和恢复,即导入和导出OushuDB数据。 再导入导出之前,为了保证你有足够的磁盘空间来存储备份文件,我们可以通过如下命令得到数据库大 小: mydb=# SELECT sodddatsize FROM hawq_toolkit.hawq_size_of_database WHERE sodddatname=’mydb’; 如果待备份表是压缩的,这个查询给出的大小是压缩后的大小,如果你的备份是没有压缩的,需要乘上 一个压缩比来计算所需空间。具体的空间占用情况,需要根据大家的实际情况来分析判断。 数据库的备份和恢复 通过gpfdist外部表导入数据 启动gpfdist文件服务器 把需要加载的数据文件放到gpfdist数据目录 定义外部表 加载数据 通过gpfdist外部表导出数据 启动gpfdist文件服务器 准备导出的表 定义外部表 导出数据 hdfs外部表导入数据 把需要加载的数据文件放到hdfs数据目录 定义外部表 加载数据 hdfs外部表导出数据 准备导出的表 定义外部表 导出数据 使用COPY命令导入导出数据

    01

    如何彻底删除2008数据库_excel批量筛选重复人名

    在企业环境中,对磁盘空间的需求是惊人的。数据备份、文件服务器、软件镜像、虚拟磁盘等都需要占据大量的空间。对此,微软在Windows Server 2012中引入了重复数据删除技术。 重复数据删除技术通过将文件分割成小的 (32-128 KB) 且可变大小的区块、确定重复的区块,然后保持每个区块一个副本,区块的冗余副本由对单个副本的引用所取代。这样,文件不再作为独立的数据流进行存储,而是替换为指向存储在通用存储位置的数据块的存根。因此,我们可以在更小的空间中存储更多的数据。此外,该项技术还会对区块进行压缩以便进一步优化空间。 根据微软官方的介绍,该项技术有四大好处: 一、容量优化:“重复数据删除”使得 Windows Server 2012 能够在更少的物理空间中存储更多的数据,并获得比以前版本的 Windows 操作系统明显更高的存储效率。以前版本的 Windows 操作系统使用单实例存储 (SIS) 或 NTFS 文件系统压缩。“重复数据删除”使用可变分块大小和压缩,常规文件服务器的优化率为 2:1,而虚拟数据的优化率最高可达 20:1。 二、伸缩性和性能: Windows Server 2012 中的“重复数据删除”具有高度的可伸缩性,能够有效利用资源,并且不会产生干扰。它可以同时对多个大容量主数据运行,而不会影响服务器上的其他工作负载。通过控制 CPU 和内存资源的消耗,保持对服务器工作负载的较低影响。此外,用户可以灵活设置何时应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”创建有关文件选择的策略。 三、可靠性和数据完整性:在对数据应用“重复数据删除”时,保持数据的完整性。Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。此外,Windows Server 2012 中的“重复数据删除”会为所有元数据和最常引用的数据保持冗余,以确保这些数据可以在发生损坏时进行恢复。 四、与 BranchCache 相结合提高带宽效率:通过与 BranchCache 进行集成,同样的优化技术还可应用于通过 WAN 传输到分支机构的数据。这会缩短文件下载时间和降低带宽占用。 作为系统管理员,有那么好的技术,自然是要来尝试一下。 首先要为系统添加Data Deduplication角色

    03
    领券