在做IT民工时的一些关于数据处理的经验

你处理过的最大的数据量是多少？你是如何处理的？

曾经在以前的公司做过IT，凡事跟电脑相关的都要做，也就是俗话说的IT民工吧。

当时公司里有一个数据库会接收到的测试数据大约为一个月100万条左右，然后要通过程序每五分钟左右抓取一下这个数据库。

说实话，当时压力蛮大的，因为程序涉及到生产不能停，频繁的读取这么多数量的数据库会导致程序很卡，一卡使用这个程序的人就会停下生产的，所以我在方面也研究了一些方法 。注：当时使用的服务器为windows server2008r2，数据库为sql 2008版本，程序为php语言编写。

我总结一下当时的方法:

1、每个月都会找个时间重启服务器，释放CPU和内存资源。

2、一定要分开文件服务器和数据库服务器为同一台，因为文件服务器占用带宽资源比较严重。

3、防止数据库锁死，编写程序时已经避免同时使用更新语句。

4、使用任务管理把相应的数据进行后台处理，如先把数据写到a表里，再通过任务后台让它跟b表进行匹配。

5、编写sql语句时，尽量精确匹配，不要模糊匹配，可以通过数据库管理器来查询所用的时间是多少。

6、关于数据物理安全的小建议，一定要给系统盘和数据盘，做好raid，经常观察硬盘是否亮红灯报警，要及时更换，二，使用备份软件对数据进行定时备份，在空闲的时间点备份，不会影响数据库使用的效率，比如吃饭的点。

系统无法启动时，请勿随意重装系统，可以试一下最后一次正确配置启动。

总结：实际情况要有灵活的方法，也就是数据运行的瓶颈在哪里，就对哪里进行优化。

浅见，请多指教。

本文由牵牛创意原创，欢迎讨论。