我正试图为我的当前系统提供一个可伸缩的解决方案。目前的系统是
📷
3台显微镜--1台加工机
1. 60-100GB Files come from 2-3 microscopes every 30 minutes
2. That data is transferred to a (local) network mount of the processing machine
3. The processing machine runs and contains the ETL(airflow)
标度问题
目前,它运行得很好。我担心未来的需求和负载(文件大小、处理时间等)增加我们可能面临瓶颈