前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >openresty中http请求body数据过大的处理方案

openresty中http请求body数据过大的处理方案

作者头像
小勇DW3
发布2020-04-26 13:58:35
4.5K0
发布2020-04-26 13:58:35
举报
文章被收录于专栏:小勇DW3

项目中由于数据过大,在openresty中使用

ngx.req.read_body() local args = ngx.req.get_body_data()

然后flink任务中的消费者Consumer拿到的数据是body部分是空数据,其他数据是正常的,推断是文件大小受限,导致拿不到数据。

1、排查1,检查nginx的配置,查看是否有对文件的限制,ngxin中使用了

可以确定,nginx对文件没有限制,

然后继续下一步跟踪,由于下一步的处理是转到openresty处理,所以大概率是openresty的问题了,查看openresty最佳实践发现:

client_max_body_size client_max_body_size 默认 1M,表示 客户端请求服务器最大允许大小,在“Content-Length”请求头中指定。如果请求的正文数据大于client_max_body_size,HTTP协议会报错 413 Request Entity Too Large。就是说如果请求的正文大于client_max_body_size,一定是失败的。如果需要上传大文件,一定要修改该值。 client_body_buffer_size Nginx分配给请求数据的Buffer大小,如果请求的数据小于client_body_buffer_size直接将数据先在内存中存储。如果请求的值大于client_body_buffer_size小于client_max_body_size,就会将数据先存储到临时文件中,在哪个临时文件中呢? client_body_temp 指定的路径中,默认该路径值是/tmp/. 所以配置的client_body_temp地址,一定让执行的Nginx的用户组有读写权限。否则,当传输的数据大于client_body_buffer_size,写进临时文件失败会报错。

处理办法:

在这个问题上和语言就相关了,如果使用的是PHP,PHP会自己将临时文件读取出来,放置到请求数据里面,这是没有问题的,开发者也不需要关心。肯定是完整的数据。 如果使用的openresty lua 开发的话,就需要开发者自己读取出来,让后续的逻辑使用。

代码语言:javascript
复制
location /xx/xx/xx/xx {
        # 响应正常,内容为空
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        empty_gif;
        client_max_body_size 50m;
        client_body_buffer_size 10m;

        content_by_lua_block{

        local topic = ""
        local cjson = require "cjson"
        local producer = require "resty.kafka.producer"
        -- 定义kafka broker地址,ip需要和kafka的host.name配置一致
        local broker_list = {
                { host = "", port = },
                { host = "", port = },
                { host = "", port = }
        }
        -- 定义json便于日志数据整理收集
        local data_json = {}
        ngx.req.read_body()
        local args = ngx.req.get_body_data()
        if nil == args then
                local temp_file_name = ngx.req.get_body_file()
                ngx.log(ngx.ERR, "Body data in temp file: ", temp_file_name)
                if temp_file_name then
                        local f = assert(io.open(file_name, 'r'))
                        local body_data = f:read("*all")
                        f:close()
                        args =  body_data
                        ngx.log(ngx.ERR, "Body: ", args)
                end
         end

        -- ngx.log(ngx.ERR, "kafka receive msg:", args)
        data_json["body"] = ngx.encode_base64(args)
        data_json["u_time"] = ngx.now() * 1000
        -- 转换json为字符串
        local message = cjson.encode(data_json);
        -- ngx.log(ngx.ERR, "args:", message)
        -- 定义kafka异步生产者
        local bp = producer:new(broker_list, { producer_type = "async" })
        -- 发送日志消息,send第二个参数key,用于kafka路由控制:
        -- key为nill(空)时,一段时间向同一partition写入数据
        -- 指定key,按照key的hash写入到对应的partition
        local ok, err = bp:send(topic, nil, message)

        if not ok then
                 ngx.log(ngx.ERR, "kafka enter msg:", args)
                 return
            end
        }
   }

总结 传输的数据大于client_max_body_size,一定是传不成功的。小于client_body_buffer_size直接在内存中高效存储。如果大于client_body_buffer_size小于client_max_body_size会存储临时文件,临时文件一定要有权限。 如果追求效率,就设置 client_max_body_size client_body_buffer_size相同的值,这样就不会存储临时文件,直接存储在内存了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-04-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档