doris stream load抱错:There is no 100-continue header

随笔1个月前发布 忐忑对方
32 0 0

阅读目录(Content)

问题描述排查方法对Expect:100-continue的理解解决方案

回到顶部(go to top)

问题描述

通过doris stream load http接口(请求的是FE地址,中间加了一层nginx反向代理),导入数据时,设置了Expect头,但是接口还是返回: “There is no 100-continue header”

回到顶部(go to top)

排查方法

1、修改doris debug log level,能在log中看到请求信息
https://doris.apache.org/docs/1.2/advanced/best-practice/debug-log/
doris stream load抱错:There is no 100-continue header

2、使用tcpdump在doris fe机器上抓包

tcpdump tcp port 18030 -X -e  -vv -s 0

doris stream load抱错:There is no 100-continue header
能清晰看到每一步的http header以及response信息。

类似于UI版本的wireshark。但是服务器上无法安装wireshark,tcpdump一定程度可以替代。

回到顶部(go to top)

对Expect:100-continue的理解

先抓个包:
doris stream load抱错:There is no 100-continue header

发送http请求,带上header: Expect:100-continue

服务器有两次响应,为啥:
1511 34.305571 182.42.157.222 18030 192.168.0.59 56959 HTTP 91 HTTP/1.1 100 Continue
1515 34.309376 182.42.157.222 18030 192.168.0.59 56959 HTTP/JSON 387 HTTP/1.1 200 OK , JSON (application/json)


以下是CHATGPT的解释:
当客户端发送 HTTP 请求时,如果请求头中包含 Expect: 100-continue,则服务器在收到请求头后会先发送一个中间响应 100 Continue,以告知客户端可以继续发送请求体(通常是比较大的数据,比如文件上传)。

下面是这个过程的详细解释:

客户端发送请求头:
客户端首先发送 HTTP 请求头,并在其中包含 Expect: 100-continue 头。这样做的目的是在确认服务器愿意接收请求体之前,不立即发送请求体,避免浪费带宽。

服务器响应 100 Continue
服务器在接收到请求头后,会进行初步检查。如果请求头没有问题且服务器准备好接收请求体,则会返回一个 100 Continue 响应。这是一个临时响应,表示客户端可以继续发送剩余的数据。

客户端发送请求体:
收到 100 Continue 响应后,客户端继续发送请求体的数据(如文件内容或较大的 JSON 数据)。

服务器处理请求并返回最终响应:
服务器在接收到完整的请求后,进行处理,并返回最终的响应。例如,处理完请求体中的数据后返回 HTTP/1.1 200 OK 以及 JSON 数据。

在你的捕获数据中:

第一个响应(1511 34.305571)是服务器返回的 HTTP/1.1 100 Continue 响应,表示服务器已经接收到请求头,客户端可以继续发送请求体。
第二个响应(1515 34.309376)是服务器在处理完请求体后返回的最终响应 HTTP/1.1 200 OK,其中包含了 JSON 数据。

这个机制的主要作用是提升网络传输效率,特别是在发送大文件时,避免在服务器不准备接收时浪费带宽。


个人总结:

浏览器发起http请求,只传输header,不发送body
服务器返回HTTP/1.1 100 Continue , 表明客户端可以继续发送请求体
浏览器通过已经建立好的tcp通道继续发送请求体
服务器响应200

回到顶部(go to top)

解决方案

在nginx反向代理中加入 proxy_set_header Expect $http_expect; doris不抱错了。

但是,疑问仍在: 难道nginx默认不会把Expect头传递给后端吗?

我用tcpdump抓包发现不管是否加入这一行配置,doris fe收到的请求中都会带上Expect: 100-continue, 实在是不明白结果为啥不一样。

问题解决了,但是原因还想不明白。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...