使用http的Accept-Ranges实现json报文分段传输

背景

因为公司业务需求，对接一款终端设备，需要下载黑名单。可是设备的性能较差，每次下载的报文大小有限制。所以需要采用报文分段下载来实现。

当然其实这种需求最好是用查询分页来达到分段下载是最好的，可是因为终端那边实现问题还有以及其他各种原因，不得已采用这种分段下载方式。

找了很多帖子比较少有关于这种分段返回报文的内容，可是有发现可以利用断点下载的思想，去实现这个分段报文返回。有断点下载经验的同学，应该很快能理解本文介绍的内容，其实都是很皮毛的东西。
正题

分段下载我们主要用到两个http头信息：

http 响应头 Accept-Ranges
http 请求头 Range

服务器使用 HTTP 响应头Accept-Ranges标识自身支持范围请求(partial requests)。字段的具体值用于定义范围请求的单位。当浏览器/客户端发现 Accept-Ranges 头时，可以尝试继续中断了的下载，而不是重新开始。用法：Accept-Ranges: bytes

Range用来标志本次请求，获取数据的范围。如：Range: bytes=100-200
步骤

客户端请求头都带上Range，第一个请求Range:bytes=0-99，第二个Range:bytes=100-199，以此类推。
服务端除了响应头带上Accept-Ranges: bytes，还需要根据请求中的Range来切割报文，返回Range范围内的数据。
http响应码设置为206
http响应头新增Content-Range，标识本次响应的内容的范围，和整个完整报文的长度
需要注意一点的是，Range单位是byte而不是字符数，所以计算长度的时候要要将字符串换算成byte计算。

接下来展示controller层部分代码：

    // 省略业务代码
    //rsp为黑名单的响应dto对象，全量的黑名单
    String returnJson = JsonUtil.Object2Json(rsp);
    httpResp.setContentType("application/json");
    //无缓存
    httpResp.setHeader("Cache-Control", "no-cache");
    //设置UTF-8编码
    httpResp.setCharacterEncoding(Constant.CHARACTER_ENCODING);
    //可以断点下载
    httpResp.setHeader("Accept-Ranges", "bytes");
    //设置http响应码为206
    httpResp.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);

    //获取头信息Range，并且去掉bytes=
    String range = httpReq.getHeader("Range").replaceAll("bytes=", "");
    String[] rangeSplit = range.split("-");

    //整段报文的总长度，要用utf-8的编码字节长度计算
    int returnJsonLength = returnJson.getBytes("UTF-8").length;
    //offset 第一次请求默认从0开始
    int offset = Integer.parseInt(rangeSplit[0]);
    // 初始化 length 和 endIndex
    // length：本次报文返回的长度；endIndex：本次报文结束的下标位置，默认是报文的总长度所以是returnJsonLength - 1
    int length = returnJsonLength - offset;
    int endIndex = returnJsonLength - 1;
    //设置 length 和 endIndex 值
    if (rangeSplit.length > 1) {
        //strSplit数组长度大于1，说明Range是一个范围，而不是一个固定值
        endIndex = Integer.parseInt(rangeSplit[1]);
        //endIndex不允许大于等于报文长度
        if (endIndex >= returnJsonLength) {
            endIndex = returnJsonLength - 1;
        }
        //因为endIndex最大值比报文长度小于1的，而length是报文返回长度，所以要+1
        length = endIndex - offset + 1;
    }

    httpResp.setHeader("Content-Length", Long.toString(returnJsonLength));
    //Content-Range:bytes[json的开始字节]-[json的结束字节]/[报文的总大小]
    httpResp.setHeader("Content-Range", "bytes " + offset + "-" + endIndex + "/" + returnJsonLength);

    // 获得写出流
    try {
        OutputStream outputStream = httpResp.getOutputStream();
        //重点来了，输出报文，只返回原完整报文的offset至offset + length的字节内容
        outputStream.write(returnJson.getBytes("utf-8"), offset, length);
        outputStream.flush();
        outputStream.close();
    } catch (Exception e) {
        LogUtil.addProclog(procid, "返回报文错误：" + CommonUtil.getTrace(e));
    }

缺点：

每次请求只返回部分的报文，可是每次都是获取全量的黑名单，数据库查询多次。可以用redis缓存黑名单，减少数据库查询。仅以记录本次的解决方案，如果有更好的思路不妨一起交流一下，不才献丑了。