### Environment

* Dubbo version: 3.1.0
* Operating System version: MacOS 13.0
* Java version: 1.8

### Steps to reproduce this issue
1. 写一个简单的项目（非spring项目）
2. main方法启动一个provider，对外暴露一个简单的api，比如DemoService#sayHi()，用sleep模拟一个耗时3秒的调用
3. main方法再启动一个consumer。创建两个reference去调用2中的api，第一个reference设置timeout为1秒，第二个reference设置超时为5秒

### 预期结果：
- 第一个调用超时，第二个调用正常

### 实际结果：
- 两个调用均超时了

这边提供一个用于重现bug的repo，希望能帮你们重现问题 https://github.com/QingJuBaiTang/dubbo-learn

path = getPath();
        }
        if (StringUtils.isNotEmpty(path)) {
            buf.append('/');
            buf.append(path);
        }
        if (appendParameter) {
            buildParameters(buf, true, parameters);
        }
        return buf.toString();
    }
    public java.net.URL toJavaURL() {
        try {
            return new java.net.URL(toString());
        } catch (MalformedURLException e) {
            throw new IllegalStateException(e.getMessage(), e);
        }
    }
    public InetSocketAddress toInetSocketAddress() {
        return new InetSocketAddress(getHost(), getPort());
    }
    /**
     * The format is "{interface}:[version]:[group]"
     *
     * @return
     */
    public String getColonSeparatedKey() {
        StringBuilder serviceNameBuilder = new StringBuilder();
        serviceNameBuilder.append(this.getServiceInterface());
        append(serviceNameBuilder, VERSION_KEY, false);