### Environment

* Dubbo version: 3.1.0
* Operating System version: MacOS 13.0
* Java version: 1.8

### Steps to reproduce this issue
1. 写一个简单的项目（非spring项目）
2. main方法启动一个provider，对外暴露一个简单的api，比如DemoService#sayHi()，用sleep模拟一个耗时3秒的调用
3. main方法再启动一个consumer。创建两个reference去调用2中的api，第一个reference设置timeout为1秒，第二个reference设置超时为5秒

### 预期结果：
- 第一个调用超时，第二个调用正常

### 实际结果：
- 两个调用均超时了

这边提供一个用于重现bug的repo，希望能帮你们重现问题 https://github.com/QingJuBaiTang/dubbo-learn

protected <T extends URL> T newURL(URLAddress urlAddress, URLParam urlParam) {
        return (T) new ServiceConfigURL(urlAddress, urlParam, attributes);
    }
    @Override
    public URL addAttributes(Map<String, Object> attributes) {
        Map<String, Object> newAttributes = new HashMap<>();
        if (this.attributes != null) {
            newAttributes.putAll(this.attributes);
        }
        newAttributes.putAll(attributes);
        return new ServiceConfigURL(getUrlAddress(), getUrlParam(), newAttributes);
    }
    @Override
    public ServiceConfigURL putAttribute(String key, Object obj) {
        Map<String, Object> newAttributes = new HashMap<>();
        if (attributes != null) {
            newAttributes.putAll(attributes);
        }
        newAttributes.put(key, obj);
        return new ServiceConfigURL(getUrlAddress(), getUrlParam(), newAttributes);
    }
    @Override
    public URL removeAttribute(String key) {
        Map<String, Object> newAttributes = new HashMap<>();
        if (attributes != null) {
            newAttributes.putAll(attributes);
        }
        newAttributes.remove(key);
        return new ServiceConfigURL(getUrlAddress(), getUrlParam(), newAttributes);
    }