### Environment

* Dubbo version: 3.1.0
* Operating System version: MacOS 13.0
* Java version: 1.8

### Steps to reproduce this issue
1. 写一个简单的项目（非spring项目）
2. main方法启动一个provider，对外暴露一个简单的api，比如DemoService#sayHi()，用sleep模拟一个耗时3秒的调用
3. main方法再启动一个consumer。创建两个reference去调用2中的api，第一个reference设置timeout为1秒，第二个reference设置超时为5秒

### 预期结果：
- 第一个调用超时，第二个调用正常

### 实际结果：
- 两个调用均超时了

这边提供一个用于重现bug的repo，希望能帮你们重现问题 https://github.com/QingJuBaiTang/dubbo-learn

host = address;
        }
        if (urlAddress == null) {
            return new ServiceConfigURL(getProtocol(), host, port, getPath(), getParameters());
        } else {
            URLAddress newURLAddress = urlAddress.setAddress(host, port);
            return returnURL(newURLAddress);
        }
    }
    public String getIp() {
        return urlAddress == null ? null : urlAddress.getIp();
    }
    public String getBackupAddress() {
        return getBackupAddress(0);
    }
    public String getBackupAddress(int defaultPort) {
        StringBuilder address = new StringBuilder(appendDefaultPort(getAddress(), defaultPort));
        String[] backups = getParameter(RemotingConstants.BACKUP_KEY, new String[0]);
        if (ArrayUtils.isNotEmpty(backups)) {
            for (String backup : backups) {
                address.append(',');
                address.append(appendDefaultPort(backup, defaultPort));
            }
        }
        return address.toString();
    }
    public List<URL> getBackupUrls() {
        List<URL> urls = new ArrayList<>();
        urls.add(this);
        String[] backups = getParameter(RemotingConstants.BACKUP_KEY, new String[0]);