V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jov1  ›  全部回复第 1 页 / 共 1 页
回复总数  11
17 天前
回复了 chenfang 创建的主题 程序员 集群如何控制 QPS?
假设这样一个场景,你的某个业务需要调用一个第三方接口,但是第三方接口有 QPS 限制,比如 20/每秒,
但是你的服务是集群部署的,通过 guava 的令牌桶可以实现单机的 QPS 控制,比如 RateLimiter.create(20, 1, TimeUnit.SECONDS);
如果部署 3 个集群,那么 QPS 最大可能为 60/每秒,这样就超过三方接口限制。
那么这种情况可以拆分为如何将 20 合理的分配到 3 个集群上,简单点使用 xxl-job ,根据分片总数和当前分片序号,以及你需要限制的 QPS ,计算得到每个分片的大小,替换到令牌桶上就可以了。

下面这个分配总数 count 就是你程序里面要定义的 qps 了。
RateLimiter.create(count, 1, TimeUnit.SECONDS);

```
public static void main(String[] args) {
// xxl-jpb 返回集群分片信息
ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();


int totalSize = 20; //集群自己配置总的 qps
int shardingTotal = shardingVO.getTotal(); // xxl-job 返回的当前分片总数
int shardingIndex = shardingVO.getIndex(); // xxl-job 返回的当前分片序号

int count = getShardingCount(totalSize, shardingIndex, shardingTotal);
System.out.println("分片 " + shardingIndex + " 分配数量: " + count);
}

public static int getShardingCount(int totalSize, int shardingIndex, int shardingTotal) {
int baseSize = totalSize / shardingTotal; // 每个分片的基本数量
int remainder = totalSize % shardingTotal; // 余数部分

// 前 remainder 个分片分配 baseSize + 1 个元素,之后的分片分配 baseSize 个元素
return shardingIndex < remainder ? baseSize + 1 : baseSize;
}
```
23 天前
回复了 abstime 创建的主题 Java 文件上传后解压缩的问题
之前用的 hutool 另外 api 解压,windows 和 linux 都正常运行,可以试下
```
// 解压目录
File extractFile = new File(extractPath);
Extractor extractor = CompressUtil.createExtractor(
CharsetUtil.CHARSET_GBK,
FileUtil.file("d:/test/compress/test.zip"));

extractor.extract(FileUtil.file(extractFile));
// 获取目录 extractFile 下文件做其他处理。。。
```
89 天前
回复了 Vesc 创建的主题 数据库 求 SQL 优化建议
@Vesc 如果打算程序先查 B ,然后再查 A ,这个没关系,比如原来可能是这样
select
a.row1 ,a. row2
from a
join b on b.order_id = a.order_id
<where>
a.age > 18
<if test="name != null and namelength()>0">
and (a.name = 'xx' or b.name = 'xx')
</if>
</where>


那你程序就是先单独查 b 的,比如 name 是需要 ab 表都查的,,再将这个 orderIds 作为条件二次查询 a
如果 name 不为空的情况下,就先查 b ,然后返回 order_id(看你描述,ab 是通过 order_id 关联的)
select order_id
from b
where .name = 'xx'

然后
select
a.row1 ,a. row2
from a
<where>
a.age > 18
<if test="name != null and namelength()>0">
and (a.name = 'xx' or a.order_id in
<if test="orderIds != null and orderIds.size() > 0">
<foreach collection="orderIds" item="orderId" separator="," open="(" close=")">
#{orderId,jdbcType=BIGINT}
</foreach>
</if>
)
</if>

</where>
89 天前
回复了 Vesc 创建的主题 数据库 求 SQL 优化建议
@Vesc 如果打算程序先查 B ,然后再查 A ,这个没关系,比如原来可能是这样
select
a.row1 ,a. row2
from a
join b on b.order_id = a.order_id
<where>
<if test="name != null and namelength()>0">

</where>
where
那你程序无非就是先一天 sql 查询
89 天前
回复了 Vesc 创建的主题 数据库 求 SQL 优化建议
这个要看具体情况,比如你查出来的列表不需要 b ,只需要 a 的字段,可以考虑下面这两种,结合执行计划看下索引命中情况。如果 ab 联表查询慢,但是单独查 b 的情况不慢,也可以程序中先单独根据条件查符合 b 的 order_id 再执行 a 的查询

select distinct a.xx, a.xx,a.xx
from a
join b on a.order_id = b.order_id
where
a.xx = ?
and b.xx=?
或者
select a.xx, a.xx,a.xx
from a
where a.order_id in (
select order_id from b where order_id is not null
and xxx=? and xxx=?
)
115 天前
回复了 atfeel 创建的主题 程序员 大佬都在什么验证码方案?
如果用的云厂商的短信发送,我这个目前用的腾讯云,配套有相应的安全策略配置之类的,比如配置发送频率,ip 限制等,同时也提供验证码服务,就是你描述的拖动类验证码,不过要收费不是免费的,这种拦截的事情交给他们来
143 天前
回复了 guch99999 创建的主题 Java 求教 springcloud 集成 websocket 报错 1009.
WebSocket 缓冲区小,传入数据太大,试试找的例子,构建 websocket 客户端连接的时候,配置下大小

WebSocketContainer container = new WsWebSocketContainer();
// 设置二进制消息缓冲区大小(以字节为单位)
container.setDefaultMaxBinaryMessageBufferSize(5120000);
// 设置文本消息缓冲区大小(以字节为单位)
container.setDefaultMaxTextMessageBufferSize(5120000);
// 设置会话空闲超时时间(以毫秒为单位)
container.setDefaultMaxSessionIdleTimeout(15 * 60000L);
StandardWebSocketClient client = new StandardWebSocketClient(container);
208 天前
回复了 jov1 创建的主题 程序员 请教一个数据库或代码的唯一性设计问题
@Rickkkkkkk
@xhawk
@fuyufjh 嗯,感觉大家提供意见和参考,之前也问了 gpt ,给出的方案是类似 path 级别这样的,但是测试几个场景后还是会存在我说的那种错误判断包含的情况,试着在这基础上不断调整,感觉可以满足,这样写可以避免这种情况(1,2,2),传入(1,2,23)
select CONCAT_WS(',',ifnull(a,''), ifnull(b,''), ifnull(c,'')) as uniqueKey
from t
where t.uniqueKey = #{uniqueKey,jdbcType=VARCHAR}
or t.uniqueKey like CONCAT(#{uniqueKey,jdbcType=VARCHAR}, ',%')
or #{uniqueKey,jdbcType=VARCHAR} like CONCAT(t.uniqueKey, ',%')
if (BooleanUtils.isTrue(xx.getEnableVoice()) {
// 校验 voiceContent 是否为空
} else {
xx.setVoiceContent(null);
} 应该也可以实现 ConstraintValidator 来自定义校验规则,拓展注解之类的,只是目前是类似这样处理的
也会有类似问题,通用的用提供的注解声明,这种情况判定来动态处理验证的,我目前放在业务实现里面校验处理,因为可能还需要对数据处理,比如 enableVoice 不等于 true ,如果前端传入了 voiceContent ,后端其实还类似需要清空这个值,那么顺手可以把校验 enableVoice=true 时 voiceContent 的非空校验做了,
类似于
if (BooleanUtils.isTrue(xx.getEnableVoice()) {

}
2023-11-14 11:35:01 +08:00
回复了 lijianmin321 创建的主题 分享创造 V 站老哥太热情了, Airy 永久会员加送 9000,凑到 1 万
支持一下,希望能体验用上
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2681 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 12:35 · PVG 20:35 · LAX 04:35 · JFK 07:35
Developed with CodeLauncher
♥ Do have faith in what you're doing.