V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wxf666  ›  全部回复第 13 页 / 共 34 页
回复总数  665
1 ... 9  10  11  12  13  14  15  16  17  18 ... 34  
2023-07-04 02:39:57 +08:00
回复了 aim467 创建的主题 程序员 哪种语言编写的程序转成可执行文件比较方便(exe / binary file) ?
你给点工具的应用场景出来呗?

比如,音视频处理?文本处理?结构数据处理?……
2023-07-03 18:54:46 +08:00
回复了 huluhulu 创建的主题 Python Python 依赖库的引用问题,感觉没有合适的方法
@lisongeee #5 python 有个类似的,pdm ,也支持整台电脑每个包只保留一份,然后通过软链接引用啥的。

但不清楚能不能多版本共存。。
2023-07-03 15:58:28 +08:00
回复了 ohayoo 创建的主题 Python 菜鸟又来求助 pandas 了
@Drahcir #13 pandas 用的不多,可以评估下 11 楼的效率吗?
2023-07-03 11:18:33 +08:00
回复了 yaott2020 创建的主题 Linux 请诸位 Linux 用户泼醒我
@yaott2020 #4 装个双系统呗,现在固态这么便宜
@OutOfMemoryError #11 应该有不少是索引吧
2023-07-01 12:25:00 +08:00
回复了 Authorization 创建的主题 程序员 有没有那种可以和老外沟通的聊天室
抖音上有些英语聊天室,刚开始可以去这试一试。很多都是中国人,更容易听懂些
2023-06-30 21:26:25 +08:00
回复了 dandankele 创建的主题 Go 编程语言 PHP 部分改造为 go 与全部改造为 go 是否会提升性能?
@Huelse #60 对呀,不是说,机器便宜,程序猿贵吗?

花这么多工时重构,足够加多少机器了都。。
2023-06-30 20:37:55 +08:00
回复了 alexapollo 创建的主题 程序员 MetaGPT:人人都可以成为老板,运营 GPT 公司
@alexapollo #6 加油!期待明年能见到你司的 Windows 、Office 、Oracle 、Matlab 、PhotoShop 、……
2023-06-30 19:48:45 +08:00
回复了 alexapollo 创建的主题 程序员 MetaGPT:人人都可以成为老板,运营 GPT 公司
做个 12306 出来看看?
2023-06-30 00:00:15 +08:00
回复了 ohayoo 创建的主题 Python 菜鸟又来求助 pandas 了
试着写了一个好懂一些的:

*( V 站排版会吃掉行首空格,所以替换成了全角空格。若要使用,注意替换)*

```python
import re
import pandas as pd

df1 = pd.DataFrame({
  'id': [1, 2],
  'isp': ['电信', '电信'],
  'regions': ['广东', '上海'],
  'answers': [
    'xxx.xxx.com.\nxxx.xxx.xxx.com.\n1.1.1.1 中国深圳电信\n2.2.2.2 中国深圳电信\n',
    'xxx.xxx.com.\nxxx.xxx.xxx.com.\n3.3.3.3 中国上海电信\n4.4.4.4 中国上海电信\n',
  ],
})

df2 = pd.DataFrame({
  'Age': [13, 0, 20, 25],
  'ip': [
    '1.1.1.1',
    '2.2.2.2',
    '3.3.3.3',
    '4.4.4.4',
  ],
  'status_code': [200, 403, 200, 200],
})

df_ip = (
   df1
  .set_index('id')['answers'].str
  .extractall(r'^(?P<ip>[^\s]+)', flags=re.M)
  .reset_index(level='id')
  .set_index('ip')
)

df_result = (
   df2
  .merge(df_ip, how='left', on='ip')
  .groupby('id')
  .agg({
    'ip': '\n'.join,
    'Age': lambda s: '\n'.join(s.astype('string')),
    'status_code': lambda s: '\n'.join(s.astype('string')),
  })
  .merge(df1, how='left', on='id')[[
    'answers',
    'ip',
    'Age',
    'status_code',
  ]]
)
```
@Moeblack #9 好像你没提到必须用正则实现?
问一个正则看看?

要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:

1. 三种引号(''、""、``),以及 HereDoc (<<<EOF )、NowDoc (<<<'EOF'),且允许字符串里有转义符

2. 三种注释(#、//、/* */)
@nikenidage1 #41 有可执行文件体验吗?

那个折线图是定制过的吗?

可以 70 万个子窗体、列表框子项之类的吗?
27 MB ,快赶上 QT 了。。

另外,占用 100 MB 内存,快赶上 Electron 应用了。。
2023-06-27 13:03:09 +08:00
回复了 iamfenges 创建的主题 MySQL 请教一下 clickhouse 的使用问题
@weijancc #20 好奇你原来的 SQL 是啥? 50W 数据量要 7 秒?
2023-06-26 22:13:55 +08:00
回复了 la0wei 创建的主题 Python Python + mysql 多条相似 sql 语句查询如何加速?
@la0wei #21

## 1. MySQL 提升巨大

回头看了看,突然发现,会不会是你的索引不是覆盖索引,所以取整行数据时(你 SELECT * 了),都要回表去取?

恐怖地说,你回表了 180W 次?*(当然,其中应该有很多都被 MySQL 缓存下来了,实际没有去硬盘读取)*

## 2. SQLite 用了内存数据库,还是很慢

> 用 sqlite 读数据库文件进内存查询,速度不够快,单条查询在 0.5S 的样子,是因为读取数据时没有读取索引吗

那估计就是索引不对了。没看到具体代码,只能这么猜。

> 早上测试多个查询,初始需要读取整个数据库,首次查询较慢,后面速度就快多了。不过速度似乎是没有 mysql 快的,索引的效果看来是很好的

不知道你的**等价**表结构、索引、查询语句,不好判断。

我印象中,本地非并发写场景,SQLite 一般可以比 MySQL 快几倍,甚至 10 倍都有。

*(我有个 [关于树形结构存储的帖子]( https://v2ex.com/t/889443#reply21) 有这两者的速度对比)*

## 3. sqlite 读入内存查询和常规的方法速度比较

我把 16 楼的代码改造了下,随机生成完 1 亿行数据后,保存到机械硬盘(文件大小 2.12 GB )。

然后关闭内存数据库,再重新打开机械硬盘上的数据库文件,查询 2000 行 9 个字段。结果用了 48 秒。( SQLite 内存缓存大小,是默认的 2 MB )

所以,真没必要用内存数据库。占内存大( 2.5 GB ),也没提速多少。

这也是一般情况下,对于你的需求,我目前能想出的办法,一分钟统计一亿行左右。
如果你每个用户的订单不多的话,加个 force index(idx_orders_user_id),应该能极大提速。

感觉 idx_orders_order_status 、idx_orders_status 、idx_orders_create_time 是没啥用的索引(要用它们,一般都会大量回表),建议删除

想更快一些,应该建个联合索引,甚至覆盖索引
2023-06-26 16:53:16 +08:00
回复了 mengzhuo 创建的主题 程序员 树莓派降价了!
@qq565425677 #43 我是 ROOT 后,用 Linux Deploy ,装了个 Debian 用。

咋说呢,安卓本身有很多省电机制。

去除了限制(如锁屏后保持 CPU 唤醒、WIFI 退出省电模式等)后,性能就差不多了。

再关掉安卓绝大部分服务,让出占用的几 GB 内存出来,就很像一个小服务器了。

如果要用 Docker ,那就要刷其他 Linux 发行版了。比如好像有个 PostMarketOS (我没用过,就不发表意见了)

但还有个问题,一直充电会导致电池膨胀。要是电路能像笔记本那样,优先直接供电,就好了
2023-06-26 10:22:07 +08:00
回复了 mengzhuo 创建的主题 程序员 树莓派降价了!
@qq565425677 #31 如果用不到 GPIO ,我感觉旧手机比树莓派香多了。。

300 块的二手小米 8 ,骁龙 845……
2023-06-26 08:26:12 +08:00
回复了 mengzhuo 创建的主题 程序员 树莓派降价了!
大家都用树莓派干啥呀?

如果只是当个小服务器,感觉性价比太低了。。
1 ... 9  10  11  12  13  14  15  16  17  18 ... 34  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1047 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 19:30 · PVG 03:30 · LAX 11:30 · JFK 14:30
Developed with CodeLauncher
♥ Do have faith in what you're doing.