V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  sdushn  ›  全部回复第 23 页 / 共 112 页
回复总数  2240
1 ... 19  20  21  22  23  24  25  26  27  28 ... 112  
2021-02-23 14:12:26 +08:00
回复了 Fronter 创建的主题 职场话题 离职 OR 苟住 ?
看夫妻感情和个人追求吧,如果是我更倾向 3
2021-02-23 11:46:14 +08:00
回复了 CantSee 创建的主题 问与答 各位下班都背电脑吗?
不背,家里有一台自己的本子
2021-02-07 17:27:34 +08:00
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@nano91 我去研究一下
2021-02-07 17:16:22 +08:00
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@learningman 流下了没有技术的泪水,C++更不会写了
2021-02-07 17:15:01 +08:00
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@starzh
@nano91
目前是计划先一次性读取,在给 pandas 之前处理好,按行读取,按分片逻辑把竖着的表处理成横着的,最后一次性给 pandas 转 dataframe
2021-02-07 16:44:26 +08:00
回复了 sdushn 创建的主题 Python 请教大佬们如何用 pandas 高效读取被分片的 csv 文件
@lpts007 上下游都搞不定啊,难顶,只能自己处理了,又赶上鄙人不擅长 python T-T
2021-02-07 16:23:51 +08:00
回复了 sdushn 创建的主题 Python 迫于不会,请教大佬们如何用 pandas 分片读取 csv 文件
### 背景
使用 pandas 库处理一个性能参数的 csv 文件,但是 csv 文件是分片的,格式如下

| time | A | B | C | D |
| ---- |---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 |
| time | E | F | G | H |
| 20:00| 4 | 5 | 6 | 7 |
|...|

现在想读成如下格式,存成一个 dataframe 便于下游继续处理

| time | A | B | C | D | E | F | G | H |...|
| ---- |---|---|---|---|---|---|---|---|---|
| 20:00| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |...|

### 现在方案及问题
现在是通过跳过 n 行读取,然后拼接的方案,会存在多次调用 pandas.read_csv,性能太差了,想请教一个 python 大佬们有什么高效的办法
``pandas.read_csv(target_file, skiprows=skip_rows, nrows=range, skipinitialspace=True)
skip_rows = skip_rows + range
``
2021-02-07 11:54:55 +08:00
回复了 susanzhou 创建的主题 创业组队 招募兼职合伙人
果然差的不只是一个程序员
2021-02-06 22:13:54 +08:00
回复了 0gys 创建的主题 职场话题 当管理真的好吗?
看是什么类型的吧,技术型管理感觉是可以接受的,更像是架构师+管理,负责需求准入,任务拆分,技术需求推进,开发质量保证,技术选型等等,会比较累,但是不会丢下技术
2021-02-03 10:14:04 +08:00
回复了 Touchevent 创建的主题 职场话题 一个逢人必问:“可以借我 10 块钱吗?”的土狗.....
再来十块钱的吧,没看够
1 ... 19  20  21  22  23  24  25  26  27  28 ... 112  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1831 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 16:23 · PVG 00:23 · LAX 08:23 · JFK 11:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.