b*****e
发帖数: 762 | 1 【 以下文字转载自 Database 讨论区 】
发信人: bulaike (不来客), 信区: Database
标 题: 如何画图显示5亿个数对儿？
发信站: BBS 未名空间站 (Fri Jul 1 15:56:23 2011, 美东)
就是每个.dat文件里存了5000个数对，第一列是时间，第二列是数据。我把10个左右的
这种文件每个画一条曲线，然后把10个线放在一个图中比较趋势。请问有什么工具适合
这样做呢？我用过excel处理一个图像，但是excel基本上快要死机了。每对图形操作一下都要等很久机器才能缓过来，而且
对10来个文件一起操作估计就不行了。是不是要用matlab逐次读取然后画图然后清空内存然后再读新数据这样才能好一些？ |
l********a
发帖数: 1154 | |
g*****g
发帖数: 34805 | 3 有这个数据量画图，可以考虑先做grouping吧，把相近的数据
平均成一个点。
一下都要等很久机器才能缓过来，而且
内存然后再读新数据这样才能好一些？
【在 b*****e 的大作中提到】
: 【 以下文字转载自 Database 讨论区 】
: 发信人: bulaike (不来客), 信区: Database
: 标 题: 如何画图显示5亿个数对儿？
: 发信站: BBS 未名空间站 (Fri Jul 1 15:56:23 2011, 美东)
: 就是每个.dat文件里存了5000个数对，第一列是时间，第二列是数据。我把10个左右的
: 这种文件每个画一条曲线，然后把10个线放在一个图中比较趋势。请问有什么工具适合
: 这样做呢？我用过excel处理一个图像，但是excel基本上快要死机了。每对图形操作一下都要等很久机器才能缓过来，而且
: 对10来个文件一起操作估计就不行了。是不是要用matlab逐次读取然后画图然后清空内存然后再读新数据这样才能好一些？
|
h**********c
发帖数: 4120 | 4 用matlab或python写个脚本，
每个图形存到一个eps或png上，
如果按4G的四字节浮点数数据量来看，
我老用c++/opengl 在64位linux 8 G内存 Q6600，上处理过，
当你把数据全部读进内存以后，opengl 流畅地render，属于世界上少有的独家体验。
问题是你自己写malloc，
vector 之流最大的trunk 是3g，不过已经是数年前的事情了。
如果你有buget可以站内信，估计也是个穷phd，当我白说。 |
l********a
发帖数: 1154 | 5 64位 linux 8G内存 Q6600
条件相当苛刻啊 |
w***g
发帖数: 5958 | 6 同学，现在2011年都过了一半了。8G内存已经是低配了。
【在 l********a 的大作中提到】
: 64位 linux 8G内存 Q6600
: 条件相当苛刻啊
|
i*******d
发帖数: 1430 | 7 如果就是因为了显示和打印曲线，根本不需要把这些数据全都显示出来，首先你得把数
据简化了，5000个数据点简化成500都嫌多。
现在学计算机的根本没有合理利用资源的概念。当年用8086编程的人看见你们这些半吊
子非得起死不可。
一下都要等很久机器才能缓过来，而且
内存然后再读新数据这样才能好一些？
【在 b*****e 的大作中提到】
: 【 以下文字转载自 Database 讨论区 】
: 发信人: bulaike (不来客), 信区: Database
: 标 题: 如何画图显示5亿个数对儿？
: 发信站: BBS 未名空间站 (Fri Jul 1 15:56:23 2011, 美东)
: 就是每个.dat文件里存了5000个数对，第一列是时间，第二列是数据。我把10个左右的
: 这种文件每个画一条曲线，然后把10个线放在一个图中比较趋势。请问有什么工具适合
: 这样做呢？我用过excel处理一个图像，但是excel基本上快要死机了。每对图形操作一下都要等很久机器才能缓过来，而且
: 对10来个文件一起操作估计就不行了。是不是要用matlab逐次读取然后画图然后清空内存然后再读新数据这样才能好一些？
|
d******e
发帖数: 7844 | 8 人眼的分辨率也不过是300dpi，-1到1的去区间细分成2000个grid足以。
其实5亿个点只需要按2000x200的grid来做合并就足够了。
【在 i*******d 的大作中提到】
: 如果就是因为了显示和打印曲线，根本不需要把这些数据全都显示出来，首先你得把数
: 据简化了，5000个数据点简化成500都嫌多。
: 现在学计算机的根本没有合理利用资源的概念。当年用8086编程的人看见你们这些半吊
: 子非得起死不可。
:
: 一下都要等很久机器才能缓过来，而且
: 内存然后再读新数据这样才能好一些？
|
a****l
发帖数: 8211 | 9 其实怎样简化还是有点讲究的,所以要简单的话还是只能设法用全数据显示,当然拉,5亿
就是500M数据,每个4B就是2G的内存,机器能把这些数据读进来显示出来应该很庆幸了,
不要抱怨慢了.
【在 i*******d 的大作中提到】
: 如果就是因为了显示和打印曲线，根本不需要把这些数据全都显示出来，首先你得把数
: 据简化了，5000个数据点简化成500都嫌多。
: 现在学计算机的根本没有合理利用资源的概念。当年用8086编程的人看见你们这些半吊
: 子非得起死不可。
:
: 一下都要等很久机器才能缓过来，而且
: 内存然后再读新数据这样才能好一些？
|
n*****3
发帖数: 1584 | 10 do something like boxplot instead of simple plot?
一下都要等很久机器才能缓过来，而且
内存然后再读新数据这样才能好一些？
【在 b*****e 的大作中提到】
: 【 以下文字转载自 Database 讨论区 】
: 发信人: bulaike (不来客), 信区: Database
: 标 题: 如何画图显示5亿个数对儿？
: 发信站: BBS 未名空间站 (Fri Jul 1 15:56:23 2011, 美东)
: 就是每个.dat文件里存了5000个数对，第一列是时间，第二列是数据。我把10个左右的
: 这种文件每个画一条曲线，然后把10个线放在一个图中比较趋势。请问有什么工具适合
: 这样做呢？我用过excel处理一个图像，但是excel基本上快要死机了。每对图形操作一下都要等很久机器才能缓过来，而且
: 对10来个文件一起操作估计就不行了。是不是要用matlab逐次读取然后画图然后清空内存然后再读新数据这样才能好一些？
|
h**********c
发帖数: 4120 | 11 5 0000 0000 pairs
are
10 0000 0000
X 4B
4 000 000 000
ABT 4G 吧？
记得我老那天还特意在草纸爬拉了两下,
楼主5亿个数对的坑就显得很老道了,正好命中很多人32位盗版xp的短板.
不过我觉得opengl 的clipping plane上view vector看不见的的点,硬件就替你优化了.
总之把浮点数转化成pixel，好象还没什么比opengl 干的好. |
