我有一个11GB的文件X.npy,我无法加载到我的内存中。
x.npy的形状为(18873,224,224,3)
现在我只想从中加载几行(比如说1024)(:1024,224,224,3)
。 如果不在ram内存中加载x.npy,我怎么做呢?
我在np.load中没有找到实现这一点的参数。 还有别的办法吗?
我想这可以使用np.memmap完成,但我坚持使用offset参数。 它表现得很粗鲁。 X.npy的dtype为“float32”。
使用np.load中的mmap_mode
参数:
X = np.load('X.npy', mmap_mode='r')
这样,ndarray将完全充当内存中的阵列,但不将其加载到RAM中。