博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
java IO 读取大文件的几种方法
阅读量:6171 次
发布时间:2019-06-21

本文共 3617 字,大约阅读时间需要 12 分钟。

hot3.png

读取文件大小:1.45G 

第一种,OldIO: 

Java代码 

public static void oldIOReadFile() throws IOException{      BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt"));      PrintWriter pw = new PrintWriter("G://oldIO.tmp");      char[] c = new char[100*1024*1024];      for(;;){          if(br.read(c)!=-1){              pw.print(c);          }else{              break;          }      }      pw.close();      br.close();  }  

耗时70.79s 
第二种,newIO: 

Java代码 

public static void newIOReadFile() throws IOException{          FileChannel read = new RandomAccessFile("G://lily_947.txt","r").getChannel();          FileChannel writer = new RandomAccessFile("G://newIO.tmp","rw").getChannel();          ByteBuffer bb = ByteBuffer.allocate(200*1024*1024);          while(read.read(bb)!=-1){              bb.flip();              writer.write(bb);              bb.clear();          }          read.close();          writer.close();                }  

耗时47.24s 
第三种,RandomAccessFile: 

Java代码 

public static void randomReadFile() throws IOException{          RandomAccessFile read = new RandomAccessFile("G://lily_947.txt","r");          RandomAccessFile writer = new RandomAccessFile("G://random.tmp","rw");          byte[] b = new byte[200*1024*1024];          while(read.read(b)!=-1){              writer.write(b);          }          writer.close();          read.close();      }

耗时46.65 
第四种,MappedByteBuffer: 

Java代码 

public static void mappedBuffer() throws IOException{          FileChannel read = new FileInputStream("G://lily_947.txt").getChannel();          FileChannel writer = new RandomAccessFile("G://buffer.tmp","rw").getChannel();          long i = 0;          long size = read.size()/30;          ByteBuffer bb,cc = null;          while(i
size){              bb = read.map(FileChannel.MapMode.READ_ONLY, i, size);              cc = writer.map(FileChannel.MapMode.READ_WRITE, i, size);              cc.put(bb);              i+=size;              bb.clear();              cc.clear();          }          bb = read.map(FileChannel.MapMode.READ_ONLY, i, read.size()-i);          cc.put(bb);          bb.clear();          cc.clear();          read.close();          writer.close();                }  

耗时:36 

对于很大的文件直接分块映射时内存会不够,这是因为MappedByteBuffer未被释放造成的,sun未提供直接回收MappedByteBuffer区域的方法,这个时候有两种方法解决,第一种比较愚笨的: 

Java代码 

    System.gc();            System.runFinalization();            try {      Thread.sleep(3000);  } catch (InterruptedException e) {            e.printStackTrace();  }  

第二种网上找来的,利用反射调用clean方法: 

Java代码 

public static void unmap(final MappedByteBuffer buffer) {          if (buffer == null) {              return;          }          AccessController.doPrivileged(new PrivilegedAction() {              public Object run() {                  try {                      Method getCleanerMethod = buffer.getClass().getMethod("cleaner", new Class[0]);                      if (getCleanerMethod != null) {                          getCleanerMethod.setAccessible(true);                          Object cleaner = getCleanerMethod.invoke(buffer, new Object[0]);                          Method cleanMethod = cleaner.getClass().getMethod("clean", new Class[0]);                          if (cleanMethod != null) {                              cleanMethod.invoke(cleaner, new Object[0]);                          }                      }                  } catch (Exception e) {                      e.printStackTrace();                  }                  return null;              }             });      }  

以上两种方法感觉都别扭,还有就是可以自己分割成物理文件再循环调用,这个也不太美观。 
速度也会减慢好多。

转载于:https://my.oschina.net/mengyuankan/blog/797016

你可能感兴趣的文章
node.js获取参数的常用方法
查看>>
jquery 的 change() 方法的使用
查看>>
本地计算机上的XXX服务启动后又停止了
查看>>
<s:iterator>标签迭代数据不显示
查看>>
判断 SQLServer 触发器类型,支持多行
查看>>
SQL表连接查询(inner join、full join、left join、right join)
查看>>
阿里云OTS(开放结构化数据服务)可视化管理工具的设计和功能介绍
查看>>
Github创建分支
查看>>
转换PHP脚本成为windows的执行程序
查看>>
Python组织文件 实践:将带有美国风格日期的文件改名为欧洲风格日期
查看>>
实现iOS7上tableView的切割线像iOS6中的效果
查看>>
http://blog.csdn.net/ouyang_peng/article/details/8732644
查看>>
LeetCode ---LRU Cache
查看>>
对于软件测试行业的观察与反思
查看>>
直接插入排序的哨兵的作用
查看>>
Android--数据库数据显示至屏幕
查看>>
JAVA通信系列二:mina入门总结
查看>>
uC/OS-III 概要
查看>>
Redis连接的客户端(connected_clients)数过高或者不减的问题解决方案
查看>>
windowsclient开发--依据可下载url另存为文件(微信windowsclient这样做的)
查看>>