Java 8 中的 Stream 是對集合(Collection)物件功能的增強,它專注於對集合物件進行各種非常便利、高效的聚合操作(aggregate operation),或者大批量資料操作 (bulk data operation)。Stream API 藉助於同樣新出現的 Lambda 表示式,極大的提高程式設計效率和程式可讀性。同時它提供序列和並行兩種模式進行匯聚操作,併發模式能夠充分利用多核處理器的優勢,使用 fork/join 並行方式來拆分任務和加速處理過程。通常編寫並行程式碼很難而且容易出錯, 但使用 Stream API 無需編寫一行多執行緒的程式碼,就可以很方便地寫出高效能的併發程式。所以說,Java 8 中首次出現的 java.util.stream 是一個函式式語言+多核時代綜合影響的產物。
聚合操作
在傳統的 J2EE 應用中,Java 程式碼經常不得不依賴於關係型資料庫的聚合操作來完成諸如:客戶每月平均消費金額、最昂貴的在售商品、本週完成的有效訂單(排除了無效的)、取十個資料樣本作為首頁推薦,這類的操作在傳統的Java中除了依賴於資料庫外,更多的時候是程式設計師需要用 Iterator 來遍歷集合,完成相關的聚合應用邏輯。這是一種遠不夠高效、笨拙的方法。在 Java 7 中,如果要發現 type 為 grocery 的所有交易,然後返回以交易值降序排序好的交易 ID 集合,的實現比較:
//Java 7 的排序、取值實現 ListgroceryTransactions = new Arraylist<>(); for(Transaction t: transactions){ if(t.getType() == Transaction.GROCERY){ groceryTransactions.add(t); } } Collections.sort(groceryTransactions, new Comparator(){ public int compare(Transaction t1, Transaction t2){ return t2.getValue().compareTo(t1.getValue()); } }); List transactionIds = new ArrayList<>(); for(Transaction t: groceryTransactions){ transactionsIds.add(t.getId()); } //Java8中stream實現的排序、取值實現 List transactionsIds = transactions.parallelStream(). filter(t -> t.getType() == Transaction.GROCERY). sorted(comparing(Transaction::getValue).reversed()). map(Transaction::getId). collect(toList());
Stream
Stream 不是集合元素,它不是數據結構並不儲存資料,它是有關演算法和計算的,它更像一個高階版本的 Iterator。原始版本的 Iterator,使用者只能顯式地一個一個遍歷元素並對其執行某些操作;高階版本的 Stream,使用者只要給出需要對其包含的元素執行什麼操作,比如 「過濾掉長度大於 10 的字串」、「獲取每個字串的首字母」等,Stream 會隱式地在內部進行遍歷,做出相應的資料轉換。
Stream 就如同一個迭代器(Iterator),單向,不可往復,資料只能遍歷一次,遍歷過一次後即用盡了,就好比流水從面前流過,一去不復返。
而和迭代器又不同的是,Stream 可以並行化操作,迭代器只能命令式地、序列化操作。顧名思義,當使用序列方式去遍歷時,每個 item 讀完後再讀下一個 item。而使用並行去遍歷時,資料會被分成多個段,其中每一個都在不同的執行緒中處理,然後將結果一起輸出。
Stream 的另外一大特點是,資料來源本身可以是無限的。
stream的操作
當我們使用一個流的時候,通常包括三個基本步驟:
獲取一個數據源(source)→ 資料轉換→執行操作獲取想要的結果,每次轉換原有 Stream 物件不改變,返回一個新的 Stream 物件(可以有多次轉換),這就允許對其操作可以像鏈條一樣排列,變成一個管道。
生成stream的多種方式
- Collection 和陣列
- Collection.stream()
- Collection.parallelStream()
- Arrays.stream(T array) or Stream.of()
- BufferedReader
- java.io.BufferedReader.lines()
- 靜態工廠
- java.util.stream.IntStream.range()
- java.nio.file.Files.walk()
- 主動構造
- java.util.Spliterator
- Random.ints()
- BitSet.stream()
- Pattern.splitAsStream(java.lang.CharSequence)
- JarFile.stream()
下面是一些常見的stream的構造與轉換的例項,(注意只是程式碼片段)package stream; import java.util.Arrays; import java.util.List; import java.util.stream.Collectors; import java.util.stream.IntStream; import java.util.stream.Stream; /** * stream的構造與轉換 */ public class Stream01{ public static void main(String[] args){ //構造Stream // 1. Individual values Stream stream = Stream.of("a", "b", "c"); // 2. Arrays String[] strArray = new String[]{"a", "b", "c"}; stream = Stream.of(strArray); stream = Arrays.stream(strArray); // 3. Collections Listlist = Arrays.asList(strArray); stream = list.stream(); //數值流的構造 //IntStream、LongStream、DoubleStream JDK主動整合了 IntStream.of(new int[]{1, 2, 3}).forEach(System.out::println); IntStream.range(1, 3).forEach(System.out::println); IntStream.rangeClosed(1, 3).forEach(System.out::println); //流轉換為其它數據結構 // 1. Array String[] strArray1 = stream.toArray(String[]::new); // 2. Collection List list1 = stream.collect(Collectors.toList()); List list2 = stream.collect(Collectors.toCollection(ArrayList::new)); Set set1 = stream.collect(Collectors.toSet()); Stack stack1 = stream.collect(Collectors.toCollection(Stack::new)); // 3. String String str = stream.collect(Collectors.joining()).toString(); } }
流的操作型別
- Intermediate
一個流可以後面跟隨零個或多個 intermediate 操作。其目的主要是開啟流,做出某種程度的資料對映/過濾,然後返回一個新的流,交給下一個操作使用。這類操作都是惰性化的(lazy),就是說,僅僅呼叫到這類方法,並沒有真正開始流的遍歷。常見的intermediate操作有:map (mapToInt, flatMap 等)、 filter、 distinct、 sorted、 peek、 limit、 skip、 parallel、 sequential、 unordered - Terminal
一個流只能有一個 terminal 操作,當這個操作執行後,流就被使用「光」了,無法再被操作。所以這必定是流的最後一個操作。Terminal 操作的執行,纔會真正開始流的遍歷,並且會生成一個結果,或者一個 side effect。常見的Terminal操作有:forEach、 forEachOrdered、 toArray、 reduce、 collect、 min、 max、 count、 anyMatch、 allMatch、 noneMatch、 findFirst、 findAny、 iterator - short-circuiting
用以指:對於一個 intermediate 操作,如果它接受的是一個無限大(infinite/unbounded)的 Stream,但返回一個有限的新 Stream。對於一個 terminal 操作,如果它接受的是一個無限大的 Stream,但能在有限的時間計算出結果。常見的操作有:anyMatch、 allMatch、 noneMatch、 findFirst、 findAny、 limit
map/flatMap
map它的作用就是把 input Stream 的每一個元素,對映成 output Stream 的另外一個元素。map 生成的是個 1:1 對映,每個輸入元素,都按照規則轉換成為另外一個元素。還有一些場景,是一對多對映關係的,這時需要 flatMap。
package stream;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
import java.util.stream.Stream;
public class StreamMap{
public static void main(String[] args){
//將陣列中所有元素全部轉換為大寫,並以List形式返回
Stream stringStream = Stream.of(new String[]{"a", "b", "c", "d"});
List stringList = stringStream.map(String::toUpperCase)
.collect(Collectors.toList());
//生成一個整數 list 的平方數 {1, 4, 9, 16}
List nums = Arrays.asList(1, 2, 3, 4);
List squareNums = nums.stream().
map(n -> n * n).
collect(Collectors.toList());
Stream.of(
Arrays.asList(1),
Arrays.asList(2, 3),
Arrays.asList(4, 5, 6)
).forEach(System.out::println);
Stream> inputStream = Stream.of(
Arrays.asList(1),
Arrays.asList(2, 3),
Arrays.asList(4, 5, 6)
);
Stream outputStream = inputStream.
flatMap((childList) -> childList.stream());
outputStream.forEach(System.out::println);
}
}
filter
filter 對原始 Stream 進行某項測試,通過測試的元素被留下來生成一個新 Stream。
public class StreamFilter{
public static void main(String[] args){
Integer[] sixNums = {1, 2, 3, 4, 5, 6};
Integer[] evens =
Stream.of(sixNums).filter(n -> n%2 == 0).toArray(Integer[]::new);
List output = reader.lines().
flatMap(line -> Stream.of(line.split(REGEXP))).
filter(word -> word.length() > 0).
collect(Collectors.toList());
}
}
forEach
forEach 方法接收一個 Lambda 表示式,然後在 Stream 的每一個元素上執行該表示式。
另外一點需要注意,forEach 是 terminal 操作,因此它執行後,Stream 的元素就被「消費」掉了,你無法對一個 Stream 進行兩次 terminal 運算。相反,具有相似功能的 intermediate 操作 peek 可以達到上述目的。forEach 不能修改自己包含的本地變數值,也不能用 break/return 之類的關鍵字提前結束迴圈。
public static void main(String[] args){
//使用foreach
Stream.of("one", "two", "three", "four")
.forEach(System.out::println);
//使用peek
Stream.of("one", "two", "three", "four")
.filter(e -> e.length() > 3)
.peek(e -> System.out.println("Filtered value: " + e))
.map(String::toUpperCase)
.peek(e -> System.out.println("Mapped value: " + e))
.collect(Collectors.toList());
}
findFirst
findFirst是一個 termimal 兼 short-circuiting 操作,它總是返回 Stream 的第一個元素,或者空。它的返回值型別是Optional。這也是一個模仿 Scala 語言中的概念,作為一個容器,它可能含有某值,或者不包含。使用它的目的是儘可能避免 NullPointerException。另外Stream 中的 findAny、max/min、reduce 等方法等返回 Optional 值。還有例如 IntStream.average() 返回 OptionalDouble 等等。
String strA = " abcd ", strB = null;
print(strA);
print("");
print(strB);
getLength(strA);
getLength("");
getLength(strB);
public static void print(String text){
// Java 8
Optional.ofNullable(text).ifPresent(System.out::println);
// Pre-Java 8
if (text != null) {
System.out.println(text);
}
}
public static int getLength(String text){
// Java 8
return Optional.ofNullable(text).map(String::length).orElse(-1);
// Pre-Java 8
// return if (text != null) ? text.length() : -1;
};
reduce
這個方法的主要作用是把 Stream 元素組合起來。它提供一個起始值(種子),然後依照運算規則(BinaryOperator),和前面 Stream 的第一個、第二個、第 n 個元素組合。從這個意義上說,字串拼接、數值的 sum、min、max、average 都是特殊的 reduce。也有沒有起始值的情況,這時會把 Stream 的前面兩個元素組合起來,返回的是 Optional。
下面是reduce的一些使用例項
public static void main(String[] args){
//字串連線 結果為"ABCD"
String concatStr = Stream.of("A", "B", "C", "D").reduce("", String::concat);
//求最小值 結果為-3.0
Double minValue = Stream.of(-1.5, 1.0, -3.0, -2.0).reduce(Double.MAX_VALUE, Double::min);
// 求和,有起始值 結果為10
// 第一個引數(空白字元)即為起始值,第二個引數(String::concat)為 BinaryOperator。
// 這類有起始值的 reduce() 都返回具體的物件
int sumValue = Stream.of(1, 2, 3, 4).reduce(0, Integer::sum);
// @注意
// 求和,sumValue = 10, 無起始值
//沒有起始值的 reduce(),由於可能沒有足夠的元素,返回的是 Optional
sumValue = Stream.of(1, 2, 3, 4).reduce(Integer::sum).get();
// 過濾,字串連線,結果為"ace"
concatStr = Stream.of("a", "B", "c", "D", "e", "F").
filter(x -> x.compareTo("Z") > 0).
reduce("", String::concat);
}
limit/skip
limit 返回 Stream 的前面 n 個元素;skip 則是扔掉前 n 個元素(它是由一個叫 subStream 的方法改名而來)。
package stream;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;
public class StreamLimit{
private static class Person{
public int no;
private String name;
public Person(int no, String name){
this.no = no;
this.name = name;
}
public String getName(){
System.out.println(name);
return name;
}
}
public static void main(String[] args){
List persons = new ArrayList();
for (int i = 1; i <= 10000; i++) {
Person person = new Person(i, "name" + i);
persons.add(person);
}
List personList2 = persons.stream().
map(Person::getName).
limit(5).
skip(3)
.collect(Collectors.toList());
System.out.println(personList2);
}
}
sorted/min/max/distinct
對 Stream 的排序通過 sorted 進行,它比陣列的排序更強之處在於你可以首先對 Stream 進行各類 map、filter、limit、skip 甚至 distinct 來減少元素數量後,再排序,這能幫助程式明顯縮短執行時間。
package stream;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;
public class StreamSorted{
private static class Person{
public int no;
private String name;
public Person(int no, String name){
this.no = no;
this.name = name;
}
public String getName(){
System.out.println(name);
return name;
}
}
public static void main(String[] args){
List persons = new ArrayList();
for (int i = 1; i <= 10000; i++) {
Person person = new Person(i, "name" + i);
persons.add(person);
}
//先過濾資料最後在排序
List personList2 = persons.stream().limit(5)
.skip(3)
.sorted((p1, p2) -> p1.getName().compareTo(p2.getName()))
.collect(Collectors.toList());
System.out.println(personList2);
// 找出最大的行
BufferedReader br = new BufferedReader(new FileReader("c:\SUService.log"));
int longest = br.lines().
mapToInt(String::length).
max().
getAsInt();
}
}
Match
Stream 有三個 match 方法,從語義上說
- allMatch:Stream 中全部元素符合傳入的 predicate,返回 true
- anyMatch:Stream 中只要有一個元素符合傳入的 predicate,返回 true
- noneMatch:Stream 中沒有一個元素符合傳入的 predicate,返回 true
Listpersons = new ArrayList(); persons.add(new Person(1, "name" + 1, 10)); persons.add(new Person(2, "name" + 2, 21)); persons.add(new Person(3, "name" + 3, 34)); persons.add(new Person(4, "name" + 4, 6)); persons.add(new Person(5, "name" + 5, 55)); boolean isAllAdult = persons.stream(). allMatch(p -> p.getAge() > 18); System.out.println("All are adult? " + isAllAdult); boolean isThereAnyChild = persons.stream(). anyMatch(p -> p.getAge() < 12); System.out.println("Any child? " + isThereAnyChild);
Stream.generate
通過實現 Supplier 介面,你可以自己來控制流的生成。這種情形通常用於隨機數、常量的 Stream,或者需要前後元素間維持著某種狀態資訊的 Stream。把 Supplier 例項傳遞給 Stream.generate() 生成的 Stream,預設是序列(相對 parallel 而言)但無序的(相對 ordered 而言)。由於它是無限的,在管道中,必須利用 limit 之類的操作限制 Stream 大小。
Random seed = new Random(); Supplierrandom = seed::nextInt; Stream.generate(random).limit(10).forEach(System.out::println); //Another way IntStream.generate(() -> (int) (System.nanoTime() % 100)). limit(10).forEach(System.out::println);
Stream.generate() 還接受自己實現的 Supplier。例如在構造海量測試資料的時候,用某種自動的規則給每一個變數賦值;或者依據公式計算 Stream 的每個元素值。這些都是維持狀態資訊的情形。
//自實現 Supplier Stream.generate(new PersonSupplier()). limit(10). forEach(p -> System.out.println(p.getName() + ", " + p.getAge())); private class PersonSupplierimplements Supplier{ private int index = 0; private Random random = new Random(); @Override public Person get(){ return new Person(index++, "StormTestUser" + index, random.nextInt(100)); } }
Stream.iterate
iterate 跟 reduce 操作很像,接受一個種子值,和一個 UnaryOperator(例如 f)。然後種子值成為 Stream 的第一個元素,f(seed) 為第二個,f(f(seed)) 第三個,以此類推。
//生成一個等差數列 Stream.iterate(0, n -> n + 3).limit(10). forEach(x -> System.out.print(x + " "));.
stream的併發執行
一個順序執行的stream轉變成一個併發的stream只要呼叫 parallel()方法。將一個併發流轉成順序的流只要呼叫sequential()方法。並行流就是一個把內容分成多個數據塊,並用不不同的執行緒分別處理每個資料塊的流。最後合併每個資料塊的計算結果。
//用簡單的程式驗證是否是執行緒安全的
package stream;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
import java.util.stream.IntStream;
public class StreamParallel{
public static void main(String[] args){
List list1 = new ArrayList<>();
List list2 = new ArrayList<>();
List list3 = new ArrayList<>();
Lock lock = new ReentrantLock();
IntStream.range(0, 10000).forEach(list1::add);
IntStream.range(0, 10000).parallel().forEach(list2::add);
IntStream.range(0, 10000).forEach(i -> {
lock.lock();
try {
list3.add(i);
} finally {
lock.unlock();
}
});
System.out.println("序列執行的大小-大小始終10000:" + list1.size());
System.out.println("並行執行的大小-大小不一定:" + list2.size());
System.out.println("加鎖並行執行的大小-大小始終10000:" + list3.size());
}
}
收集器
將Stream轉換為常見的集合物件或者自定義的物件是經常需要的操作。下面是常見的轉換方式
package stream;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.function.Function;
import java.util.stream.Collectors;
import java.util.stream.Stream;
public class StreamCollect01{
//將Stream轉換為常見的集合物件
public static void main(String[] args){
Stream stream = Stream.of("I", "love", "you", "too");
//將Stream轉換為List
List list = stream.collect(Collectors.toList());
list.forEach(System.out::println);
//將Stream轉換為Set
Stream stream1 = Stream.of("I", "love", "you", "too");
Set set = stream1.collect(Collectors.toSet());
set.forEach(System.out::println);
//將Stream轉換為Map
Stream stream2 = Stream.of("I", "love", "you", "too");
Map map = stream2.collect(Collectors.toMap(Function.identity(), String::length));
map.forEach((k, v) -> System.out.println(k + "=" + v));
}
}
觀察Stream的定義可以看到倆個版本的collect的方法,分別如下:
//Suppliervar1函式介面,該介面宣告了一個get方法,主要用來建立返回一個指定資料型別的物件 //BiConsumer 函式介面,該介面宣告了accept方法,並無返回值,該函式介面主要用來宣告一些預期操作。 //BiConsumer 該介面指定了apply方法執行的引數型別及返回值類 //簡單的理解為 目標容器是什麼?新元素如何新增到容器中?3. 多個部分結果如何合併成一個。 Rcollect(Supplier var1, BiConsumer var2, BiConsumer var3); // 可以理解為對上述藉口的以一個封裝 Rcollect(Collector var1);
查閱Collector的定義如下,你會發現其和多引數的Stream.collect函式很相似
public interface Collector{ //用來建立並且返回一個可變結果容器 Suppliersupplier(); //將一個值疊進一個可變結果容器 BiConsumeraccumulator(); //接受兩個部分結果並將它們合併。可能是把一個引數疊進另一個引數並且返回另一個引數, //也有可能返回一個新的結果容器,多執行緒處理時會用到 BinaryOperatorcombiner(); //將中間型別執行最終的轉換,轉換成最終結果型別 //如果屬性 IDENTITY_TRANSFORM 被設定,該方法會假定中間結果型別可以強制轉成最終結果型別 Functionfinisher(); //收集器的屬性集合 Set characteristics(); static Collector of(Supplier var0, BiConsumer var1, BinaryOperator var2, Collector.Characteristics... var3){ Objects.requireNonNull(var0); Objects.requireNonNull(var1); Objects.requireNonNull(var2); Objects.requireNonNull(var3); Set var4 = var3.length == 0 ? Collectors.CH_ID : Collections.unmodifiableSet(EnumSet.of(Collector.Characteristics.IDENTITY_FINISH, var3)); return new CollectorImpl(var0, var1, var2, var4); } static Collector of(Supplier var0, BiConsumer var1, BinaryOperator var2, Function var3, Collector.Characteristics... var4){ Objects.requireNonNull(var0); Objects.requireNonNull(var1); Objects.requireNonNull(var2); Objects.requireNonNull(var3); Objects.requireNonNull(var4); Set var5 = Collectors.CH_NOID; if (var4.length > 0) { EnumSet var6 = EnumSet.noneOf(Collector.Characteristics.class); Collections.addAll(var6, var4); var5 = Collections.unmodifiableSet(var6); } return new CollectorImpl(var0, var1, var2, var3, var5); } public static enum Characteristics { CONCURRENT, UNORDERED, IDENTITY_FINISH; private Characteristics(){ } } }
下面演示使用自定義的型別收集器
package stream;
import java.util.*;
import java.util.function.BiConsumer;
import java.util.function.BinaryOperator;
import java.util.function.Function;
import java.util.function.Supplier;
import java.util.stream.Collector;
import java.util.stream.Stream;
import static java.util.stream.Collector.Characteristics.CONCURRENT;
import static java.util.stream.Collector.Characteristics.IDENTITY_FINISH;
import static java.util.stream.Collectors.toMap;
public class StreamCollect02{
private static class Person{
private String name;
private int age;
private double height;
public Person(){
}
public Person(String name,int age, double height){
this.name = name;
this.age = age;
this.height = height;
}
public String getName(){
return name;
}
public void setName(String name){
this.name = name;
}
public int getAge(){
return age;
}
public void setAge(int age){
this.age = age;
}
public double getHeight(){
return height;
}
public void setHeight(double height){
this.height = height;
}
}
/**
* Person物件集合按年齡來分組
*/
public static class MyGroupingimplements Collector>,Map>>{
@Override
public Supplier
由於在Java系統中常用的資料型別就那麼幾種,因此JDK預設封裝了一些常用的型別收集器。可以查閱java.util.stream.Collectors型別收集器工程查閱這些預設的封裝,這其中就包括了toList、toMap等方法。java.util.stream.Collectors 類的主要作用就是輔助進行各類有用的 reduction 操作,例如轉變輸出為 Collection,把 Stream 元素進行歸組。下面使用groupingBy/partitioningBy進行分組收集。
//按照年齡歸組 Map> personGroups = Stream.generate(new PersonSupplier()). limit(100). collect(Collectors.groupingBy(Person::getAge)); Iterator it = personGroups.entrySet().iterator(); while (it.hasNext()) { Map.Entry > persons = (Map.Entry) it.next(); System.out.println("Age " + persons.getKey() + " = " + persons.getValue().size()); } // 按照未成年人和成年人歸組 Map > children = Stream.generate(new PersonSupplier()). limit(100). collect(Collectors.partitioningBy(p -> p.getAge() < 18)); System.out.println("Children number: " + children.get(true).size()); System.out.println("Adult number: " + children.get(false).size());
參考連結
https://blog.csdn.net/io_field/article/details/54971608
https://blog.csdn.net/zw19910924/article/details/76945279
https://segmentfault.com/a/1190000012166699
https://www.cnblogs.com/GYoungBean/p/4301557.html
https://blog.csdn.net/zhang89xiao/article/details/51942614
http://ifeve.com/stream/
https://blog.csdn.net/nianhua120/article/details/53406583
https://www.cnblogs.com/puyangsky/p/7608741.html
https://www.cnblogs.com/CarpenterLee/p/6550212.html
頭條楓林網