Сложност във времето на Java колекции

1. Общ преглед

В този урок ще говорим за представянето на различни колекции от Java Collection API . Когато говорим за колекции, обикновено мислим за структурите от данни Списък, Карта и Набор и техните общи реализации.

На първо място, ще разгледаме статистиката за сложността на Big-O за общи операции, а след това ще покажем реалния брой на времето за изпълнение на някои операции по събиране.

2. Сложност във времето

Обикновено, когато говорим за сложност във времето, ние се позоваваме на Big-O нотация . Най-просто казано, нотацията описва как времето за изпълнение на алгоритъма нараства с размера на входа.

Налични са полезни записи, за да научите повече за теорията за обозначенията Big-O или практически примери за Java.

3. Списък

Нека започнем с прост списък - който е подредена колекция.

Тук ще разгледаме преглед на ефективността на изпълненията на ArrayList, LinkedList и CopyOnWriteArrayList .

3.1. ArrayList

Списъкът ArrayList в Java е подкрепен от масив . Това помага да се разбере вътрешната логика на нейното изпълнение. По-изчерпателно ръководство за ArrayList е достъпно в тази статия.

И така, нека първо се фокусираме върху сложността на времето на общите операции, на високо ниво:

  • add () - отнема O (1) време
  • add (индекс, елемент) - в средни пробези за O (n) време
  • get () - винаги еоперацияс постоянно време O (1)
  • remove () - работи в линейно O (n) време. Трябва да повторим целия масив, за да намерим елемента, отговарящ на условията за премахване
  • indexOf () - също работи в линейно време. Той итерира през вътрешния масив и проверява всеки елемент един по един. Така че сложността във времето за тази операция винаги изисква O (n) време
  • съдържа () - изпълнението се основава на indexOf () . Така че ще работи и за O (n) време

3.2. CopyOnWriteArrayList

Това изпълнение на списъчния интерфейс е много полезно при работа с многонишкови приложения . Това е безопасно за нишки и е обяснено добре в това ръководство тук.

Ето преглед на производителността на Big-O нотация за CopyOnWriteArrayList :

  • add () - зависи от позицията, която добавяме, така че сложността е O (n)
  • get () - е O (1) операция с постоянно време
  • remove () - отнема O (n) време
  • съдържа () - по същия начин сложността е O (n)

Както виждаме, използването на тази колекция е много скъпо поради характеристиките на ефективността на метода add () .

3.3. LinkedList

LinkedList е линейна структура от данни, която се състои от възли, съдържащи поле за данни и препратка към друг възел . За повечефункции и възможности на LinkedList , погледнете тази статия тук.

Нека представим средната оценка на времето, необходимо за извършване на някои основни операции:

  • add () - поддържа O (1) вмъкване с постоянно време във всяка позиция
  • get () - търсенето на елемент отнема O (n) време
  • remove () - премахването на елемент също изискваоперация O (1) , тъй като ние предоставяме позицията на елемента
  • съдържа () - също има O (n) времева сложност

3.4. Подгряване на JVM

Сега, за да докажем теорията, нека си поиграем с реални данни. За да бъдем по-точни, ще представим резултатите от теста JMH (Java Microbenchmark Harness) на най-често срещаните операции по събиране .

В случай, че не сте запознати с инструмента JMH, разгледайте това полезно ръководство.

Първо, представяме основните параметри на нашите бенчмарк тестове:

@BenchmarkMode(Mode.AverageTime) @OutputTimeUnit(TimeUnit.MICROSECONDS) @Warmup(iterations = 10) public class ArrayListBenchmark { }

След това задаваме числото на итерациите за загряване на 10 . Също така искаме да видим средното време за работа на нашите резултати, показвано в микросекунди.

3.5. Бенчмарк тестове

Сега е време да проведем нашите тестове за производителност. Първо започваме с ArrayList :

@State(Scope.Thread) public static class MyState { List employeeList = new ArrayList(); long iterations = 100000; Employee employee = new Employee(100L, "Harry"); int employeeIndex = -1; @Setup(Level.Trial) public void setUp() { for (long i = 0; i < iterations; i++) { employeeList.add(new Employee(i, "John")); } employeeList.add(employee); employeeIndex = employeeList.indexOf(employee); } }

Вътре в нашата ArrayListBenchmark добавяме държавния клас, за да съхраняваме първоначалните данни.

Тук създаваме ArrayList от обекти на служители . След това го инициализираме със 100 000 елемента вътре в метода setUp () . В @State показва, че @Benchmark тестовете имат пълен достъп до променливите, декларирани в нея в рамките на една и съща нишка.

И накрая, време е да добавите бенчмарк тестове за методите add (), contains (), indexOf (), remove () и get () :

@Benchmark public void testAdd(ArrayListBenchmark.MyState state) { state.employeeList.add(new Employee(state.iterations + 1, "John")); } @Benchmark public void testAddAt(ArrayListBenchmark.MyState state) { state.employeeList.add((int) (state.iterations), new Employee(state.iterations, "John")); } @Benchmark public boolean testContains(ArrayListBenchmark.MyState state) { return state.employeeList.contains(state.employee); } @Benchmark public int testIndexOf(ArrayListBenchmark.MyState state) { return state.employeeList.indexOf(state.employee); } @Benchmark public Employee testGet(ArrayListBenchmark.MyState state) { return state.employeeList.get(state.employeeIndex); } @Benchmark public boolean testRemove(ArrayListBenchmark.MyState state) { return state.employeeList.remove(state.employee); }

3.6. Резултати от тестовете

Всички резултати са представени в микросекунди:

Benchmark Mode Cnt Score Error ArrayListBenchmark.testAdd avgt 20 2.296 ± 0.007 ArrayListBenchmark.testAddAt avgt 20 101.092 ± 14.145 ArrayListBenchmark.testContains avgt 20 709.404 ± 64.331 ArrayListBenchmark.testGet avgt 20 0.007 ± 0.001 ArrayListBenchmark.testIndexOf avgt 20 717.158 ± 58.782 ArrayListBenchmark.testRemove avgt 20 624.856 ± 51.101

From the results we can learn, that testContains() and testIndexOf() methods run in approximately the same time. We can also clearly see the huge difference between the testAdd(), testGet() method scores from the rest of the results. Adding an element takes 2.296 microseconds and getting one is 0.007-microsecond operation.

While searching or removing an element roughly costs 700 microseconds. These numbers are the proof of the theoretical part, where we learned that add(), and get() has O(1) time complexity and the other methods are O(n). n=10.000 elements in our example.

Likewise, we can write the same tests for CopyOnWriteArrayList collection. All we need is to replace the ArrayList in employeeList with the CopyOnWriteArrayList instance.

Here are the results of the benchmark test:

Benchmark Mode Cnt Score Error CopyOnWriteBenchmark.testAdd avgt 20 652.189 ± 36.641 CopyOnWriteBenchmark.testAddAt avgt 20 897.258 ± 35.363 CopyOnWriteBenchmark.testContains avgt 20 537.098 ± 54.235 CopyOnWriteBenchmark.testGet avgt 20 0.006 ± 0.001 CopyOnWriteBenchmark.testIndexOf avgt 20 547.207 ± 48.904 CopyOnWriteBenchmark.testRemove avgt 20 648.162 ± 138.379

Here, again, the numbers confirm the theory. As we can see, testGet() on average runs in 0.006 ms which we can consider as O(1). Comparing to ArrayList, we also notice the significant difference between testAdd() method results. As we have here O(n) complexity for the add() method versus ArrayList's O(1).

We can clearly see the linear growth of the time, as performance numbers are 878.166 compared to 0.051.

Now, it's LinkedList time:

Benchmark Cnt Score Error testAdd 20 2.580 ± 0.003 testContains 20 1808.102 ± 68.155 testGet 20 1561.831 ± 70.876 testRemove 20 0.006 ± 0.001

We can see from the scores, that adding and removing elements in LinkedList are quite fast.

Furthermore, there's a significant performance gap between add/remove and get/contains operations.

4. Map

With the latest JDK versions, we're witnessing significant performance improvement for Map implementations, such as replacing the LinkedList with the balanced tree node structure in HashMap, LinkedHashMap internal implementations. This shortens the element lookup worst-case scenario from O(n) to O(log(n)) time during the HashMap collisions.

However, if we implement proper .equals() and .hashcode() methods collisions are unlikely.

To learn more about HashMap collisions check out this write-up. From the write-up, we can also learn, that storing and retrieving elements from the HashMap takes constant O(1) time.

4.1. Testing O(1) Operations

Let's show some actual numbers. First, for the HashMap:

Benchmark Mode Cnt Score Error HashMapBenchmark.testContainsKey avgt 20 0.009 ± 0.002 HashMapBenchmark.testGet avgt 20 0.011 ± 0.001 HashMapBenchmark.testPut avgt 20 0.019 ± 0.002 HashMapBenchmark.testRemove avgt 20 0.010 ± 0.001

As we see, the numbers prove the O(1) constant time for running the methods listed above. Now, let's do a comparison of the HashMap test scores with the other Map instance scores.

For all of the listed methods, we have O(1) for HashMap, LinkedHashMap, IdentityHashMap, WeakHashMap, EnumMap and ConcurrentHashMap.

Let's present the results of the remaining test scores in form of one table:

Benchmark LinkedHashMap IdentityHashMap WeakHashMap ConcurrentHashMap testContainsKey 0.008 0.009 0.014 0.011 testGet 0.011 0.109 0.019 0.012 testPut 0.020 0.013 0.020 0.031 testRemove 0.011 0.115 0.021 0.019

From the output numbers, we can confirm the claims of O(1) time complexity.

4.2. Testing O(log(n)) Operations

For the tree structure TreeMap and ConcurrentSkipListMap the put(), get(), remove(), containsKey() operations time is O(log(n)).

Here, we want to make sure that our performance tests will run approximately in logarithmic time. For that reason, we initialize the maps with n=1000, 10,000, 100,000, 1,000,000 items continuously.

In this case, we're interested in the total time of execution:

items count (n) 1000 10,000 100,000 1,000,000 all tests total score 00:03:17 00:03:17 00:03:30 00:05:27 

When n=1000 we have the total of 00:03:17 milliseconds execution time. n=10,000 the time is almost unchanged 00:03:18 ms. n=100,000 has minor increase 00:03:30. And finally, when n=1,000,000 the run completes in 00:05:27 ms.

After comparing the runtime numbers with the log(n) function of each n, we can confirm that the correlation of both functions matches.

5. Set

Generally, Set is a collection of unique elements. Here, we're going to examine the HashSet, LinkedHashSet, EnumSet, TreeSet, CopyOnWriteArraySet, and ConcurrentSkipListSet implementations of the Set interface.

To better understand the internals of the HashSet, this guide is here to help.

Now, let's jump ahead to present the time complexity numbers. For HashSet, LinkedHashSet, and EnumSet the add(), remove() and contains() operations cost constant O(1) time. Thanks to the internal HashMap implementation.

Likewise, the TreeSet has O(log(n)) time complexity for the operations listed for the previous group. That's because of the TreeMap implementation. The time complexity for ConcurrentSkipListSet is also O(log(n)) time, as it is based in skip list data structure.

For CopyOnWriteArraySet, the add(), remove() and contains() methods have O(n) average time complexity.

5.1. Test Methods

Now, let's jump to our benchmark tests:

@Benchmark public boolean testAdd(SetBenchMark.MyState state) { return state.employeeSet.add(state.employee); } @Benchmark public Boolean testContains(SetBenchMark.MyState state) { return state.employeeSet.contains(state.employee); } @Benchmark public boolean testRemove(SetBenchMark.MyState state) { return state.employeeSet.remove(state.employee); }

Furthermore, we leave the remaining benchmark configurations as they are.

5.2. Comparing the Numbers

Let's see the behavior of the runtime execution score for HashSet and LinkedHashSet having n = 1000; 10,000; 100,000 items.

For the HashSet, the numbers are:

Benchmark 1000 10,000 100,000 .add() 0.026 0.023 0.024 .remove() 0.009 0.009 0.009 .contains() 0.009 0.009 0.010

Similarly, the results for LinkedHashSet are:

Benchmark 1000 10,000 100,000 .add() 0.022 0.026 0.027 .remove() 0.008 0.012 0.009 .contains() 0.008 0.013 0.009

Както виждаме, резултатите остават почти еднакви за всяка операция. Още повече, когато ги сравняваме с резултатите от теста на HashMap , те също изглеждат еднакви.

В резултат на това потвърждаваме, че всички тествани методи се изпълняват в постоянно O (1) време.

6. Заключение

В тази статия представяме сложността във времето на най-често срещаните внедрения на структурите от данни на Java.

Отделно, ние показваме действителните резултати по време на изпълнение на всеки тип колекция чрез JVM бенчмарк тестове. Също така сравнихме изпълнението на едни и същи операции в различни колекции. В резултат на това се научаваме да избираме правилната колекция, която отговаря на нашите нужди.

Както обикновено, пълният код за тази статия е достъпен в GitHub.