Sprzęt

30 listopada 2023

Klątwa benchmarków. Dlaczego nie zawsze można ufać liczbom.

PROCAD SA

Testy Benchmark to narzędzia, które pozwalają sprawdzić wydajność różnych podzespołów komputerowych, takich jak procesor, karta graficzna, pamięć RAM czy dysk SSD. Są one przydatne do porównywania różnych modeli i konfiguracji sprzętu, ale nie są jedynym kryterium wyboru. Testy Benchmark nie uwzględniają wszystkich czynników, które mogą wpływać na działanie komputera w praktyce, takich jak optymalizacja oprogramowania, stabilność systemu, kompatybilność z innymi podzespołami czy warunki pracy (np. temperatura, hałas, pobór energii). Dlatego warto zwracać uwagę nie tylko na wyniki testów Benchmark, ale także na opinie użytkowników i ekspertów, a także na własne potrzeby i preferencje.

Jednocześnie takie testy są ważne, ponieważ pozwalają ocenić, jak dobrze dany sprzęt lub oprogramowanie radzi sobie z określonymi zadaniami i jak wypada na tle innych produktów.

Testy Benchmark, mogą być obarczone wadami i ograniczeniami, dlatego nie do końca warto w nie wierzyć:

  • Testy Benchmark mogą być zmanipulowane lub fałszowane przez producentów sprzętu lub oprogramowania, aby uzyskać lepsze wyniki i zwiększyć sprzedaż.
  • Testy Benchmark mogą być nieadekwatne lub nieaktualne do rzeczywistych warunków użytkowania, ponieważ nie uwzględniają wszystkich możliwych scenariuszy i zmiennych.
  • Testy Benchmark mogą być nieporównywalne lub niekompatybilne między sobą, ponieważ mogą używać różnych metodologii, kryteriów, jednostek i narzędzi pomiarowych.
  • Testy Benchmark mogą być niewystarczające lub niepełne, ponieważ nie pokazują wszystkich aspektów działania sprzętu lub oprogramowania, takich jak jakość, niezawodność, bezpieczeństwo czy funkcjonalność.
Przykład: Porównanie ostatnich dwóch generacji procesorów Intel Core i7.
Źródło: https://www.cpubenchmark.net

Alternatywne testy dla testów Benchmark, które mogą być lepsze lub gorsze w zależności od celu i sytuacji:

  • Testy online, które pozwalają sprawdzić wydajność sprzętu lub oprogramowania przez Internet, bez instalowania dodatkowych aplikacji. Są one szybkie i proste, ale mogą być mniej dokładne i wiarygodne niż testy Benchmark.
  • Testy własne, które polegają na uruchamianiu na komputerze różnych programów lub gier, które wymagają dużej mocy obliczeniowej i obserwacji zachowania sprzętu lub oprogramowania. Są one bardziej realistyczne i praktyczne, ale mogą być trudne do porównania i zależne od wielu czynników.
  • Testy specjalistyczne, które są dostosowane do konkretnych zastosowań lub podzespołów, takich jak renderowanie grafiki 3D, obliczenia matematyczne czy testowanie stabilności i temperatury. Są one bardziej precyzyjne i szczegółowe, ale mogą być skomplikowane i kosztowne.
Przykład: Porównanie kart graficznych NVIDIA, dwóch generacji, w technologii Ampere i technologii Ada.
Źródło: https://videocardbenchmark.net

W jaki sposób określa się wydajność komputera?

Mianem wydajności komputera opisuje się tak naprawdę jego moc obliczeniową, czyli inaczej liczbę zadań arytmetycznych, które w danym czasie jest w stanie wykonać komputer. Wydajność komputerów określana jest zazwyczaj w tzw. FLOPS-ach (z języka angielskiego: Floating point Operation Per Seconds). Często jednak można się także spotkać z określaniem wydajności komputerów mierzonej w liczbie generowanych klatek na sekundę lub w czasie wymaganym do renderowania obiektu, który jest istotny w programach wykorzystywanych do projektowania 3D.

To jaką ilość zadań mogą wykonywać w danym czasie komputery, czyli to, jaka jest ich wydajność, zależy od dwóch rzeczy: od czynników hardwarowych, czyli od rodzaju i mocy zastosowanych w komputerze podzespołów oraz od czynników software’owych, czyli od zastosowanego oprogramowania.

Przykład: Wyniki z Corona Benchmark, przesłane przez użytkowników.
Źródło: https://corona-renderer.com

Dodatkowo na wydajność komputera wpływa wiele innych czynników, zarówno sprzętowych, jak i programowych:

  • Procesor – jest mózgiem komputera, który wykonuje obliczenia i instrukcje. Jego wydajność zależy od rodzaju, ilości rdzeni, taktowania i architektury.
  • Pamięć RAM – jest pamięcią tymczasową, która przechowuje dane potrzebne do działania programów. Jej wydajność zależy od pojemności, częstotliwości i rodzaju.
  • Dysk twardy – jest pamięcią stałą, która przechowuje dane na dłuższy czas. Jego wydajność zależy od pojemności, prędkości obrotowej, interfejsu i technologii.
  • Karta graficzna – jest odpowiedzialna za generowanie obrazu na ekranie. Jej wydajność zależy od modelu, pamięci, taktowania i zgodności z technologiami graficznymi.
  • System operacyjny – jest oprogramowaniem, które zarządza pracą komputera i komunikacją z użytkownikiem. Jego wydajność zależy od wersji, aktualizacji, konfiguracji i optymalizacji.
  • Programy i aplikacje – są oprogramowaniem, które służy do realizacji różnych zadań na komputerze. Ich wydajność zależy od jakości kodu, wymagań sprzętowych, kompatybilności i aktualności.
  • Czyszczenie i konserwacja – są działaniami mającymi na celu usunięcie zbędnych plików, błędów i zagrożeń z komputera. Ich wydajność zależy od częstotliwości, narzędzi i skuteczności.
  • Aktualizacje oprogramowania i sterowników – są procesami polegającymi na pobieraniu i instalowaniu nowszych wersji oprogramowania i sterowników. Ich wydajność zależy od dostępności, poprawności i bezpieczeństwa.

Dlatego warto traktować testy Benchmark jako jedno z wielu źródeł informacji, a nie jako ostateczny wyznacznik wyboru.

Definicja: angielskie słowo „benchmark” stosowane jest do określenia testu wydajności, kryterium, sposobu oceny czegoś oraz do określenia pewnego rodzaj standardu i punktu odniesienia, w szczególności w trakcie dokonywania porównań.

Ciekawostka: Benchmarking, jako metodę zarządzania przedsiębiorstwem, najprawdopodobniej zawdzięczamy japońskiej firmie Rank Xerox. To właśnie Xerox (prawie pół wieku temu), tracąc pozycję rynkową na rzecz Canona, po raz pierwszy ją zastosował. Tak przynajmniej głosi popularna i chętnie powtarzana legenda. Według niektórych źródeł Benchmarking został wymyślony w Japonii (a jakże!), tyle że dużo wcześniej, bo już w latach 50. Wtedy to japońskie przedsiębiorstwa zaczęły śmiało konkurować z amerykańskimi. I chcąc je pokonać, zaczęły używać Benchmarkingu, opierać swoje działania na wybranych amerykańskich wzorcach (m.in. Benchmarking procesów).

Potrzebujesz porady od naszych ekspertów? Pomocy w skonfigurowani stacji roboczej na zamówienie? Skontaktuj się z naszymi specjalistami bezpośrednio lub wypełnij formularz:

Barbara Malinowska

Doradca klienta

barbara.malinowska@procad.pl +48 606 839 561

Kacper Adamowicz

Doradca klienta

kacper.adamowicz@procad.pl +48 664 731 005

Gratulacje! Zgłoszenie zostało wysłane

Dbamy o Twoją prywatność.

Dzięki wykorzystaniu rozwiązań takich, jak pliki cookies i pokrewne technologie oraz przetwarzaniu Twoich danych, możemy zapewnić, że wyświetlane treści lepiej odpowiedzą na Twoje potrzeby. Więcej informacji znajdziesz w Polityka prywatności.