Zasada działania polega na obliczeniu różnic luminancjipikseli położonych koło siebie po przekątnych, a następnie dodaniu ich wartości bezwzględnych. Obliczenie różnic można zapisać jako splot macierzy obrazu z każdą z przedstawionych poniżej macierzy o wymiarach 2×2.
Wynikiem tych operacji są dwie macierze przedstawiające pochodne kierunkowe obliczone dla kierunków 135° oraz 45°. Wynikowy obraz krawędzi powstaje po obliczeniu różnic modułów z odpowiadających sobie elementów macierzy. W oryginalnej pracy Robertsa jest zaprezentowany inny bardziej złożony rachunkowo sposób obliczania „stromości” krawędzi. Obliczenie polega na obliczeniu pierwiastka z sumy kwadratów elementów obu macierzy.
Wydaje się, że najprościej przebieg obliczeń dla każdego piksela obrazu można zapisać w następujący sposób:
Krzyż Robertsa jest cały czas w użyciu ze względu na szybkość obliczeń. Przy porównaniu z późniejszymi algorytmami do wykrywania krawędzi (Prewitt, Sobel, Scharr, Canny) wykazuje mniejszą odporność na szumy, daje jednak węższe krawędzie.