След смъртта на баща му през 1540 г. майка му Анна фон Олденбург поема управлението от 1542 до 1561 г. за нейните малки деца. Нейният най-главен съветник е брат ѝ Кристоф фон Олденбург до неговата смърт през 1566 г. По желание на майка му Йохан II управлява от 1561 г. заедно с двамата си братя Едзард II (1532 – 1599) и Кристоф (1536 – 1566). Между двамата братя Едзард II и Йохан II има борба за надмощие.
Йохан II умира неженен на 53 години на 29 септември 1591 г. в Щикхаузен в Детерн и е погребан в „Голямата църква“ в Емден.[2]
След смъртта на Йохан II през 1591 г. брат му Едзард II управлява сам графството Източна Фризия.