Podstawą ogródka skalnego powinno być dobrze nasłonecznione miejsce, a stanowisko, na którym umieszczony zostanie skalniak należy uprzednio dobrze zdrenować za pomocą dwudziestocentymetrowej warstwy grubego żwiru, co zapewni swobodny odpływ wody.
Warstwę drenującą okrywa się ziemią a następnie tworzy pofałdowane wzniesienie, na którym układa się większe i mniejsze kamienie i głazy. Zagłębienia pomiędzy nimi wypełnia się ziemią tak, aby każdy kamień był w niej zagłębiony do 1/3 swojej wysokości.
Zanim ostatecznie posadzi się na skalniku rośliny, najlepiej jest ustawić je najpierw w doniczkach w planowanych miejscach wysadzenia, pozwoli to dokonać ewentualnych poprawek i przesunięć roślin.
Do budowy ogródka skalnego nadają się jedynie kamienie naturalne. Można wykorzystać głazy znalezione w kamieniołomach. Idealne będą te o budowie warstwowej, gdyż w razie potrzeby łatwo je rozłupać na kilka części.