Las barras de relleno permanecen al desplazar GridView

Tengo este GridView (ver la captura de pantalla) que contiene elementos que todos necesitan alrededor de 12 espaciamiento de inmersión. Sin embargo, cuando pongo padding en el GridView , parece que no puedo desplazarse a través de este paddingm que quiero hacer. ¿Cómo logro esto?

Tenga en cuenta la porción de espacio por encima de las dos primeras imágenes de las que quiero desplazarme:

Captura de pantalla mientras se desplaza

Código:

 <GridView android:id="@+id/feed_grid" android:layout_width="fill_parent" android:layout_height="wrap_content" android:columnWidth="96dp" android:gravity="center" android:horizontalSpacing="@dimen/grid_view_margins" android:numColumns="auto_fit" android:padding="@dimen/grid_view_margins" android:stretchMode="columnWidth" android:scrollbarStyle="outsideInset" android:verticalSpacing="@dimen/grid_view_margins" /> 

FlipAndroid es un fan de Google para Android, Todo sobre Android Phones, Android Wear, Android Dev y Aplicaciones para Android Aplicaciones.