Esta es una de las varias formas que hay en Photoshop de dibujar formas geométricas con bordes redondeados.

1) Dibujamos la forma, en nuestro caso, un rectángulo.

2) Aplicamos un "desenfoque gaussiano" (Filtro> Desenfoque> Desenfoque Gaussiano) con un valor de 3 por ejemplo.

3) Por último, seleccionamos la herramienta "cubo de pintura" y seleccionando el color final que queramos para nuestra figura, la rellenamos del mismo para obtener nuestra figura con los bordes redondeados.

Modificando el valor de desenfoque gaussiano en el segundo paso, obtendremos bordes más o menos redondeados.