Para eliminar la extensión .php al final de tus urls y transformarlas en URLs amigables, añade la siguiente regla a tu .htaccess:
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ $1.php [L,QSA]
