add_filter( 'avatar_defaults', 'new_default_avatar' );
function new_default_avatar ( $avatar_defaults ) {
    $myavatar = 'URL_TO_NEW_DEFAULT_AVATAR';
    $avatar_defaults[$myavatar] = "Default Avatar";
    return $avatar_defaults;
}