これはデフォルトで StrictModes が有効なため起こります。
StrictModes
sshd がファイルモードとユーザーのファイルとホームディレクトリの所有権をチェックするかどうかを指定します
・ファイル「authorized_keys」が、オーナー以外に書き込み権限がある場合、公開鍵認証は拒否される。
・ホームディレクトリが、オーナー以外に書き込み権限がある場合、公開鍵認証は拒否される。(例 777 はエラーになる。)(755は ok ! )
vi /etc/ssh/sshd_config
strictmodes no