アップグレードは以外と簡単です。

WordPressのアップグレード/詳細　ここに書いてある通りに行えばOK。

今回の場合は「wp-config.php」ファイルと「wp-content」ディレクトリ以外のファイルは全て削除して「wp-admin」、「wp-includes」ディレクトリなど他のファイルは2.6.1のファイルにアップグレードしました。

その後、/wp-adminにアクセスすると、「データベースが古い・・・・・」とかなんとか言ってくるので、その下に出てくるボタンをクリックすると「完了しました。」の文字が出てきてアップグレード完了です。

これで、管理画面にいままで気になっていた「WordPress 2.6.1 が利用可能です ! アップデートしてください。」のお知らせが消えました。