Вот если-бы с самого начала у тебя не было галочки на ассоциации, тогда и не появились-бы иконки на треках фубаровские. Ну и я думаю, что нет в фубаре функции замены иконок. Они-же у нас в виндовом проводнике и командует там винда, вот в ней ранее я и видал функцию замены иконок.
В вин 7 у себя я не вижу возможности поставить свои иконки, может это было в ХР или в 8-10...я просто не помню.
И еще раз ...попробуй все-же запускать музыку с панели библиотеки, ведь ей и ценен фубар. Развитая система библиотеки, плейлистов, вывода звука и все это настраиваемо. Зачем держать рядом с окном фубара окно проводника с музыкой, панель библиотеки ни чем не уступает виндовому проводнику и имеет огромные возможности по сортировке запуска папки-альбома.