Все нормально работает:
Код
#define Unicode
#Include "windows.bi"
#include once "win/shellapi.bi"
dim as wstring*20 prog = "notepad.exe" ' программа, в которой будет открыт файл 本文作者.txt
dim as wstring*10 wss = "本文作者.txt" ' открываемый файл
dim as wstring*10 wss1 = "本文作者/" ' относительный путь до файла 本文作者.txt
ShellExecute(0,@"open" , @prog,@wss,@wss1, SW_SHOWNORMAL)
Я сохранял файл в UTF-16LE и в UTF8.