Ourself Beside Me были сформированы в 2003-м году бывшей участницей Hang On The Box гитаристом Yang Fan (杨帆). Состав менялся несколько раз, пока не пришёл к некой стабильности после встречи (познакомились они в сети на почве любви к британской группе Television Personalities) Yang Fan с барабанщицей Xie Han осенью 2005-го. Они начали сочинять песни совместно, а в 2007-м Xie Han переквалифицировалась на бас после прихода новой ударницы EMI (из Японии). Со второй половине того же года они начали регулярные выступления, став со временем одной из самых любимых фэнами групп на пекинской альтернативной сцене.
По их собственным словам, вдохновение они черпают из саунда различных групп 1960-х и 1970-х: Velvet Underground, Syd Barrett, Can, Tom Waits, Soft Machine, Fall. Можно отметить и влияния со стороны нью-йоркских банд конца 1970-х и ранних 1980-х, но с совершенно китайским (точнее, пекинским) подходом.