Přečtěte si výše navrhované vlákno a určitě vám to bude o něco
jasnější.
Ve vašem případě konkrétně lze použít oboje. Někdy je prostě
možné oboje, někdy je vhodnější jedno, a někdy je možné použít pouze
jednu z variant. Není zde vyloženě žádné pravidlo. Záleží tedy na
struktuře věty (jak se dočtete v odkazovaném vlákně), na jednotlivých
přídavných jménech a podobně. Častější je však určitě forma
s infinitivem.
Ve vašem případě vidím malý rozdíl:
It's so difficult being so
popular – vztahuje se na konkrétní osobu, která je populární
(reálná situace).
It's so difficult to be so
popular – je obecnější, prostě říká, že je těžké být
slavný. Nemusí to odkazovat na konkrétní osobu a na její reálnou
situaci.