תנא אמר הלה זייתי אני נוטל אין שומעיו לו- ב"מ ק"א

What about if the owner of the field doesn't want the olive trees in his field? Can he force the tree owner to uproot them? Or do we say he can't because of ישוב א"י? The Ritva writes that the owner of the field can force the owner of the trees to uproot them even in ארץ ישראל and this is brought down להלכה in שו"ע ח"מ סי' קס"ח. However, the Acharonim point out that this is really a machlokes the Rambam and the Raavad (הל' גזילה י,ה). The Rambam writes:

היורד לתוך שדה חברו שלא ברשות, ונטעה--אם הייתה שדה העשויה ליטע--אומדין כמה אדם רוצה ליתן בשדה זו ליטעה, ונוטל מבעל השדה; ואם אינה עשויה ליטע--שמין לו, וידו על התחתונה.
אמר לו בעל השדה, עקור אילנך ולך--שומעין לו

The Rambam writes that the owner of the field can force him to remove the trees. The Raavad there is משיג that this is in חו"ל but in א"י he is not allowed to uproot them because of ישוב א"י.