Om uw vraag precies te kunnen beantwoorden zou ik moeten weten waar u woont. Via ruimtelijkeplannen.nl kunt ook zelf het geldende bestemmingsplan opvragen en de bouwregels / bouwmogelijkheden die gelden voor het perceel van uw buren.

In het algemeen kan ik wel zeggen dat er bijna nooit zonder toestemming van de andere buren tot op de erfgrens gebouwd mag worden (behoudens uitbouwen), maar dat meestal een "vrije zone" van 1 a 2 meter moet worden aangehouden. Een en ander afhankelijk van de bepalingen in het bestemmingsplan.

Een raam op de erfgrens (of binnen twee meter daarvan) met inkijk in uw tuin is niet toegestaan op basis van het burenrecht uit het burgerlijk wetboek.

In aanvulling op het antwoord hierboven:
Houdt u de gemeentelijke bekendmakingen in de gaten. Indien een vergunning afgegeven moet worden, dan zal deze bekend worden gemaakt, zodat u eventueel bezwaar kunt maken.