Рассказывается так же подробно история «неудачной любви» к Иосифу его хозяйки. В результате Иосиф угодил в тюрьму. Будучи в доме вельможи Потифара, Иосиф пленил своей красотой сердце его жены Зельхи, которую в более поздней литературе назвали Зулейкой. Она всячески старалась склонить юношу к прелюбодеянию, но Иосиф был непреклонен. Однажды, когда Потифар со всеми домочадцами отправился праздновать разлив Нила, Зулейка, прикинувшись больной, осталась дома. Она надеялась, что, оказавшись наедине с прекрасным рабом, она сумеет наконец удовлетворить свое вожделение.

Мидраш говорит, что в тот день Иосиф действительно был уже недалек от греха, но в последний миг ему представился образ отца. Иосиф вырвался из рук госпожи и выбежал из комнаты. Испугавшись, что дело раскроется, Зулейка позвала людей и изобразила случившееся так, будто Иосиф пытался изнасиловать ее.

Иосифу грозила смерть, но несложное следствие, проведенное советниками Потифара, доказало невиновность Иосифа, и лишь для того, чтобы не раскрылся позор Зулейки, он был заточен в тюрьму.

Имя сына Яакова, Иосифа, стало символом нравственной чистоты и благородства. В талмудической литературе его называют обычно Иосифом Праведным.

Иосиф же был красив станом и красив лицем. И обратила взоры на Иосифа жена господина его и сказала: спи со мною. Но он отказался и сказал жене господина своего: вот, господин мой не знает при мне ничего в доме, и все, что имеет, отдал в мои руки; нет больше меня в доме сем; и он не запретил мне ничего, кроме тебя, потому что ты жена ему; как же я сделаю зло и согрешу пред Богом? (39:6-9)